Sobre PISA y otros indicadores, por Santiago Cueto

A inicios de diciembre de 2019 se publicaron los resultados de la prueba PISA, orientada a medir los niveles de aprendizaje en lectura, matemática y ciencias de estudiantes de 15 años matriculados en el sistema educativo (no se incluye en la muestra a estudiantes que han abandonado la escuela). Los resultados sugieren que hemos mejorado entre el 2001, cuando empezamos a participar, y el 2018 en las tres áreas. Se trata de un resultado alentador, aun cuando siempre se pueden ver los resultados como un vaso “medio lleno o medio vacío”. Así, están los que argumentan que no hemos mejorado lo suficiente pues seguimos muy abajo en el ránking de países. Al respecto, recordemos que PISA es una evaluación de la OCDE, que involucra principalmente a países industrializados, y no es una “evaluación mundial”, como se ha sugerido en algunos medios. Así, nuestra posición no tiene mayor importancia, porque además depende de cuántos países y qué países que participen en cada ronda.

Más importante de analizar son algunos resultados vinculados a esta prueba, que van más allá de promedios o posiciones relativas. Principalmente nos referimos a que PISA muestra que, entre los países evaluados, el Perú es uno que se caracteriza principalmente por la inequidad en sus resultados. En otras palabras, en nuestro país cuenta mucho el nivel socioeconómico de cada estudiante para explicar sus resultados; esto se explica parcialmente por las diferencias entre el sector público y privado, pero también existen notables diferencias al interior del público, donde por ejemplo las instituciones urbanas tienen mayor rendimiento que las rurales. Los resultados también muestran que nuestro país tiene altos niveles de segregación socioeconómica, es decir, no existe en muchas instituciones educativas la diversidad de estudiantes que sería deseable observar en la construcción de una sociedad democrática desde la educación. Dar respuesta a estos retos en favor de la equidad y la justicia en el sistema educativo debería ser el principal reto de la educación peruana. Otras lecciones de PISA para el sistema educativo podrían desprenderse de un análisis de los aciertos y errores que cometen los estudiantes peruanos en cada pregunta, en un análisis pedagógico que podría llevar eventualmente a programas de formación y desarrollo profesional de los docentes, a la reforma de sistemas de monitoreo en aulas y a la elaboración de materiales educativos de diferente tipo. Este análisis pedagógico lamentablemente se ha hecho muy pocas veces en el Perú.

PISA ha sido criticada desde diversos ángulos. El primero es que la prueba no está alineada con el currículo, sino que evalúa ciertas habilidades consideradas necesarias para ciudadanos del mundo, en opinión de los elaboradores de la prueba. Esta es sin duda una limitación de la prueba que debe considerarse en el análisis pedagógico sugerido, identificando vacíos de información (es decir, competencias del currículo peruano que no son evaluadas). La segunda crítica es que se suele considerar que PISA es un indicador de la calidad de la educación mundial. Si bien está claro que la prueba solo mide habilidades en las áreas mencionadas, en un solo grupo de edad, es cierto que en ocasiones sus promotores y la prensa sugieren que PISA da más información que la que contiene; también es cierto que hay muchos otros indicadores que no se pueden obtener de PISA. Finalmente, se ha criticado PISA porque usa principalmente formatos de pregunta de opción múltiple, que no son los que usualmente se considerarían en la educación en el aula. Esto limita, nuevamente, las aplicaciones pedagógicas de PISA, pero no me parece que la invalida por completo como instrumento, pues el objetivo principal de la prueba es obtener información del sistema y no de cada estudiante.

Frente a esta situación, lo que se podría hacer en nuestro país es iniciar una discusión sobre cuáles pruebas, y de qué tipo, deberían usarse para tener una medición externa al docente de aula sobre los niveles de aprendizaje de los estudiantes. Por un lado, tenemos desde 1996 evaluaciones nacionales que se han mantenido, aunque modificando su diseño y alcance, hasta la actualidad. Estas pruebas, a pesar de su alto nivel técnico, también han tenido limitaciones: se han evaluado unas pocas áreas (principalmente lectura y matemática, y en menor medida ciencias y ciencias sociales) en unos pocos grados; las evaluaciones estandarizadas deberían estar alineadas con el currículo. Más grave aún, se han usado los resultados de las pruebas para definir bonos para docentes y escuelas; esto parece haber llevado a que se enseñen en las escuelas principalmente las áreas que se van a evaluar. Así también, ha llevado a una exclusión el día de la administración de las pruebas de los estudiantes que los docentes consideran podrían “bajar el promedio de la escuela”; se trata de una práctica inaceptable por principios pedagógicos y humanos.

Adicionalmente a PISA y las pruebas nacionales, hemos participado en las evaluaciones latinoamericanas de la UNESCO y en las pruebas de educación cívica y ciudadana internacionales organizadas por la IEA. En todos estos casos se han dado interesantes reportes de resultados, que lamentablemente no han llevado a cambios importantes en el sistema educativo peruano. Sin embargo, los resultados en todas las pruebas muestran una tendencia creciente, lo cual es un indicador de que la educación peruana estaría mejorando en los niveles de aprendizaje de los estudiantes.

Frente a esta situación, que observamos desordenada, se hace necesario contar con un plan de evaluaciones para el Perú que considere instrumentos nacionales y programas internacionales de manera articulada, tomando en cuenta lo que podemos aprender en cada caso. Este plan debería contar con algunos criterios, principalmente: cubrir todas las áreas del currículo en ciclos de largo plazo (por ejemplo, contar con al menos una evaluación por área curricular cada 10 años). En segundo lugar, se debería incluir la evaluación de habilidades y aprendizajes de estudiantes en inicial, primaria y secundaria (contar con evaluaciones de adultos, en educación superior o no, merecería otro artículo). En tercer lugar, las evaluaciones deberían brindar información útil para la mejora de los procesos pedagógicos en el aula, alineadas con el currículo por competencias. Finalmente, la información debería ser pública, haciendo anónimo el nombre de las escuelas y estudiantes, para su análisis por parte de investigadores y funcionarios. Tal plan de largo plazo de evaluaciones debería ser aprobado por el Estado y un consejo consultivo para que se mantenga por al menos 10 años; idealmente pienso que las evaluaciones estandarizadas las debería llevar adelante un instituto estatal pero autónomo del Ministerio de Educación, poniendo así consideraciones técnicas y pedagógicas por encima de cualquier tentación futura de los políticos en el gobierno (algo que se ha observado en el pasado y en otros países). Es muy posible que, con los criterios señalados, las evaluaciones serían principalmente muestrales, usando evaluaciones censales solo si se justifica el esfuerzo y gasto para fines específicos, que habría que discutir. En resumen, el plan debería poder responder principalmente dos preguntas: ¿Qué se quiere saber? Y, ¿cómo se piensa usar la información en beneficio de los aprendizajes de todos los estudiantes?

En última instancia, el sistema de evaluaciones propuesto debería ser parte de un sistema de indicadores más amplio sobre la educación peruana, que incluya el recojo periódico, análisis y utilización de recursos disponibles en las instituciones (por ejemplo, calidad de docentes y acceso a recursos digitales), de procesos (por ejemplo, asistencia diaria de docentes y estudiantes, niveles de demanda cognitiva en las sesiones de aprendizaje y calidad del trabajo en grupo) y de resultados (por ejemplo, aprendizajes, tasas de repetición y deserción). Este conjunto de indicadores debería plantearse para ser utilizado en busca de elevar el promedio nacional al mismo tiempo que se reducen las inequidades mencionadas al inicio del presente artículo.

Para los docentes de aula, mi sugerencia es que consideren los resultados de pruebas como PISA y las evaluaciones nacionales como un insumo más, como parte del conjunto de información con el que cuenta para conocer mejor a sus estudiantes y al grupo, para buscar planificar mejores sesiones de aprendizaje.


Santiago Cueto es Licenciado en Psicología Educacional por la Pontificia Universidad Católica del Perú y Doctor en Psicología Educacional por la Universidad de Indiana, Estados Unidos. Actualmente es Director Ejecutivo e Investigador Principal de GRADE, es miembro del Consejo Nacional de Educación y profesor de Psicología de la Pontificia Universidad Católica del Perú. Ha sido consultor de organismos internacionales como el Banco Interamericano de Desarrollo, el Banco Mundial y la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). En el 2018, fue condecorado por el Ministerio de Educación con las Palmas Magisteriales en el grado de Amauta.

Imagen tomada de: http://www.cefi.edu.pe/

Sobre PISA y otros indicadores, por Santiago Cueto

Autor: EDUCARED admin Publicado: enero 13, 2020

A inicios de diciembre de 2019 se publicaron los resultados de la prueba PISA, orientada a medir los niveles de aprendizaje en lectura, matemática y ciencias de estudiantes de 15 años matriculados en el sistema educativo (no se incluye en la muestra a estudiantes que han abandonado la escuela). Los resultados sugieren que hemos mejorado entre el 2001, cuando empezamos a participar, y el 2018 en las tres áreas. Se trata de un resultado alentador, aun cuando siempre se pueden ver los resultados como un vaso “medio lleno o medio vacío”. Así, están los que argumentan que no hemos mejorado lo suficiente pues seguimos muy abajo en el ránking de países. Al respecto, recordemos que PISA es una evaluación de la OCDE, que involucra principalmente a países industrializados, y no es una “evaluación mundial”, como se ha sugerido en algunos medios. Así, nuestra posición no tiene mayor importancia, porque además depende de cuántos países y qué países que participen en cada ronda.

Más importante de analizar son algunos resultados vinculados a esta prueba, que van más allá de promedios o posiciones relativas. Principalmente nos referimos a que PISA muestra que, entre los países evaluados, el Perú es uno que se caracteriza principalmente por la inequidad en sus resultados. En otras palabras, en nuestro país cuenta mucho el nivel socioeconómico de cada estudiante para explicar sus resultados; esto se explica parcialmente por las diferencias entre el sector público y privado, pero también existen notables diferencias al interior del público, donde por ejemplo las instituciones urbanas tienen mayor rendimiento que las rurales. Los resultados también muestran que nuestro país tiene altos niveles de segregación socioeconómica, es decir, no existe en muchas instituciones educativas la diversidad de estudiantes que sería deseable observar en la construcción de una sociedad democrática desde la educación. Dar respuesta a estos retos en favor de la equidad y la justicia en el sistema educativo debería ser el principal reto de la educación peruana. Otras lecciones de PISA para el sistema educativo podrían desprenderse de un análisis de los aciertos y errores que cometen los estudiantes peruanos en cada pregunta, en un análisis pedagógico que podría llevar eventualmente a programas de formación y desarrollo profesional de los docentes, a la reforma de sistemas de monitoreo en aulas y a la elaboración de materiales educativos de diferente tipo. Este análisis pedagógico lamentablemente se ha hecho muy pocas veces en el Perú.

PISA ha sido criticada desde diversos ángulos. El primero es que la prueba no está alineada con el currículo, sino que evalúa ciertas habilidades consideradas necesarias para ciudadanos del mundo, en opinión de los elaboradores de la prueba. Esta es sin duda una limitación de la prueba que debe considerarse en el análisis pedagógico sugerido, identificando vacíos de información (es decir, competencias del currículo peruano que no son evaluadas). La segunda crítica es que se suele considerar que PISA es un indicador de la calidad de la educación mundial. Si bien está claro que la prueba solo mide habilidades en las áreas mencionadas, en un solo grupo de edad, es cierto que en ocasiones sus promotores y la prensa sugieren que PISA da más información que la que contiene; también es cierto que hay muchos otros indicadores que no se pueden obtener de PISA. Finalmente, se ha criticado PISA porque usa principalmente formatos de pregunta de opción múltiple, que no son los que usualmente se considerarían en la educación en el aula. Esto limita, nuevamente, las aplicaciones pedagógicas de PISA, pero no me parece que la invalida por completo como instrumento, pues el objetivo principal de la prueba es obtener información del sistema y no de cada estudiante.

Frente a esta situación, lo que se podría hacer en nuestro país es iniciar una discusión sobre cuáles pruebas, y de qué tipo, deberían usarse para tener una medición externa al docente de aula sobre los niveles de aprendizaje de los estudiantes. Por un lado, tenemos desde 1996 evaluaciones nacionales que se han mantenido, aunque modificando su diseño y alcance, hasta la actualidad. Estas pruebas, a pesar de su alto nivel técnico, también han tenido limitaciones: se han evaluado unas pocas áreas (principalmente lectura y matemática, y en menor medida ciencias y ciencias sociales) en unos pocos grados; las evaluaciones estandarizadas deberían estar alineadas con el currículo. Más grave aún, se han usado los resultados de las pruebas para definir bonos para docentes y escuelas; esto parece haber llevado a que se enseñen en las escuelas principalmente las áreas que se van a evaluar. Así también, ha llevado a una exclusión el día de la administración de las pruebas de los estudiantes que los docentes consideran podrían “bajar el promedio de la escuela”; se trata de una práctica inaceptable por principios pedagógicos y humanos.

Adicionalmente a PISA y las pruebas nacionales, hemos participado en las evaluaciones latinoamericanas de la UNESCO y en las pruebas de educación cívica y ciudadana internacionales organizadas por la IEA. En todos estos casos se han dado interesantes reportes de resultados, que lamentablemente no han llevado a cambios importantes en el sistema educativo peruano. Sin embargo, los resultados en todas las pruebas muestran una tendencia creciente, lo cual es un indicador de que la educación peruana estaría mejorando en los niveles de aprendizaje de los estudiantes.

Frente a esta situación, que observamos desordenada, se hace necesario contar con un plan de evaluaciones para el Perú que considere instrumentos nacionales y programas internacionales de manera articulada, tomando en cuenta lo que podemos aprender en cada caso. Este plan debería contar con algunos criterios, principalmente: cubrir todas las áreas del currículo en ciclos de largo plazo (por ejemplo, contar con al menos una evaluación por área curricular cada 10 años). En segundo lugar, se debería incluir la evaluación de habilidades y aprendizajes de estudiantes en inicial, primaria y secundaria (contar con evaluaciones de adultos, en educación superior o no, merecería otro artículo). En tercer lugar, las evaluaciones deberían brindar información útil para la mejora de los procesos pedagógicos en el aula, alineadas con el currículo por competencias. Finalmente, la información debería ser pública, haciendo anónimo el nombre de las escuelas y estudiantes, para su análisis por parte de investigadores y funcionarios. Tal plan de largo plazo de evaluaciones debería ser aprobado por el Estado y un consejo consultivo para que se mantenga por al menos 10 años; idealmente pienso que las evaluaciones estandarizadas las debería llevar adelante un instituto estatal pero autónomo del Ministerio de Educación, poniendo así consideraciones técnicas y pedagógicas por encima de cualquier tentación futura de los políticos en el gobierno (algo que se ha observado en el pasado y en otros países). Es muy posible que, con los criterios señalados, las evaluaciones serían principalmente muestrales, usando evaluaciones censales solo si se justifica el esfuerzo y gasto para fines específicos, que habría que discutir. En resumen, el plan debería poder responder principalmente dos preguntas: ¿Qué se quiere saber? Y, ¿cómo se piensa usar la información en beneficio de los aprendizajes de todos los estudiantes?

En última instancia, el sistema de evaluaciones propuesto debería ser parte de un sistema de indicadores más amplio sobre la educación peruana, que incluya el recojo periódico, análisis y utilización de recursos disponibles en las instituciones (por ejemplo, calidad de docentes y acceso a recursos digitales), de procesos (por ejemplo, asistencia diaria de docentes y estudiantes, niveles de demanda cognitiva en las sesiones de aprendizaje y calidad del trabajo en grupo) y de resultados (por ejemplo, aprendizajes, tasas de repetición y deserción). Este conjunto de indicadores debería plantearse para ser utilizado en busca de elevar el promedio nacional al mismo tiempo que se reducen las inequidades mencionadas al inicio del presente artículo.

Para los docentes de aula, mi sugerencia es que consideren los resultados de pruebas como PISA y las evaluaciones nacionales como un insumo más, como parte del conjunto de información con el que cuenta para conocer mejor a sus estudiantes y al grupo, para buscar planificar mejores sesiones de aprendizaje.


Santiago Cueto es Licenciado en Psicología Educacional por la Pontificia Universidad Católica del Perú y Doctor en Psicología Educacional por la Universidad de Indiana, Estados Unidos. Actualmente es Director Ejecutivo e Investigador Principal de GRADE, es miembro del Consejo Nacional de Educación y profesor de Psicología de la Pontificia Universidad Católica del Perú. Ha sido consultor de organismos internacionales como el Banco Interamericano de Desarrollo, el Banco Mundial y la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). En el 2018, fue condecorado por el Ministerio de Educación con las Palmas Magisteriales en el grado de Amauta.

Imagen tomada de: http://www.cefi.edu.pe/

Escribe un comentario

  • Comentarios: 0
  • Valoraciones: 0
       

 

Publicaciones relacionadas

Cartilla para familias de estudiantes con Trastorn ...

Desde Educared, queremos compartir a las familias una guía muy útil elaborada por el Ministerio de Educación en alian ...

Educación más allá del aula: ¿Cómo atender a ...

Educación más allá del aula es un conjunto de conversatorios online organizado por Fundación Telefónica y Educared ...

Educared se une al portal “Aprendo en Casa” de ...

A través de Fundación Telefónica/Movistar y “la Caixa” Foundation se ha puesto a disposición del Ministerio de E ...