Políticas basadas en evidencia y revisiones sistemáticas, por Santiago Cueto

Desde hace algunos años ha cobrado fuerza un movimiento internacional denominado políticas basadas en evidencias. Este movimiento sugiere que cualquier política o programa, en su fase piloto o antes de generalizarse, debería tener un fundamento teórico, así como estudios y evaluaciones que sustenten que muy posiblemente tendrá impactos positivos en la población objetivo. También es deseable que tenga una relación positiva entre costo y beneficios esperados. En el Perú, el Ministerio de Economía y Finanzas a menudo ha respaldado este enfoque. Igual han hecho algunas fundaciones nacionales e internacionales, que han requerido un respaldo basado en investigaciones previas antes de invertir recursos. En el caso de educación en el Perú, a menudo las políticas no han tenido este tipo de respaldo en evidencias, sino que se han definido por la opinión a favor o en contra de las personas con poder de decisión en el gobierno, que han creado o cortado programas solo con base en sus experiencias personales y opinión. También es cierto que la investigación empírica de alto rigor académico en educación es escasa en el Perú, por lo que a veces no hay evidencia local que se pueda citar como respaldo de algunas políticas.

La pregunta que se deriva de lo anterior es, ¿dónde se pueden encontrar estudios académicos rigurosos? Afortunadamente, el acceso a internet ha facilitado mucho este trabajo en los últimos años. Existen varios buscadores especializados; uno de los más conocidos es Google Académico (https://scholar.google.es/schhp?hl=es). En esta página, de uso muy amigable, se pueden encontrar estudios o ver las publicaciones de autores identificados previamente. Esto último es relevante pues a menudo uno encuentra que existe un/a autor que son clave en el campo de interés, por lo que quieren leer otros textos del mismo. Para encontrar artículos de España y América Latina existe la Red de Revistas Científicas de América Latina y el Caribe, España y Portugal: Redalyc (https://www.redalyc.org). En este portal se puede buscar estudios sobre educación y otras áreas. Hay muchos otros buscadores académicos, como SciELO, que también se especializa en la región (https://scielo.isciii.es/scielo.php); Academia (https://www.academia.edu); y ERIC (https://eric.ed.gov), especializado en educación, aunque disponible solo en inglés. En este portal se publican interesantes reportes sobre una variedad de temas.

Lo que uno descubre rápidamente sin embargo es que para cualquier tema existen docenas y a veces cientos de estudios, realizados en diferentes partes del mundo. ¿Cómo se puede procesar tanta información? Si uno trabaja en el sector académico y dispone de tiempo, la revisión exhaustiva de los estudios disponibles es una tarea muy agradable; sin embargo, sabemos que a menudo los tomadores de decisiones requieren información rápidamente. Además, existen estudios buenos, regulares y malos; no todos los estudios publicados en revistas académicas son de calidad, desafortunadamente. Para poder resumir estudios de alta calidad académica se ha desarrollado una metodología rigurosa, llamada revisiones sistemáticas. En estas revisiones los investigadores en primer lugar definen un tema (por ejemplo, aprendizaje de la matemática o lectura y escritura durante los primeros grados). Luego, hacen una búsqueda de artículos usando herramientas como Google, Redalyc y otras mencionadas antes. En esta búsqueda se seleccionan todos los estudios relevantes dada la temática y se va haciendo una selección de los mejores, para lo cual se usan criterios académicos, que a menudo priorizan que el estudio tenga rigor para establecer relaciones de causa y efecto (por ejemplo, que un programa tenga impactos positivos en el aprendizaje); esto lleva a menudo a priorizar estudios experimentales, en los que se encuentran grupos de tratamiento y control cuyos miembros han sido asignados aleatoriamente a cada uno de estos.

Existen varias revistas y portales que presentan los resultados de revisiones sistemáticas. Entre ellas, en español, están el Skills Bank del Banco Interamericano de Desarrollo (BID: https://skillsbank.iadb.org/es); este portal muestra estudios de acuerdo al nivel de educación en el que se tenga interés, desde inicial hasta superior. El laboratorio de SUMMA presenta una revisión de prácticas educativas efectivas (https://www.summaedu.org/plataforma-de-practicas-educativas-efectivas/), indicando su costo relativo y seguridad en los efectos reportados. En inglés existen otras fuentes de información muy útiles, como Campbell (https://www.campbellcollaboration.org) y la Iniciativa Internacional para la Evaluación de Impacto (https://www.3ieimpact.org). Para revisar una gran cantidad de documentos sobre temas específicos, se puede visitar la What Works Clearinghouse (se puede traducir como: lo que funciona en educación: https://ies.ed.gov/ncee/wwc/). En cualquiera de las anteriores o en revistas especializadas en revisiones sistemáticas, como por ejemplo Review of Educational Research (https://www.aera.net/Publications/Journals/Review-of-Educational-Research), se pueden encontrar artículos sobre temas específicos diversos. Su limitación es que, al ser muy rigurosos, a menudo solo logran abarcar un tema muy específico. También es cierto que las revisiones a menudo no incluyen estudios en países en desarrollo, dado que los estudios experimentales en estas regiones son escasos. Además, uno extraña en estas revisiones son referencias sobre estudios cualitativos, que muchas de las anteriores no consideran, y estudios sobre cómo llevar adelante reformas a gran escala (por ejemplo, como mejorar el sistema educativo en zonas rurales del Perú). Sin embargo, las revisiones sirven mucho para ayudar a entender los enfoques teóricos en un campo determinado y el impacto de programas específicos.

En el Perú existe investigación educativa, pero es escasa. Las razones pueden ser varias, incluyendo que la formación inicial de muchos profesionales en el campo no incluye una formación exigente en investigación y los fondos públicos para la investigación son escasos[1]. Existen muchas revistas académicas en educación, pero a menudo publican estudios que no tienen altos niveles de rigor, por lo que generan dudas sobre sus fundamentos teóricos, métodos o interpretación de resultados. Existen excepciones por supuesto. Una es la Revista Peruana de Investigación Educativa (https://revistas.siep.org.pe/index.php/RPIE). Esta Revista es publicada por la Sociedad de Investigación Educativa Peruana (SIEP), que además organiza un seminario bienal, donde pueden presentar sus estudios investigadores/as sin necesariamente estar afiliados a la SIEP. Se trata de un emprendimiento notable de un grupo de investigadores e investigadoras especializados en educación de todo el país. Las sugerencias anteriores no pretenden ser exhaustivas; existen muchas otras fuentes de información relevantes en la búsqueda de evidencia.

El propósito de este artículo no es sugerir que la evidencia debería dictar las políticas. Existen muchos factores para tomar decisiones de política educativa, incluyendo factores de política coyuntural y disponibilidad de recursos humanos, infraestructura y financieros. Sin embargo, considerar la evidencia disponible, o si no existe intentar generarla, me parece que siempre ayuda a optimizar la toma de decisiones.


[1] Históricamente, CONCYTEC no ha incluido educación como una de sus áreas prioritarias, aunque recientemente ha manifestado su voluntad de hacerlo.

Políticas basadas en evidencia y revisiones sistemáticas, por Santiago Cueto

Autor: Educared Publicado: agosto 20, 2021

Desde hace algunos años ha cobrado fuerza un movimiento internacional denominado políticas basadas en evidencias. Este movimiento sugiere que cualquier política o programa, en su fase piloto o antes de generalizarse, debería tener un fundamento teórico, así como estudios y evaluaciones que sustenten que muy posiblemente tendrá impactos positivos en la población objetivo. También es deseable que tenga una relación positiva entre costo y beneficios esperados. En el Perú, el Ministerio de Economía y Finanzas a menudo ha respaldado este enfoque. Igual han hecho algunas fundaciones nacionales e internacionales, que han requerido un respaldo basado en investigaciones previas antes de invertir recursos. En el caso de educación en el Perú, a menudo las políticas no han tenido este tipo de respaldo en evidencias, sino que se han definido por la opinión a favor o en contra de las personas con poder de decisión en el gobierno, que han creado o cortado programas solo con base en sus experiencias personales y opinión. También es cierto que la investigación empírica de alto rigor académico en educación es escasa en el Perú, por lo que a veces no hay evidencia local que se pueda citar como respaldo de algunas políticas.

La pregunta que se deriva de lo anterior es, ¿dónde se pueden encontrar estudios académicos rigurosos? Afortunadamente, el acceso a internet ha facilitado mucho este trabajo en los últimos años. Existen varios buscadores especializados; uno de los más conocidos es Google Académico (https://scholar.google.es/schhp?hl=es). En esta página, de uso muy amigable, se pueden encontrar estudios o ver las publicaciones de autores identificados previamente. Esto último es relevante pues a menudo uno encuentra que existe un/a autor que son clave en el campo de interés, por lo que quieren leer otros textos del mismo. Para encontrar artículos de España y América Latina existe la Red de Revistas Científicas de América Latina y el Caribe, España y Portugal: Redalyc (https://www.redalyc.org). En este portal se puede buscar estudios sobre educación y otras áreas. Hay muchos otros buscadores académicos, como SciELO, que también se especializa en la región (https://scielo.isciii.es/scielo.php); Academia (https://www.academia.edu); y ERIC (https://eric.ed.gov), especializado en educación, aunque disponible solo en inglés. En este portal se publican interesantes reportes sobre una variedad de temas.

Lo que uno descubre rápidamente sin embargo es que para cualquier tema existen docenas y a veces cientos de estudios, realizados en diferentes partes del mundo. ¿Cómo se puede procesar tanta información? Si uno trabaja en el sector académico y dispone de tiempo, la revisión exhaustiva de los estudios disponibles es una tarea muy agradable; sin embargo, sabemos que a menudo los tomadores de decisiones requieren información rápidamente. Además, existen estudios buenos, regulares y malos; no todos los estudios publicados en revistas académicas son de calidad, desafortunadamente. Para poder resumir estudios de alta calidad académica se ha desarrollado una metodología rigurosa, llamada revisiones sistemáticas. En estas revisiones los investigadores en primer lugar definen un tema (por ejemplo, aprendizaje de la matemática o lectura y escritura durante los primeros grados). Luego, hacen una búsqueda de artículos usando herramientas como Google, Redalyc y otras mencionadas antes. En esta búsqueda se seleccionan todos los estudios relevantes dada la temática y se va haciendo una selección de los mejores, para lo cual se usan criterios académicos, que a menudo priorizan que el estudio tenga rigor para establecer relaciones de causa y efecto (por ejemplo, que un programa tenga impactos positivos en el aprendizaje); esto lleva a menudo a priorizar estudios experimentales, en los que se encuentran grupos de tratamiento y control cuyos miembros han sido asignados aleatoriamente a cada uno de estos.

Existen varias revistas y portales que presentan los resultados de revisiones sistemáticas. Entre ellas, en español, están el Skills Bank del Banco Interamericano de Desarrollo (BID: https://skillsbank.iadb.org/es); este portal muestra estudios de acuerdo al nivel de educación en el que se tenga interés, desde inicial hasta superior. El laboratorio de SUMMA presenta una revisión de prácticas educativas efectivas (https://www.summaedu.org/plataforma-de-practicas-educativas-efectivas/), indicando su costo relativo y seguridad en los efectos reportados. En inglés existen otras fuentes de información muy útiles, como Campbell (https://www.campbellcollaboration.org) y la Iniciativa Internacional para la Evaluación de Impacto (https://www.3ieimpact.org). Para revisar una gran cantidad de documentos sobre temas específicos, se puede visitar la What Works Clearinghouse (se puede traducir como: lo que funciona en educación: https://ies.ed.gov/ncee/wwc/). En cualquiera de las anteriores o en revistas especializadas en revisiones sistemáticas, como por ejemplo Review of Educational Research (https://www.aera.net/Publications/Journals/Review-of-Educational-Research), se pueden encontrar artículos sobre temas específicos diversos. Su limitación es que, al ser muy rigurosos, a menudo solo logran abarcar un tema muy específico. También es cierto que las revisiones a menudo no incluyen estudios en países en desarrollo, dado que los estudios experimentales en estas regiones son escasos. Además, uno extraña en estas revisiones son referencias sobre estudios cualitativos, que muchas de las anteriores no consideran, y estudios sobre cómo llevar adelante reformas a gran escala (por ejemplo, como mejorar el sistema educativo en zonas rurales del Perú). Sin embargo, las revisiones sirven mucho para ayudar a entender los enfoques teóricos en un campo determinado y el impacto de programas específicos.

En el Perú existe investigación educativa, pero es escasa. Las razones pueden ser varias, incluyendo que la formación inicial de muchos profesionales en el campo no incluye una formación exigente en investigación y los fondos públicos para la investigación son escasos[1]. Existen muchas revistas académicas en educación, pero a menudo publican estudios que no tienen altos niveles de rigor, por lo que generan dudas sobre sus fundamentos teóricos, métodos o interpretación de resultados. Existen excepciones por supuesto. Una es la Revista Peruana de Investigación Educativa (https://revistas.siep.org.pe/index.php/RPIE). Esta Revista es publicada por la Sociedad de Investigación Educativa Peruana (SIEP), que además organiza un seminario bienal, donde pueden presentar sus estudios investigadores/as sin necesariamente estar afiliados a la SIEP. Se trata de un emprendimiento notable de un grupo de investigadores e investigadoras especializados en educación de todo el país. Las sugerencias anteriores no pretenden ser exhaustivas; existen muchas otras fuentes de información relevantes en la búsqueda de evidencia.

El propósito de este artículo no es sugerir que la evidencia debería dictar las políticas. Existen muchos factores para tomar decisiones de política educativa, incluyendo factores de política coyuntural y disponibilidad de recursos humanos, infraestructura y financieros. Sin embargo, considerar la evidencia disponible, o si no existe intentar generarla, me parece que siempre ayuda a optimizar la toma de decisiones.


[1] Históricamente, CONCYTEC no ha incluido educación como una de sus áreas prioritarias, aunque recientemente ha manifestado su voluntad de hacerlo.

Escribe un comentario

  • Comentarios: 0
  • Valoraciones: 1
       

 

Publicaciones relacionadas

Cartilla para familias de estudiantes con Trastorn ...

Desde Educared, queremos compartir a las familias una guía muy útil elaborada por el Ministerio de Educación en alian ...

Educación más allá del aula: ¿Cómo atender a ...

Educación más allá del aula es un conjunto de conversatorios online organizado por Fundación Telefónica y Educared ...

Educared se une al portal “Aprendo en Casa” de ...

A través de Fundación Telefónica/Movistar y “la Caixa” Foundation se ha puesto a disposición del Ministerio de E ...