Publicidad

El problema es el Simce: una mirada histórica, ideológica y técnica

María Teresa Florez
Por : María Teresa Florez Académica Departamento de Estudios Pedagógicos, Facultad de Filosofía y Humanidades, Universidad de Chiley Ph.D. en Educación, Centro de Evaluación Educativa, Universidad de Oxford, Inglaterra
Ver Más

Los teóricos en evaluación llevan criticando por años la forma mecanicista, estadística, poco holística y operacional con que las agencias han llevado a la práctica los principios sobre validez. En este sentido, debemos preguntarnos si queremos seguir participando de este juego donde finalmente nos dejamos guiar por pruebas que no presentan evidencia suficiente de su validez y juegan a la credibilidad, y pese a ello se utilizan para tomar decisiones que clasifican, clausuran, asignan o quitan presupuesto y, en definitiva, distorsionan.


Días atrás, el Dr. Ernesto Treviño respondió a la columna de Gonzalo Oyarzún y Gabriel Boric en El Mostrador, por medio de un artículo con el que buscaba aclarar ciertas confusiones entre mercado, evaluación y SIMCE. La presente columna busca, a su vez, discutir algunas de las premisas de dicha respuesta, precisando los fundamentos que llevan a la necesidad de replantear la existencia del SIMCE en nuestro sistema.

 Mirada histórica

 Si queremos hacer un poco de historia, deberíamos ir más allá del Programa de Evaluación del Rendimiento Escolar (PER) y observar cómo la evaluación de altas consecuencias ha estado presente a lo largo de toda nuestra historia. Las discusiones entre Barros Arana y Abdón Cifuentes en relación con la cuestión de exámenes en el siglo XIX; la fallida eliminación de los exámenes propuesta por la reforma de los profesores en los años 20; la discusión en torno a la abolición del Bachillerato y su reemplazo por la P.A.A.; la instauración de la Prueba Nacional como medio para evaluar la calidad del sistema y demostrar a la opinión pública el éxito o fracaso de determinadas medidas; las críticas que en los años 70 se realizaban al sistema individualista y competitivo que se promovía por medio de las notas, y la defensa que de ello se realiza por parte de grupos conservadores en la misma época; todos estos antecedentes dejan claro que no es la primera vez que estamos sosteniendo esta discusión.

El factor común entre todas estas discusiones ha sido la disputa entre una voluntad de reforma hacia un modelo pedagógico y curricular emancipador, que fomente la formación integral de ciudadanos críticos, participativos y activos en el contexto de una sociedad igualitaria, y un modelo funcional, memorístico, centrado en habilidades básicas y aprendizaje por automatización, centrado en clasificar a los individuos según su rol social, que es el modelo que en general la evaluación estandarizada y/o de altas consecuencias ha promovido.

[cita] Los teóricos en evaluación llevan criticando por años la forma mecanicista, estadística, poco holística y operacional con que las agencias han llevado a la práctica los principios sobre validez. En este sentido, debemos preguntarnos si queremos seguir participando de este juego donde finalmente nos dejamos guiar por pruebas que no presentan evidencia suficiente de su validez y juegan a la credibilidad, y pese a ello se utilizan para tomar decisiones que clasifican, clausuran, asignan o quitan presupuesto y, en definitiva, distorsionan. [/cita]

Lo que hace el contexto neoliberal es simplemente asumir de manera más explícita y sistemática la necesidad del uso de la evaluación de altas consecuencias como instrumento de gobierno a distancia, toda vez que el Estado ha sido desmantelado en términos de responsable directo por la educación. Es por ello que la presión se hace más constante, determinante y palpable. Y si bien en la práctica la publicación de resultados comienza con la Concertación, las bases y principios de la evaluación como medio para controlar el sistema se esbozan ya a fines de los 70 y principios de los 80 en las ideas del ministro Alfredo Prieto Bafalluy, quien indicaba la necesidad de una evaluación como el SIMCE para que los padres, entendidos como clientes del sistema educativo, pudieran comparar y elegir entre las opciones ofrecidas por el mercado.

SIMCE como indicador de calidad y de logro de aprendizajes

No resulta aceptable la aclaración que realiza Treviño acerca del SIMCE como un indicador de calidad y no como sinónimo de calidad, a partir de la cual asigna la responsabilidad a los usuarios del sistema en términos de su interpretación errónea del SIMCE. Las interpretaciones no válidas de los puntajes provienen del mismo SIMCE, en cuyo sitio web es posible encontrar fragmentos como el siguiente:

“Cuando dos establecimientos con similares características socioeconómicas obtienen puntajes promedios significativamente distintos, es más probable que estas diferencias se deban a que una escuela ofrece una educación de mejor calidad que la otra.”

Si las interpretaciones totalizantes y no válidas emergen del mismo organismo que elabora la prueba, entonces qué se espera del resto de los actores. Las interpretaciones y su resguardo son un aspecto central de la validez en evaluación, y ello no se ha manejado de manera cuidadosa en relación con SIMCE.

En tanto indicador de logros de aprendizaje, dados todos sus problemas técnicos, el SIMCE no puede ser interpretado de forma técnicamente válida en este sentido. En primer lugar, hay que considerar la gran cantidad de propósitos que se espera que la prueba cumpla, para los cuales no se ha entregado evidencia suficiente en términos de validez. En segundo lugar, al estar modificándose el constructo a evaluar constantemente; al haber problemas de cobertura de áreas importantes del currículum, tanto por el formato de la prueba como por el tipo de pregunta que logra pasar el análisis psicométrico; al observarse problemas en las pautas de evaluación y los procesos de corrección; al detectarse la asignación errónea de niveles de logro y habilidades a determinadas preguntas, resulta difícil determinar qué es realmente lo que podemos inferir de sus resultados y seguir refiriéndose a SIMCE como un indicador de logros de aprendizaje. Ello sin mencionar lo grave que resulta en términos éticos el estar utilizando este tipo de evidencia para tomar decisiones de política educativa.

El problema es el SIMCE y no solamente sus consecuencias

Lo anterior hace que el SIMCE sea un problema en sí mismo, y no solamente en relación con sus consecuencias, como indica Treviño. Este último aspecto simplemente resulta más lamentable a la luz de un instrumento que no nos dice mucho, dados sus problemas de construcción y aplicación. Aun así, hay que recordar que la literatura sobre validez en evaluación –no las agencias que elaboran y lucran con estas pruebas sino los investigadores en el tema–, presentan un consenso creciente en relación a la necesidad de incluir las consecuencias de una prueba como un aspecto de su validez técnica. Además, hay aspectos de las consecuencias que se relacionan con la validez de los resultados de SIMCE. Por ejemplo, si las consecuencias de SIMCE están muy extendidas, tal como indica Hanson (2000), puede ser que el test termine creando lo que intenta medir en lugar de medir un comportamiento o competencia en específico, es decir, que lo que terminemos evaluando sea la idea de, por ejemplo, comprensión lectora según SIMCE, en lugar de la comprensión lectora como comportamiento general.

Lo que hace Treviño para defender la calidad técnica de SIMCE se llama en política educativa “externalización”, que implica indicar que lo que uno hace es correcto porque hay un tercero que lo hace de la misma manera. No es necesario recordar aquí las críticas de las que PISA ha sido y continúa siendo objeto, una prueba en la que participa ampliamente ACER, una de las agencias altamente citadas para validar la calidad de SIMCE. De la misma manera, los sistemas de evaluación a gran escala de diversos países están siendo objeto de críticas, como es el caso de Inglaterra y Estados Unidos, donde diferentes actores se oponen a las presiones de los sistemas de evaluación a gran escala. Los teóricos en evaluación llevan criticando por años la forma mecanicista, estadística, poco holística y operacional con que las agencias han llevado a la práctica los principios sobre validez. En este sentido, debemos preguntarnos si queremos seguir participando de este juego donde finalmente nos dejamos guiar por pruebas que no presentan evidencia suficiente de su validez y juegan a la credibilidad, y pese a ello se utilizan para tomar decisiones que clasifican, clausuran, asignan o quitan presupuesto y, en definitiva, distorsionan.

Continuidad de SIMCE

Estamos de acuerdo en que la evaluación es necesaria para aprender y mejorar, pero ello corresponde no a su dimensión social sino a su dimensión pedagógica, que es el uso que los docentes dan o intentan dar a la evaluación dentro de un sistema que promueve la competencia, la clasificación y la estigmatización a nivel de aula, de escuela y de país. Pese a que el uso pedagógico de SIMCE ha estado dentro de los múltiples propósitos que se le han asignado, resulta complejo pensar de qué manera una evaluación a gran escala, de tal nivel de homogeneización y tan abarcadora, pueda utilizarse en ese sentido. Sobre la necesidad de mantener el SIMCE, hay que poner en la balanza los “avances” a los que alude Treviño y los daños que el SIMCE ha generado en el sistema. Este ejercicio nos lleva rápidamente a darnos cuenta de que las consecuencias de SIMCE contradicen uno de sus propósitos centrales y más estables en el tiempo: mejorar la calidad y equidad de nuestro sistema educativo.

No basta con revisar el SIMCE en sus consecuencias. Habría que revisar todo: su propósito, sus usos, sus interpretaciones, así como la calidad de sus procesos de construcción, aplicación, revisión y uso. Pero, por sobre todo y antes que nada, habría que repensar nuestro modelo educativo y, en ese contexto, pensar finalmente si necesitamos una evaluación a gran escala, para qué la necesitamos, con qué propósito, y, dependiendo de la respuesta, pensar en un modo de evaluación que sea coherente con una idea de aprendizaje, enseñanza y conocimiento y, por lo tanto, de calidad de la educación, que la ciudadanía quiera para su sociedad. Si no se parte desde esa reflexión de base, y pese a las demandas ciudadanas se insiste en un modelo neo-liberal que solamente las elites quieren y defienden, entonces no tiene sentido hablar de reforma.

  • El contenido vertido en esta columna de opinión es de exclusiva responsabilidad de su autor, y no refleja necesariamente la línea editorial ni postura de El Mostrador.
Publicidad

Tendencias