Simce: ¿Evaluamos la calidad de la educación en un día?

Después de conocer los promedios nacionales de Simce 2002 probablemente la sensación generalizada es que nos fue mal. Los titulares de la prensa nacional fueron categóricos, los resultados no eran buenos. Como todos los años esto produce preocupación en millones de familias quienes con impaciencia razonable esperan que sus hijos e hijas reciban cada día mejor educación. Hay muchas propuestas sobre cómo mejorar la situación, por ejemplo, premiando el buen rendimiento o castigando las escuelas que no mejoran. Pero ¿es correcto evaluar la calidad de la educación en base a los promedios entregados hace unas semanas atrás? En realidad no.



La investigación sugiere que tomar medidas drásticas en base a los resultados de pruebas como el Simce podría resultar en recursos perdidos y, probablemente, educadores y padres frustrados. Veamos algunos ejemplos.



Kane de la Universidad de California, Los Angeles, y Staiger de Dartmouth, han estudiado científicamente las distorsiones que se pueden producir en las pruebas tipo Simce. Ellos han encontrado dos limitantes importantes que producen una suerte de sube y baja en los resultados.



La primera es que el Simce no evalúa a las mismas personas. Para evaluar el sistema se requeriría pruebas sucesivas a los mismos estudiantes y no solamente al mismo nivel con distintos estudiantes. Esto es particularmente importante en colegios pequeños cuando dos o tres alumnos con buenos o malos resultados pueden hacer una diferencia importante en el promedio. El siguiente gráfico muestra cómo varían los puntajes según el tamaño de la escuela. Se observa que las escuelas más pequeñas presentaron una variabilidad de 34 puntos en la prueba, mientras que las escuelas con mayor número de alumnos tienen resultados más estables.







Una segunda limitante son la existencia de factores externos que producen cambios en rendimiento. Por ejemplo, si el día de la prueba hacen arreglos al edificio, hay un perro ladrando afuera de la sala, varios alumnos (aplicados y no tanto) están enfermos, o por el contrario hay un muy buen ambiente en un curso particular.



La investigación de Kane y Staiger en los Estados Unidos, muestra que ambos factores causan significativa volatilidad en los resultados de un año para otro. Es decir, es normal que colegios tienen años buenos y malos.



La siguiente tabla deja en evidencia la volatilidad de los resultados, situación que según las investigaciones es más acentuada para los primeros niveles de enseñanza. La variación de puntajes cruza todos los niveles socioeconómicos; comparando el resultado de 1999 con el de 2002, observamos que cerca de un 60% de las escuelas más pobres retrocedieron en su puntaje y uno de cada tres escuelas de altos ingreso también bajó. Según lo explican Kane y Staiger, descripciones de este tipo de ningúna manera podría llevar a la conclusión sobre la calidad de la educación.

Una tercera limitante de las pruebas tipo Simce es que no parecen ser indicadas para usarlas como criterio de seleccion de calidad. Los economistas Clay, McEwan y Urquiola de Berkeley, Wellesley y Cornell, respectivamente, están estudiando el uso del Simce para sancionar y premiar colegios en Chile. Tomaron el ejemplo del programa P-900, el que usa los resultados del Simce para identificar 900 de los colegios más deficitarios para entregarles más recursos. Los resultados preliminares del estudio sugieren que el Simce no falla al identificar los colegios críticos beneficiarios para dicho programa. Así, el Ministerio está seleccionando colegios buenos y dejando afuera colegios con deficiencias. En suma, esta investigación ilustra cómo las bondades del P-900 han sido disminuidas debido al criterio de selección de colegios empleado.



Hemos querido ilustrar algunas de las limitantes que se observan en las pruebas tipo Simce y que inducen a problemas de interpretación. Estos problemas persistirán el próximo año, y los resultados no mejorarán significativamente y tampoco empeorarán dramáticamente. Pero seguiremos entrampados en la discusión de puntos más y puntos menos, sobrereaccionando ante los resultados y generando un clima que no es propicio para una comunidad que quiere aprender.



En medio de esta suerte de trampa se requería de innovación y un cambio de actitud. Primero, Chile está en condiciones de ponerse pantalones largos en los sistemas prueba y así comenzar a migrar el Simce hacia una prueba longitudinal. En segundo lugar se requeriría un cambio de actitud tanto de los medios de comunicación como de las autoridades. Los medios podrían dejar de hacer rankings que sólo sirve a un sector pequeño de la población y empezar a proveer más información útil sobre los colegios de la gran mayoría de las familias. Por el otro lado, en vez de premiar o castigar a escuelas y profesores, los autoridades deberían aprovechar del sistema dinámico de libre elección de colegios e incentivar a los apoderados para que asuman un rol más activo en la educación y decidan si están conformes o no con la calidad de la escuela donde se educan sus hijas e hijos.



A todos nos preocupa la calidad de la educación. Así como personeros de distintos partidos, gremios y medios de comunicación tienen una sola voz para decir: «a la economía hay que cuidarla», sería necesario también izar la bandera: «a la educación hay que cuidarla». Basados en los promedios del Simce no se debería propagar la alarma ni tomar decisiones drásticas que afectan a miles de familias, educadores y la comunidad en general.



_____________



* Rodrigo Fabrega Lacoa—Penn, es Ingeniero Comercial Ph D (c) en Educacion. Ex Director del Servicio Pais.
* Gregory Elacqua, es Economista Master en Desarrollo Internacional, Columbia University.