La predicción del CERC y la transparencia metodológica

En su columna publicada ayer en El Mostrador, “La predicción electoral del CERC”, Carlos Huneeus incurre en varios errores metodológicos y empíricos. Además, usa cifras equivocadas para atribuirse una capacidad de predicción superior. Un análisis más honesto de los datos muestra que otras encuestas tuvieron la misma capacidad de predicción que CERC, usando métodos estadísticos más rigurosos y más transparentes. La “predicción” de CERC -cuyo informe ni siquiera publicó los resultados de la pregunta sobre intención de voto- no fue más acertada que los resultados de otras encuestas.

Probablemente sin tener la intención de inducir al engaño, Huneeus presenta un cuadro que compara la predicción del CERC con resultados de encuestas realizadas varias semanas y meses antes de la elección. La predicción de CERC excluye votos nulos, blancos y abstencionistas. La votación por los 4 candidatos suma 100%. Ya que las otras encuestas sí reportan nulos, blancos, abstencionistas e indecisos, los votos válidos suman menos de 100. En el caso de la CEP de octubre, suman 86%. Pero, en la elección, los porcentajes se calculan excluyendo nulos, blancos y abstencionistas. Los resultados que muestro en la tabla inferior normalizan los resultados de esas encuestas al 100% para hacerlas comparables a la predicción de Huneeus.

La predicción del CERC no tiene mejores resultados que la encuesta CEP -realizada dos meses antes- cuya metodología es más transparente.  No hay necesidad de usar la “fórmula del éxito” de la que habla Huneeus. Basta con eliminar los votos indecisos, blancos, nulos y abstencionistas y se llega al mismo resultado. No se necesita ser “ingeniero de la Universidad de Chile y con un Doctorado en Economía de una universidad de los EE.UU.” (y además hijo del propio Huneeus) para saber que el día de la elección sólo se contabilizan votos válidamente emitidos para calcular los porcentajes. Con esto no digo que Huneeus no tenga una fórmula secreta. Solo digo que con un pequeño ajuste aritmético se llega al mismo resultado a partir de la encuesta CEP de octubre (o incluso usando la encuesta UDP de septiembre o la de El Mercurio de diciembre).

Por otro lado, sólo aquellas encuestas que se realizan sobre una muestra probabilística pueden calcular estadísticamente el margen de error. Como correctamente señala Huneeus, las muestras por cuotas se pueden realizar de forma mucho más rápida. Uno puede hacer una encuesta pocos días antes de la elección, como lo hizo Huneeus. Pero lo que se gana en tiempo se pierde en rigurosidad metodológica. La gente ciertamente puede aprovechar el conocimiento que entregan encuestas de muestras por cuotas, pero debe estar consciente de sus limitaciones y potenciales problemas. Lo mismo con las encuestas telefónicas. Tienen fortalezas, pero también debilidades. La clave está en ser lo suficientemente transparente para reconocer fortalezas y subrayar las debilidades de tal forma que la opinión pública decida qué tanto peso darle a cada encuesta.

[cita]Huneeus tiene todo el derecho de entrar al campo minado de la predicción electoral. Pero debe entender que, al hacerlo, abandona la esfera de las ciencias sociales y se adentra en el más peligroso mundo de la opinión pública, la política y las estrategias de campaña. [/cita]

Lo que el CERC equivocadamente señala como ganancia a partir de una predicción que usa una “fórmula secreta” es sustancialmente inferior a lo que se pierde por falta de transparencia y por poca rendición de cuentas. Al no hacer pública ni la metodología, ni el cuestionario, ni la base de datos -ni por cierto el financiamiento de la encuesta-, el CERC se pone en la vereda equivocada ante una sociedad civil que demanda más transparencia.

Finalmente, la tarea de un encuestador no es predecir resultados electorales. Su tarea es producir encuestas que tengan rigurosidad metodológica y empírica, que se sustenten sobre sólidos fundamentos teóricos, que sigan protocolos establecidos (por ejemplo, evitando preguntas sesgadas, como las que hizo CERC) y que puedan ser sometidas a la implacable evaluación de sus pares en la profesión y al escrutinio de la opinión pública. Las “predicciones” a partir de fórmulas secretas corresponden más al terreno de los adivinos, futurólogos y “pundits” -usualmente traducido como opinólogo- que al de la disciplina de la opinión pública en las ciencias sociales. Siendo alguien que regularmente cruza desde la vereda de la ciencia social a aquella de la deliberación pública, me parece especialmente importante transparentar cuándo estamos haciendo ciencias sociales y cuándo estamos haciendo otras cosas.

Huneeus tiene todo el derecho de entrar al campo minado de la predicción electoral. Pero debe entender que, al hacerlo, abandona la esfera de las ciencias sociales y se adentra en el más peligroso mundo de la opinión pública, la política y las estrategias de campaña.

Los resultados de las encuestas están normalizados de forma que excluyan votos nulos, blancos, indecisos y abstencionistas. El % bajo la suma de votos indica la cantidad de encuestados que contestó válidamente la pregunta sobre intención de voto. En el caso de CERC, ese dato no fue publicado.