Cuestionar encuestas cuyos resultados parecen desfavorables se ha convertido en práctica común. Lo mío no va por ahí. Ni siquiera me he detenido a mirar los resultados del CERC. Pero su metodología y la forma en que ha difundido sus resultados me parecen insatisfactorias. Aquí cuestiono ambas.
En una sociedad que cada vez pide más transparencia y mejor rendición de cuentas, las encuestas de opinión pública no se pueden quedar atrás. La información que ofrecen constituye en sí mismo un hecho político que pudiera influir en el comportamiento electoral. Aquellas encuestas bien realizadas reflejan las preferencias de la gente. Pero todas las encuestas, buenas y malas, pueden influir en las decisiones de la gente al votar.
De ahí que sea crucial que los propios encuestadores demuestren su compromiso con la transparencia y con una mejor calidad del debate y la deliberación pública siguiendo algunas reglas de buenas costumbres profesionales para que la noticia sea más la información que entrega la encuesta que los problemas de diseño e implementación que ponen en duda la validez y utilidad de sus resultados.
La encuesta CERC difundida el 9 de diciembre constituyó un hecho político. CERC se animó a dar un vaticinio de los resultados del próximo domingo, cruzando la delgada línea que divide a un encuestador y a un futurólogo. Adicionalmente, contraviniendo la información que han entregado varias otras encuestas y sondeos, CERC anuncia que la segunda vuelta sería una cuestión zanjada ya a favor de Sebastián Piñera.
Cuestionar encuestas cuyos resultados parecen desfavorables se ha convertido en práctica común en los comandos. Lo mío no va por ahí. Ni siquiera me he detenido a mirar los resultados del CERC. Pero su metodología y la forma en que ha difundido sus resultados me parecen insatisfactorias.
[cita]Porque debiera seguir siendo un actor influyente en el rubro, sería conveniente que CERC -y todas las encuestadoras-, aclare y transparente su metodología y fuentes de financiamiento.[/cita]
Aquí cuestiono tanto la metodología (diseño) como la forma en que el CERC difundió su encuesta (implementación). Mi ánimo no es cuestionar los resultados del CERC o polemizar sobre quién va a ganar. La mía es una discusión metodológica y de buenas prácticas. El domingo sabremos cómo ha votado la gente. Pero aún si el CERC predice adecuadamente la elección, los errores de diseño e implementación no desaparecen. El hecho que alguien prediga bien un resultado a partir de un sueño o de una revelación paranormal puede ser admirable, pero a menos que haya un método verificable y reproducible, no es ciencia.
El principal problema de diseño de esta encuesta CERC es que no es aleatoria en todas sus etapas. Es una encuesta por cuotas. Hay gente que defiende este tipo de encuestas (toma menos tiempo levantarlas y es más rápido terminarlas). Pero una encuesta por cuotas no puede calcular legítimamente un margen de error. No corresponde alegar que si la encuesta “fuera” aleatoria en todas sus etapas, “tendría” un determinado margen de error.
Hay otros potenciales problemas de diseño, pero como no sabemos ni la forma ni en el orden de las preguntas del cuestionario, esos los discutiré como problemas de implementación. CERC contribuiría mucho a la transparencia y a disminuir los cuestionamientos sobre su encuesta si facilitaran—como lo hace CEP o la UDP, y como por cierto no lo hacen ni El Mercurio, La Tercera, UDD-La Segunda o Adimark—las bases de datos. La mayoría de las personas no van a revisar nunca las bases de datos. Pero su disponibilidad permite a los expertos verificar la información que entregan y demuestra la disponibilidad de los encuestadores a una mejor rendición de cuentas.
Vamos a algunos problemas de implementación de la encuesta CERC. Hay falta de transparencia. El informe de encuesta no indica si las respuestas incluidas son de todos los encuestados o sólo de los inscritos. Ya que no hay un N (número de encuestados), no sabemos qué muestra o parte de la muestra usa el CERC en su informe. Tampoco sabemos cómo llegó el CERC a su predicción que da por ganador a Piñera con un 44,1% de los votos, 13% sobre Frei. Tengo la corazonada que esos números son algo altos para Piñera. Pero lo mío es una corazonada. Lo de CERC supuestamente es una predicción basada en un método estadísticamente sólido que, lamentablemente, es desconocido para el público.
No sabemos qué cuestionario se aplicó en la encuesta y en qué orden se hicieron las preguntas. El orden de las preguntas bien puede sesgar e influir en las respuestas. Las preguntas sobre los atributos de los candidatos violan un principio básico de una encuesta, debe ser neutral en la forma que pregunta. La encuesta interroga específicamente sobre atributos positivos de Frei y de Arrate (“es un buen candidato presidencial” y “ha sido el mejor candidato de la izquierda en los últimos 20 años») y atributos negativos de Piñera y de ME-O («tiene conflicto de interés entre su condición de empresario y político» y “no tiene experiencia para ser presidente»). Sin siquiera mirar los resultados de esas preguntas, uno no puede sino sospechar de falta de prolijidad. Las preguntas de una encuesta debieran buscar ser neutrales y no inducir percepciones o despertar inclinaciones.
CERC ha contribuido a desarrollar el campo de la opinión pública en Chile. Desde la dictadura realiza encuestas que han marcado tendencias y han influido en EL proceso político. Pero en un país que ha cambiado, CERC también necesita hacerlo. La democracia chilena se ha consolidado y fortalecido desde 1990. Hay más transparencia, mejor rendición de cuentas, más y mejor acceso a la información pública y de interés público. Hay más debate y deliberación. Por el bien del campo de las investigaciones de opinión pública, por la reputación de la disciplina y porque el propio CERC debiera seguir siendo un actor relevante e influyente en el rubro, sería conveniente que CERC—y todas las encuestadoras que participan del debate público—aclaren y transparenten su metodología, difundan una detallada ficha técnica, transparenten su forma de muestreo, hagan pública la base de datos (o al menos el cuestionario completo que utilizan) y transparenten también las fuentes de financiamiento para sus encuestas.
