martes, 19 de marzo de 2019 Actualizado a las 17:11

Opinión

Autor Imagen

Mea culpa: el error de las encuestas en las elecciones presidenciales de 2017

por 21 noviembre, 2017

Mea culpa: el error de las encuestas en las elecciones presidenciales de 2017
Respecto del error cometido en esta elección, en el que se ayudó a construir una agenda de triunfo para Sebastián Piñera que no fue tal, y una agenda de derrota para la izquierda que tampoco fue tal, Chile debería, como Inglaterra, producir un informe independiente que analice las causas del error. La industria de las encuestas electorales debería tener una comunidad de pares, una asociación, que permitiera el intercambio, la investigación y el desarrollo de la subespecialidad, que se pueda hacer cargo del informe y enfrentar la responsabilidad de haber mal representado la intención de voto de los chilenos que fueron a sufragar.
  • Compartir
  • Twittear
  • Compartir
  • Imprimir
  • Enviar por mail
  • Rectificar

Llegamos a la elección presidencial a ciegas, sin encuestas propiamente electorales que anticipen el resultado de la elección. Las encuestas electorales requieren asuntos básicos. En primer lugar, deben representar el total del país; en segundo lugar, que el número de entrevistas permita dar un resultado con un margen de error razonable. Mínimo 1.000 entrevistas entre los que votan dice el estándar internacional (votante probable). Las encuestas de 1.200 casos o de 1.500 no son suficientes para predecir una elección con voto voluntario y con este nivel de abstención, correctamente. Porque el 45% de 1.500 son 675 casos, que es el todo insuficiente para predecir una elección.

Luego está el problema del votante probable, que consiste en un filtro que se le aplica a toda la población en edad de votar, para la intención de voto. Ese filtro de votante probable es el resultado de investigación científica que requiere de la aplicación de encuestas y testeos. Ese cálculo aquí en Chile se hizo de manera light, se usaron las preguntas del “votante probable” de la encuestología de EE.UU. y se supuso que eso era.

La diferencia es que los académicos encuestadores electorales de EE.UU. llegaron a esas preguntas por medio de extensas investigaciones con una comunidad de pares que ha hecho innumerables testeos. Nosotros no solo no hacemos investigación sino que tampoco testeos. No hay ni un solo artículo académico publicado sobre este tema. Ni un solo seminario con ponencias, ni un solo libro. Cero investigación científica de parte de las universidades. Recuerdo que el CEP invitó a Michael Traugott , un cientista político de renombre de Ann Arbor, ex presidente de la Wapor y muy amigo mío, para la elección de 2013, para hablar del tema, pero no pasó nada más.

En Inglaterra se equivocaron las encuestas para el Brexit y la Royal Statistical Society saca un informe para decir por qué se equivocaron. Lo mismo sucedió en 1992, cuando también se equivocaron. Conclusión, los encuestadores ingleses toman el consejo de ese informe, enmiendan el error y vuelven a acertar.

Aquí en Chile instalan una prohibición de 15 días antes de una elección, donde el Tribunal Constitucional (TC) fundamenta que acepta la  restricción porque las encuestas “manipulan” al electorado.

Lo que el TC no dice es que las encuestas impactan más en la elite que baila a su son, que en el electorado al que no le importa lo que estas digan. Si les importara, claramente, el resultado de la elección no habría sido lo que fue. El electorado no solo ignora las encuestas sino también la agenda informativa que había instalado la idea de que Chile estaba muy mal con la izquierda en el Gobierno y que no quería más izquierda. El resultado de la elección muestra que la mayor parte de los electores quiere más izquierda, pero una izquierda distinta, ignoraron la agenda triunfalista.

Pero, a la vez, es al candidato oficialista al que le va menos bien. De hecho, a ambos miembros del establishment binominalista, Piñera y Guillier, les va menos bien. La elección es un rechazo al pasado, no un rechazo a los cambios. Muchos incumbentes que hicieron la transición quedaron en el camino. A Evópoli, la nueva derecha, le fue bien, y a la Nueva Mayoría, la nueva izquierda, le va bien. Las encuestas deberían haber sido capaces de anticipar esos cambios, si se hubieran hecho las investigaciones y encuestas con estándar.

Beatriz Sánchez cree que habría pasado a segunda vuelta si las encuestas la hubieron medido bien, pero lo que no expresa es que ella sacó lo que sacó, sin importar las encuestas. Es decir, las encuestas no valen para que el elector decida. Todo el ambiente de triunfo de Piñera no le trajo más de 2.3 millones de votos. Y eso que el CEP anticipaba 2.750.000.

Las encuestas en esta elección presidencial jugaron un papel perverso en la elección del candidato de la Nueva Mayoría, cuando derrotaron a Ricardo Lagos y el PS eligió a Alejandro Guillier porque a Lagos le “iba mal” en las encuestas (principalmente la Cadem). Esa encuesta, que medía a una parte del país y que le falta representar al mundo popular, es la que se usó para ello. O sea, a Lagos se lo sacó de la carrera por usar encuestas que no representaban el país. ¿Podía estar Ricardo Lagos a 10 puntos de la realidad como lo está Sebastián Piñera hoy, respecto de la encuesta? ¿Habría sido candidato si hubiera tenido 9/10 puntos más?

Importa mucho cuál es el número que se publica y, por tanto, importa mucho también cuál es el estándar que hay detrás. No la persona que hay detrás, sino el estándar técnico. Las encuestas en Chile influyen más en el período previo a la elección de los candidatos que después. Influyen en la élite, no en la población en general.

¿Y qué pasa con la aprobación de Gobierno? Es también 9/10 puntos más que lo que dice la encuesta. ¿Cuál es la verdadera distancia con la realidad que tiene una encuesta? Pues bien, solo se puede saber contra una elección. En septiembre, CERC-Mori estimaba 40% de aprobación para el Gobierno, y los medios apenas lo mencionan porque creen que el número correcto es el de Cadem, que tiene 10 puntos menos. Siempre hubo una distancia importante en la aprobación de Gobierno entre esas dos encuestas. Hoy sabemos que hay una falsa apreciación de la realidad electoral por parte de la encuesta Cadem; ergo, también de la aprobación de Gobierno.

No se puede mal representar al país a ciencia cierta, es decir, sabiendo que no se lo está representando, o con la fuerte sospecha de que así puede ser. Los medios, los actores políticos y sociales tomaron los números publicados como representando a todo el país, sin que así fuera. Es la fe pública la que queda afectada y esta debe resguardarse en todo momento. La actitud del Tribunal Constitucional es muy poco adecuada para la modernidad, porque prohíbe cuando no sabe qué hacer. No consulta a los profesionales, no consulta a la industria en el mundo, no innova, no conduce, sino simplemente prohíbe.

Beatriz Sánchez tiene razón en su crítica política, no se puede jugar con la fe pública y las encuestas tienen que tener un estándar que permita su solidez y su mejor nivel científico, disponibles hoy. No se pueden aceptar versiones (conocidamente) débiles, frágiles, incompletas de la realidad en materia electoral.

La encuesta Cadem se publica 16 días antes de la elección para cumplir con la prohibición de 15 días, y entrega un resultado de 45% para Piñera.  La encuesta CEP se aplica entre el 22 de septiembre y el 16 de octubre y dice que Piñera tiene 44.4%. La encuesta CERC-Mori se aplica entre el 1 de 12 de septiembre y señala que Piñera saca 44% y CNN dice que esa encuesta es de octubre, que es la fecha de publicación (confunden la fecha de aplicación con la de publicación.) La encuesta CEP se termina de aplicar un mes después de que se termina de aplicar la encuesta CERC-Mori y se comparan ambas. Un mes después, en pleno período de elecciones, ya es motivo para no comparar dos encuestas, porque miden realidades diferentes.

Se continúa cometiendo errores con las encuestas en la noche de la elección. La locura total es que CNN compara las encuestas la noche de la elección de la manera que sigue (estos gráficos quedan y los usan los actores políticos y sociales para sacar sus conclusiones, ellos están también representando mal los datos):

 

Suponer que se puede comparar algo medido el 12 de septiembre (CERC-Mori) con algo medido el 3 de noviembre (Cadem), es la locura total porque implica pensar que la campaña electoral no tiene efecto alguno, y que se están midiendo realidades equivalentes. Enseguida, cometen un segundo error, porque unos resultados incluyen los “no responde”, falta la columna “no sabe, no responde” para algunas de las encuestas, por ejemplo, de CEP y Adimark. Simplemente no se pueden comparar. Es indispensable que los medios no cometan esos errores también. No solo los encuestadores, sino lo que se publica y cómo se publica.

Efectivamente estábamos a ciegas, no teníamos idea de qué podría pasar. Eso fue lo que declaramos a los medios internacionales que empezaron a llegar una semana antes de la elección. No sabíamos cuántas personas votarían, había un piso de 40% y un techo de 46%, no sabíamos el orden de llegada de todos los candidatos, no sabíamos cuántos votos sacaría cada cual, con la excepción de Sebastián Piñera, sobre el cual se había instalado con el cálculo del votante probable que obtendría 45%, como declaramos en múltiples ocasiones a lo largo de la semana en diversos medios de comunicación. Esta misma incertidumbre llevaba a la posibilidad de que no era descartable que Piñera ganara en primera vuelta.

Por tanto, los medios de comunicación tienen que dejar de publicar cosas que no representan al país como si lo hicieran, y tienen que dejar de comparar cosas que no se pueden comparar. Hay que ponerse serios en este asunto si se va a hacer bien. Otra cosa sería si tuvieran que titular “en el 70% del país que tiene teléfono fijo el resultado de la elección sería...”. Eso es lo que representa la encuesta Cadem.

Los encuestadores electorales tienen que dejar de producir números que no cumplan con el estándar internacional. Lo que la opinión pública no sabe es que las agencias de noticias internacionales recibieron orden de su casa matriz de no publicar la encuesta Cadem, porque no cumplía con el estándar internacional. Curiosamente esa no fue noticia.

Hay 5 mil encuestadores asociados en la asociación mundial de la industria (Esomar y Wapor)  que no están equivocados de poner estándares para la industria. No hay atajos.

En segundo lugar, se ha derrumbado el mito de la encuesta CEP, “la madre de todas las encuestas”: que no se puede pretender anticipar el resultado de una elección con una encuesta de opinión a un mes de la elección presidencial. Se publica sin decir que es electoral, pero pretendiendo serlo. Habrá que, al menos, duplicar el número de casos y hacer estudios para construir un modelo de votante probable.

Finalmente, queda la encuesta propia CERC-Mori hecha antes del 18 de septiembre. Como había sucedido en elecciones anteriores, deberían haber existido al menos dos encuestas más después de esa, una al inicio de octubre y otra al inicio de noviembre. Pero ambas, como declaré públicamente, deberían haber tenido al menos 2.400 casos en vez de 1.200 para poder anticipar. Como eso no fue posible, decidí no hacer ninguna encuesta. La última encuesta se habría tenido que hacer para ser publicada el jueves 16 de noviembre, como había sido en otras elecciones (eso implicaba además lidiar con el tema de la prohibición).

Como dijimos en más de una ocasión por escrito, un 20% del electorado se decide durante la campaña y un 8% el día de la votación. Es decir, es imposible que una encuesta hecha dos meses antes pueda anticipar cómo votan esos votantes (eso es en parte el error de la encuesta CEP que se publica un mes antes de la elección; eso le había resultado al CEP en otras elecciones, cuando la estabilidad del voto hacía que la campaña electoral no tuviera grandes cambios, ahora no es así). Lo más sorprendente de ello es que existan miembros de los actores sociales y políticos, así como periodistas, que crean que todo aquello es equivalente.

Nadie del establishment cuestionó las encuestas, científicamente. Todas las opiniones eran políticas. Esta elección deja claro que las opiniones políticas sobre las encuestas valen naranjo. Lo que se requiere es que las encuestas se comiencen a usar como instrumentos científicos y no políticos. Es decir, que cumplan con un estándar que requiere la ciencia.

Es, por una parte, reconfortante constatar que la ciencia existe y tiene la razón. Por otra parte, es triste comprobar que sigamos creyendo que todas esas cosas no importan, que existen los atajos al desarrollo.

Efectivamente estábamos a ciegas, no teníamos idea de qué podría pasar. Eso fue lo que declaramos a los medios internacionales que empezaron a llegar una semana antes de la elección. No sabíamos cuántas personas votarían, había un piso de 40% y un techo de 46%, no sabíamos el orden de llegada de todos los candidatos, no sabíamos cuántos votos sacaría cada cual, con la excepción de Sebastián Piñera, sobre el cual se había instalado con el cálculo del votante probable que obtendría 45%, como declaramos en múltiples ocasiones a lo largo de la semana en diversos medios de comunicación. Esta misma incertidumbre llevaba a la posibilidad de que no era descartable que Piñera ganara en primera vuelta.

En realidad, es una vergüenza que no hayamos sabido con certeza si eso era posible o no, y estuviéramos solo listando los distintos escenarios posibles. Es también perfectamente posible que el último debate y la última semana hayan producido una merma significativa de votos del piñerismo. Y que este haya tenido en el pasado (septiembre) los 45% que marcaba. Las últimas dos semanas fueron especialmente virulentas políticamente.

Sin embargo, el error mayor de las encuestas es que no dibujaron el escenario posible que resulta de la elección, uno en el que Piñera saca muy pocos votos y la izquierda muchos, con una nueva izquierda simbolizada en Beatriz Sánchez. Se instaló en la agenda con la ayuda de la encuesta CEP y Cadem que Sánchez se había desinflado. Eso es imperdonable.

Nuevamente los movimientos de votantes de las últimas dos semanas fueron sin duda importantes, lo que aconseja seguir el estándar que dice que las encuestas deben ser hechas con la menor cantidad de días de anticipación el hecho electoral. Justamente, lo dice la Royal Statistical Society respecto del Brexit, lo dice la recomendación de la industria, lo dicen quienes se han equivocado en el mundo entero. Pero aquí la madre de todas las encuestas publica su encuesta un mes antes de la elección. ¿Cuál es la lógica de todo aquello?

Chile tiene el capital humano, tiene los recursos, y tiene la posibilidad de hacer esta tarea bien, tener encuestas electorales que logren anticipar correctamente a cada candidato en una elección presidencial. Se requiere para ello invertir lo que es necesario y aplicar la ciencia.

Por su parte, los medios de comunicación deberían actuar como los medios en el primer mundo, y publicar solo aquello que cumple con los estándares y no los subestándares, resguardando la fe publica, y no dejarse llevar por los cantos de sirena que implica publicar un número para un candidato.

¿Cuándo empezarán los medios a poner filtro a lo que publican y solo publicar lo que tiene el estándar? ¿O seguirán los medios publicando cualquier cosa que se produzca y que se autodenomine encuesta electoral?

Respecto del error cometido en esta elección, en el que se ayudó a construir una agenda de triunfo para Sebastián Piñera que no fue tal, y una agenda de derrota para la izquierda que tampoco fue tal, Chile debería, como Inglaterra, producir un informe independiente que analice las causas del error. La industria de las encuestas electorales debería tener una comunidad de pares, una asociación, que permitiera el intercambio, la investigación y el desarrollo de la subespecialidad, que se pueda hacer cargo del informe y enfrentar la responsabilidad de haber mal representado la intención de voto de los chilenos que fueron a sufragar.

  • El contenido vertido en esta columna de opinión es de exclusiva responsabilidad de su autor, y no refleja necesariamente la línea editorial ni postura de El Mostrador.

Más información sobre El Mostrador

Videos

Noticias

Blogs y Opinión

Columnas
Cartas al Director
Cartas al Director

Noticias del día

TV