Encuestas, riesgo e incertidumbre

En la elección municipal de 2012 la mayoría de las encuestadoras proyectaron resultados erróneos. La principal razón fue que usaron la misma metodología que habían usado para las elecciones con voto obligatorio. De hecho, justificaron su mal rendimiento argumentando que fue el cambio al sistema electoral —hacia voto voluntario— lo que perjudicó sus proyecciones. De esa respuesta surge una pregunta, ¿por qué no buscaron modificar su metodología anticipando que el comportamiento electoral bajo voto obligatorio es significativamente distinto al comportamiento electoral bajo voto voluntario?

Una buena manera de plantear una respuesta a esta pregunta es empezar por separar el concepto riesgo del concepto incertidumbre.

Por lo general, se utiliza el concepto riesgo cuando se conoce la probabilidad de error en un pronóstico. Se usa comúnmente en proyecciones económicas, cuando existen rangos verosímiles entre los cuales las actividades varían normalmente. En estos casos los economistas, por ejemplo, estiman el riesgo de que el valor de una determinada acción aumente o disminuya tras una compra. Estos riesgos se calculan aplicando métodos estadísticos tradicionales para resolver la probabilidad de error en las inferencias. Si hay mayor probabilidad de error en las inferencias, el riesgo de compra es más alto.

El concepto incertidumbre, en cambio, se utiliza cuando no se conoce la probabilidad de error en un pronóstico. Se usa cuando no existen antecedentes para determinar los rangos de variación normal de las actividades. Para seguir con el ejemplo de arriba, un caso de incertidumbre sería si la acción que se busca comprar es nueva, y por lo tanto no existe un precedente sobre su posible variación en el mercado tras la compra. En este caso los economistas no pueden calcular el riesgo asociado a la compra de forma tradicional, dado que es probable que las inferencias resulten en falsos positivos.

[cita]Sólo algunas de las encuestadoras admitieron este problema. Las más grandes, aquellas asociadas a los medios escritos de mayor circulación (como El Mercurio y La Tercera), publicaron mea culpa de sus malas proyecciones. Y las que no lo hicieron, seguramente hicieron evaluaciones internas también. La respuesta a «¿por qué no cambiaron sus metodologías para la elección de 2012?» es la misma respuesta a la pregunta «¿por qué no cambiarán sus metodologías para la elección de 2013?». Principalmente por un tema de costo: producir buenas encuestas requiere una alta inversión, algo que nadie está dispuesto a hacer.[/cita]

Los pronósticos para la elección municipal de 2012 son un buen ejemplo para ilustrar la diferencia entre riesgo e incertidumbre. Las encuestadoras estimaron riesgo cuando en realidad debieron haber estimado incertidumbre. Trataron de predecir resultados electorales bajo el nuevo sistema de voto voluntario usando las mismas herramientas que usaron para predecir resultados electorales bajo el viejo sistema de voto obligatorio. Gran equivocación. Si la elección hubiese contemplado voto obligatorio habrían acertado. Pero dado que hubo voto voluntario, la forma en que estimaron el error fue incoherente e inconsistente.

Sólo algunas de las encuestadoras admitieron este problema. Las más grandes, aquellas asociadas a los medios escritos de mayor circulación (como El Mercurio y La Tercera), publicaron mea culpa de sus malas proyecciones. Y las que no lo hicieron, seguramente hicieron evaluaciones internas también. La respuesta a «¿por qué no cambiaron sus metodologías para la elección de 2012?» es la misma respuesta a la pregunta «¿por qué no cambiarán sus metodologías para la elección de 2013?». Principalmente por un tema de costo: producir buenas encuestas requiere una alta inversión, algo que nadie está dispuesto a hacer.

Además, existe otra razón: soberbia. Las encuestadoras comúnmente suponen que sus metodologías son correctas, y solamente bastan pequeños ajustes para reducir el error total. Por ejemplo, normalmente reportan que su única fuente de error está en función al número de personas que entrevistan. Es decir, se rigen bajo el principio de que mientras más individuos entrevistan, menos error obtienen. De hecho, una de las respuestas de la industria tras el fracaso en las elecciones de 2012 fue que el alto número de encuestados les aseguraba bajo error. Una excusa que, de no mediar cambios, se repetirá en las elecciones de 2013.

El peligro de esto es que si mantienen las metodologías podrán usar los pronósticos a su favor. Aquí entra el rol político que toda encuestadora de intención de voto conlleva. Por ejemplo, si una encuestadora está sesgada para favorecer a un determinado sector político en 2013, podrá escoger entre la metodología antigua (la de voto obligatorio) y la metodología nueva (la de voto voluntario) en base a lo que convenga. En ese sentido, se confrontan a un dilema ético, entre escoger hacer una buena encuesta que es imparcial o hacer una mala encuesta que esta sesgada. No existen sanciones legales si escogen lo segundo.

Incluso, es difícil determinar qué camino escogieron hasta que no se conozcan los resultados de la elección. Tradicionalmente se presume que una encuestadora que publica encuestas coherentes (con índices de intención de voto similares) en una determinada serie de tiempo es buena. Sin embargo, la precisión puede ser enemiga de lo metodológicamente correcto. Una encuestadora que no obtiene resultados coherentes pero tiene una buena metodología es mejor que una encuestadora que obtiene resultados coherentes pero tiene una mala metodología. En el primer caso el error es aleatorio, en segundo caso el error es intencional.

A la luz de lo anterior, una de las cosas que las encuestadoras deberán hacer para minimizar su error es recalibrar sus respectivas metodologías. Bajo voto voluntario deberán dar con una fórmula para identificar la mejor muestra para cada una de las poblaciones que sondean (a nivel distrital para diputados, a nivel circunscripcional para senadores, y a nivel nacional para presidente). Si una vez más utilizan herramientas diseñadas para estimar el error asociado a elecciones con voto obligatorio, no sólo reportarán pronósticos erróneos, pero además bordearán en lo éticamente incorrecto al interferir en el resultado de elecciones.