Opinión
Es claro que hay un error en el algoritmo, pero hay uno más importante: hoy no contamos con respuestas a preguntas que son cada día más urgentes, especialmente cuando el sector público utiliza mecanismos de toma de decisiones automatizados para proveer o garantizar derechos.
El Servel ha vuelto a estar en la palestra pública por errores en sus sistemas informáticos. Si el año pasado se trató de una filtración masiva de datos personales, hoy se trata de una serie de electoras y electores que fueron asignados a locales de votación más lejos de los que tenían en el pasado. Esa asignación fue realizada por un algoritmo, que en algunos casos confundió el nombre de una calle con el de una localidad. Quien vivía en la calle Isla Mocha, fue asignado para ir a votar en la mismísima Isla Mocha. Por cierto, todo a dos semanas de una elección en que el voto es obligatorio. La explicación fue que se trataba de “un error en el algoritmo”.
Casos como estos han ocurrido en el pasado. En el año 2021, un mensaje de Alerta de Emergencia de la ONEMI, llegó a buena parte de los celulares de Chile. Sin embargo, la alerta se desarrollaba sólo en la zona Antártica chilena. El director del organismo comentó que todo indicaba que se trataba de una falla del software. Otros países también han enfrentado problemas relacionados con la toma de decisiones automatizadas en distintas escalas. Por ejemplo, en el Reino Unido y en medio de la pandemia, se usó un algoritmo para definir una nota clave en el acceso a la universidad. El problema es que las notas estaban llenas de sesgos: se usaron datos pasados, y fueron privilegiados indirectamente los colegios pagados. Después de la protesta que reclamaba que “se joda el algoritmo”, la decisión se revocó.
Es atractivo explicar estos casos apuntando solamente a un error humano. La programación, dice este argumento, es realizada por humanos y estos deben responder por sus errores. En otras palabras, la responsabilidad en último término la tiene una persona. Sin embargo, hay una dosis de ironía al exigir que una persona se haga responsable cuando, como sociedad no nos hemos tomado suficientemente en serio la pregunta sobre por qué y bajo qué parámetros una persona resulta responsable por un error de programación. ¿Tiene sentido eso cuando un sistema que toma decisiones automatizadas llega a conclusiones por sí sola? ¿Tiene sentido solo responsabilizar a uno o más individuos cuando este tipo de sistemas informáticos son desarrollados por empresas? ¿Qué tipo de protocolos deberían usar estas empresas o instituciones para evitar este tipo de problemas, corregirlos y hacerse responsables por ellos?
Es claro que hay un error en el algoritmo, pero hay uno más importante: hoy no contamos con respuestas a preguntas que son cada día más urgentes, especialmente cuando el sector público utiliza mecanismos de toma de decisiones automatizados para proveer o garantizar derechos. El proyecto Algoritmos Públicos del Laboratorio de Gobierno de la UAI da cuenta de varias iniciativas usadas en los más diversos ámbitos: salud, trabajo, seguridad social, educación y medio ambiente.
El Consejo para la Transparencia ha dado algunos pasos importantes, como su trabajo en transparencia algorítmica para estos casos. Pero aún tenemos muchas preguntas pendientes ¿Con qué estándares van a operar los algoritmos que utiliza el Estado? ¿Se podrá utilizar para todo tipo de toma de decisiones? ¿Qué datos se podrán usar para entrenarlos? ¿En qué momento se podrá exigir explicabilidad e intervención humana? A estas alturas ya debería ser obvio que la Inteligencia Artificial no garantiza per se resultados justos y eficientes; tan obvio como que tiene la posibilidad de hacerlo. La regulación es clave para inclinar la balanza.
