El Estado usa algoritmos que nadie fiscaliza: expertos alertan por falta de transparencia y control

En Chile, un algoritmo puede estar interviniendo ahora mismo en decisiones sobre el acceso de una persona a un beneficio social, la gestión de una licencia médica o la priorización de un caso para una fiscalización.

El Mostrador conversó con ambos antes de su participación en el panel “Confianza pública y opacidad algorítmica: riesgos para la democracia en la era de la IA”, que se realizará este jueves 27 de agosto en la Cepal. La presentación se enmarca en la jornada “Integridad pública, Estado abierto y confianza ciudadana”, organizada por la Red de Integridad y Estado Abierto (RIEA) junto a la Contraloría y este medio.

“En este momento puede que te estén aplicando algún tipo de modelo de inteligencia artificial, pero tú no lo sabes ni yo lo sé”, resume Carlos Amunátegui, profesor titular de la Facultad de Derecho UC, abogado y especialista en inteligencia artificial. El uso de algoritmos en la administración pública, dice, avanza “de manera desordenada”, sin resguardos éticos ni certificaciones que descarten sesgos.

Cuando el algoritmo discrimina y nadie lo sabe

Para Amunátegui, el riesgo no es hipotético. Cita el caso COMPAS, una herramienta de evaluación de riesgo utilizada en el sistema penal estadounidense. Un análisis de ProPublica publicado en 2016 encontró diferencias raciales relevantes en los errores de clasificación del sistema: entre las personas que no reincidieron, los acusados afrodescendientes fueron clasificados erróneamente como de alto riesgo con mayor frecuencia que los blancos. La empresa desarrolladora cuestionó posteriormente esa interpretación.

“El algoritmo se hizo racista”, resume el académico. Atribuye el problema a datos de entrenamiento poco diversos respecto de la población donde se aplica el sistema.

Por eso, dice, ninguna decisión que afecte derechos fundamentales debería quedar solo en manos de un sistema automatizado: siempre debe haber una persona que revise y aplique criterio.

No toda tecnología es igual de riesgosa, aclara. Los sistemas simbólicos —como declarar impuestos— no “alucinan” ni son impredecibles. Las redes neuronales que detectan conductas tributarias sospechosas sí requieren certificación previa.

Pero ¿quién responde cuando un algoritmo falla? No hay una regla única, dice Amunátegui. Puede ser quien lo implementa de forma negligente —un juez que use un chatbot para redactar una sentencia—, el organismo que lo adoptó, o la empresa que lo desarrolló, como en la falla de un auto autoconducido. Por eso plantea regulación sectorial específica para ciertos ámbitos, como los vehículos autónomos.

“Un sistema opaco no elimina el error: elimina al responsable”

Felipe Pacheco, Claude Community Ambassador para Chile y especialista en confianza y seguridad de modelos de inteligencia artificial, aporta una mirada distinta: menos centrada en el sesgo, más en la trazabilidad institucional.

Los humanos también se equivocan, dice, pero esos errores son identificables: tienen fecha, nombre, un funcionario que firma. El error algorítmico se repite en todos los casos que pasan por el sistema, “y nadie se entera hasta que ya es tarde”.

Su frase resume el diagnóstico: “un sistema opaco no elimina el error, elimina al responsable”.

Pacheco insiste en cuatro pilares de gobernanza: observabilidad, trazabilidad, auditoría y supervisión humana efectiva. Sobre este último punto es crítico: hoy existe un “humano decorado” que en la práctica no tiene tiempo ni atribuciones para revisar cientos de casos, ni para contradecir al sistema.

Propone una métrica simple: contar cuántas veces ese funcionario le lleva la contraria al algoritmo. Si la cifra es cero, la supervisión es decorativa.

Distingue además dos tipos de opacidad. La técnica —difícil de interpretar en modelos grandes— está en retroceso: cita una técnica de interpretabilidad que la empresa Anthropic liberó el año pasado como código abierto.

La otra es institucional: la ausencia de declaración pública sobre qué sistemas existen. No tiene nada de técnica, dice, y es la más urgente de resolver en Chile.

Como ejemplo, recuerda el escándalo de los subsidios de cuidado infantil en Países Bajos, donde miles de familias fueron acusadas injustamente de fraude y que terminó con la renuncia del gobierno de Mark Rutte en enero de 2021.

“Eso no pasó porque nadie pudiera leer las neuronas del modelo (…) pasó porque nadie podía leer el contrato”, dice. La falla fue administrativa, no matemática.

Antes de activar cualquier sistema automatizado, plantea Pacheco, el Estado debería: declarar qué sistema existe y para qué sirve; justificar por qué se necesita IA y no algo más simple; dejar huella auditable en cada decisión; publicar tasas de error desagregadas por territorio, sexo, nivel socioeconómico o nacionalidad; someterse a auditorías independientes, antes y después de operar; habilitar una vía de reclamo, y tener un plan de desconexión para cuando el sistema falle.

El trasfondo: una crisis de confianza más amplia

Ambos panelistas sitúan el debate técnico en uno más amplio sobre confianza pública.

Amunátegui advierte que la IA generativa erosionó el valor probatorio de la imagen: “hoy día una imagen no vale más que un cuadro pintado al óleo”. Traza un paralelo con la crisis que generó la imprenta en el siglo XV, cuando el conocimiento dejó de estar concentrado en pocas instituciones.

En ese contexto, dice, medios, universidades y bibliotecas cumplen hoy un rol de “guardianes epistemológicos”: certifican métodos, aunque no puedan certificar verdades absolutas.

El académico conecta esto con el riesgo democrático que da nombre al panel, abordando la frase de Peter Thiel sobre que ya no cree compatibles la libertad y la democracia, y el uso de granjas de bots en campañas electorales recientes en la región.

El riesgo más probable, cree, no es un control social al estilo “1984”, sino uno más parecido a “Un mundo feliz”: opiniones disidentes no censuradas de forma directa, sino invisibilizadas por los propios algoritmos de exposición.

Ninguno de los dos plantea frenar el uso de IA en el Estado. Amunátegui pone la Ley de IA europea como ejemplo de los problemas que, a su juicio, genera regular una tecnología que avanza más rápido que las normas.

Pacheco resume el desafío en una frase: “el problema no es capacidad, sino gobernanza”.

Lo que sí se sabe: brechas confirmadas por el regulador

Todo esto no es solo una discusión teórica. Los propios organismos del Estado lo confirman.

El Consejo para la Transparencia (CPLT) evaluó en septiembre de 2025 el acceso a información sobre sistemas automatizados en 18 organismos de la Administración Central, en materias como licencias médicas, pensiones, admisión escolar y locales de votación.

Cinco instituciones —Fonasa, el IPS, el Servel, la Subsecretaría de Educación y la Superintendencia de Seguridad Social— no entregaron toda la información pedida. La Subsecretaría de Redes Asistenciales respondió fuera de plazo.

De los 18 organismos, diez confirmaron usar sistemas automatizados o semiautomatizados. Pero solo tres de esos diez publicaban la información siguiendo las recomendaciones del propio CPLT.

La presidenta del organismo, Natalia González, plantea que la publicidad de los actos del Estado “no cambia” porque esos procedimientos usen algoritmos. Ya en 2021, el CPLT había identificado 92 sistemas de este tipo en 42 instituciones públicas.

El mapeo más sistemático lo hizo el GobLab de la Universidad Adolfo Ibáñez, socio del CPLT. Su directora, María Paz Hermosilla, desarrolló una “Ficha de Transparencia Algorítmica” ya piloteada en trece proyectos, entre ellos Sence y el IPS.

Amunátegui valora ese trabajo, pero advierte: un registro así “no debería ser obra del esfuerzo de un par de investigadores valientes”, sino política de Estado.

La discusión llega en un momento de movimiento institucional. El mismo jueves 27 se presenta formalmente la RIEA, fundación encabezada por el exministro José Antonio Gómez. Entre sus primeras propuestas: un “Registro Verificado de Algoritmos Públicos” que sirva de insumo a la Contraloría.

“No basta con saber que se usa la IA, sino que es necesario transparentar y conocer los algoritmos con que se trabajan”, dice Gómez.

El panel se realiza este jueves, entre las 10:10 y las 11:15 horas. Tras él, a las 11:20, la RIEA presenta sus líneas estratégicas y el reconocimiento “Confianza Chile 2026”.