Contraloría y algoritmos

En 2013, el gobierno holandés cruzó bases de datos para fiscalizar el subsidio de cuidado infantil.

Usó un algoritmo con indicadores como la doble nacionalidad, entre otros. En consecuencia, más de 26.000 familias fueron erróneamente acusadas, muchas de origen turco y marroquí. El escándalo provocó la caída del gobierno y forzó al Estado a reconocer el racismo institucional.

El patrón se repite. En Michigan, un sistema automatizado acusó a 40.000 personas de fraude en el seguro de desempleo; el 93% eran falsos positivos. En Australia, un cruce de datos tributarios y de seguridad social iniciado en 2016 levantó deudas erróneas contra más de 500.000 personas; el Estado terminó anulando y devolviendo más de 470.000 cobros después de que la metodología fuese declarada ilegal.

Son algunos de muchos casos documentados, donde la presión por cobros injustos se vinculó de manera directa con suicidios y quiebras, y donde emergen indefectiblemente dos constantes: la relación entre sistemas de toma de decisiones automatizadas, vulnerabilidad, error y la ausencia de un mecanismo de control de daños capaz de detectarlos antes de que sean irreversibles.

Ninguno de esos gobiernos buscaba dañar a nadie. Buscaban proteger recursos públicos, con herramientas modernas y equipos competentes. El riesgo no nace de malas intenciones, nace del modelo.

Ningún sistema algorítmico, sea inteligencia artificial o no, opera en el vacío; sus componentes contienen sesgos, visiones y contextos que explican su funcionamiento más allá de sus piezas técnicas. Y todo sistema que decide a escala masiva se equivoca a escala masiva.

La pregunta que separa los proyectos que terminan bien de los que terminan en comisiones investigadoras no es si habrá errores. Es quién los detecta, cuándo y a costa de quién.

En Chile, la Contraloría General de la República ha dicho con claridad que la inteligencia artificial será parte de su forma de fiscalizar. En diciembre de 2024 creó el Centro de Datos e Inteligencia Artificial (Resolución N° 2492), con departamentos de analítica, automatización e IA. Ya opera herramientas como Jarvis, un robot que busca anomalías en las declaraciones de intereses y patrimonio, y suscribió un acuerdo con el Tribunal de Cuentas de Brasil para potenciar el uso de IA en auditorías.

En abril de este año, anunció la revisión masiva de beneficios sociales con uso de esta tecnología y reconoció que, por el volumen de información que se analiza, “va a haber un margen de error”.

Ese reconocimiento es un buen punto de partida. Lo que la experiencia internacional agrega es que el margen de error merece detenerse en él, porque la expresión, en abstracto, no alcanza a capturar lo que contiene.

Un margen de error no es un número, puede ser una persona que pierde un beneficio del que depende, un ciudadano que debe demostrar su inocencia frente a una conclusión automatizada, la carga de la prueba invertida sobre quien menos herramientas tiene para soportarla.

La resolución que crea el Centro de Datos e IA no menciona, en ninguno de sus artículos, las palabras sesgo, impacto desproporcionado o falso positivo, ni contempla por ahora un mecanismo de control de daños.

Es el mismo punto de partida que tuvieron Holanda, Michigan y Australia antes de poner en marcha sus sistemas. La experiencia de esos países permite hoy algo que ellos no tuvieron, incorporar ese mecanismo desde el inicio.

La necesidad de fiscalizar no está en discusión; la oportunidad está en el diseño, y el diseño se define antes de operar.

No podemos ignorar las lecciones internacionales; ese aprendizaje debe ser la piedra angular de este tipo de proyectos. Un sistema con sesgos sin control es solo un multiplicador de desigualdad. Y esas lecciones indican exactamente dónde mirar.

Lo que faltó en Holanda, por ejemplo, no fue tecnología ni juristas. Faltó trazabilidad de cada decisión automatizada. Faltaron métricas que midieran si los errores se concentraban en algún grupo. Y la revisión humana que existía era de papel, el funcionario que evaluaba cada caso marcado no podía ver por qué el sistema lo había marcado. Cada una de esas piezas tiene nombre técnico y práctica conocida. Ninguna exige renunciar a fiscalizar. Todas exigen estar en la resolución que crea el sistema, no en el comunicado que lamenta sus errores.

Un Estado que fiscaliza bien no es el que cruza más datos, es el que sabe qué daño puede causar y lo mide antes de causarlo. ¿Estamos frente al mismo punto ciego? ¿Existe trazabilidad de cada decisión automatizada? ¿Alguien está midiendo si los errores golpean desproporcionadamente a quienes estos beneficios deberían proteger?

La respuesta a estas preguntas no puede llegar una vez causado el daño; debe existir antes, escrita y verificable, para quienes serán auditados. Porque un margen de error parece tolerable solo mientras uno no forma parte de él.