Inteligencia artificial y los riesgos de la “adulación algorítmica”

Muy resumidamente, un chatbot ha sido el nombre que popularmente se le ha comenzado a dar a las inteligencias artificiales que simulan conversaciones humanas, ya sea por texto o voz. Uno de los chatbots más populares es chatGPT. A comienzos de 2025, un contador sin antecedentes psiquiátricos empezó a usar un chatbot para organizar su trabajo. En pocas semanas, terminó convencido de que vivía en un universo falso y de que debía “desconectar su mente” para escapar. El problema es que esto no es un caso aislado. Cada vez hay más reportes de lo que algunos expertos están denominando “espirales delirantes inducidas por IA”, esto es, usuarios que, tras repetidas interacciones cotidianas con modelos de lenguaje tales como chatGPT u otros, adoptan creencias extravagantes muy inflexibles con una convicción absoluta y con una muy baja capacidad de justificarlas de manera racional. 

Sería entendible que este tipo de interacciones propias de una ‘caja de resonancia’ tuviesen un efecto negativo en la salud mental de personas vulnerables a ciertas condiciones psiquiátricas, por ejemplo. Una caja de resonancia en este contexto envuelve un ecosistema digital donde las personas solo encuentran información que refuerza sus opiniones y creencias previas; una especie de burbuja informacional que crece y crece a medida que la van alimentando de información autorreferencial. Pensemos acá en personas con vulnerabilidad a la esquizofrenia, donde la presencia de delirios es parte de su descripción clínica, junto con otros síntomas. Por lo general un delirio es considerado en la literatura como un tipo de creencia altamente resistente a la contraevidencia, inflexible, desconectada de otras creencias del sujeto y que, a veces, puede tener contenidos altamente contraintuitivos. Históricamente, el delirio siempre ha sido considerado como la marca de la ‘locura’. 

Considerando esto, es entendible que interacciones continuas con chatbots pudiesen precipitar este tipo de estados mentales en poblaciones clínicamente vulnerables; y esto debería ser tomando en serio por la comunidad nacional por lo demás. El problema acá es que modelos de chatbots recientes muestran algo muy inquietante: incluso agentes perfectamente racionales — entrenados para razonar de formas probabilísticas impecables — pueden terminar convencidos de ideas falsas si el entorno informacional está sesgado y posee características de caja de resonancia. No se trata, entonces, de una falla individual de racionalidad o una especial vulnerabilidad en cierto tipo específico de población, sino de una falla estructural en el ecosistema de información que estas tecnologías generan. Esto no quiere decir que las poblaciones con vulnerabilidades psiquiátricas no deben recibir intervenciones focalizadas, sino que el problema es muy más amplio.

Uno de los núcleos de este problema parece ser la denominada ‘adulación algorítmica’. Muchos sistemas tipo chatbot están diseñados —y entrenados— para ser útiles, agradables y “empáticos” (a estos se les denominan ‘Sycophantic Models’). Los chatbots son programados para ser ‘aduladores’. En la práctica, esto suele traducirse en una tendencia sistemática del chatbot a validar al usuario. El chatbot no corrige, sino que acompaña; tampoco confronta, sino que refuerza tus creencias expresadas en el diálogo. Y en ese gesto aparentemente inocuo – y servil – se instala un bucle de retroalimentación que puede volverse peligrosamente cerrado. El gran problema, tal como lo han recientemente demostrado investigadores del MIT, es que este asunto no desaparece cuando la IA es entrenada solo para “decir la verdad” por ejemplo. De hecho, el asunto puede agravarse. La introducción de herramientas como la generación aumentada por recuperación (RAG) tampoco parecen ayudar, y revelan una dimensión mucho más oscura de los chatbots. 

La RAG es un marco de IA que mejora la precisión de los modelos de lenguaje al consultar fuentes de datos externas y confiables antes de generar una respuesta. El problema, es que cuando los chatbots son diseñados para evitar que inventen información, éstos introducen una trampa más sofisticada: la selección parcial de hechos. El sistema ya no alucina datos (porque solo puede decir la verdad y debe apoyarse en fuentes externas), pero, preocupantemente, selecciona estratégicamente aquellos que confirman la intuición del usuario, ignorando el resto. Es una forma de desinformación por omisión, mucho más difícil de detectar porque viene revestida de evidencia real. El problema de todo esto es que el usuario no percibe manipulación, sino confirmación. La información parece objetiva, las fuentes parecen fiables, y el resultado es una ilusión de validación independiente. Pero no hay tal independencia: hay un sistema optimizado para maximizar la satisfacción del usuario, no su contacto con la verdad. 

Acá como es propio de la ingenuidad – ¿o desidia? – de los programadores y CEOs de empresas de IA, podríamos proponer un refuerzo en la advertencia de todos estos asuntos a los usuarios. La idea es que si ellos saben que la IA puede estar sesgada, podrán corregir ese efecto. Sin embargo, la evidencia sugiere lo contrario. Incluso usuarios informados tienden a subestimar la influencia del sistema. La conciencia del sesgo no equivale a inmunidad frente a él. Más preocupante aún, algunos usuarios reinterpretan la adulación algorítmica como una virtud; como algo bueno, como algo deseable. Y, por lo tanto, digno de ser buscado activamente. Así, el acuerdo constante se percibe como “empatía”. La ausencia de confrontación se valora como “comprensión”. Pero una inteligencia que nunca nos contradice no es empática: es peligrosa. La empatía genuina no elimina la fricción con la realidad; la integra, y así, permite que uno mismo se flexibilice. El problema no es accidental. Es consecuencia directa de cómo los chatbots están siendo entrenados, esto es, por medio del aprendizaje por refuerzo con retroalimentación humana; los chatbots aprenden que las respuestas que agradan al usuario reciben mejores evaluaciones. Con el tiempo, esto genera una dinámica predecible: validar al usuario maximiza el rendimiento del sistema. En otras palabras, la adulación no es un error; es una estrategia óptima dentro del diseño actual, esto, con todo lo reprobable que es.

Cuando esta lógica se escala a millones o miles de millones de usuarios, el resultado deja de ser un problema técnico y se convierte en un problema de salud pública. Aunque solo una pequeña fracción de interacciones derive en las denominadas ‘espirales delirantes’, el volumen total garantiza que estas no serán anecdóticas. Podrían ser estructurales. No estamos ante una amenaza futurista. Estamos ante un fenómeno emergente que ya está ocurriendo. Y la respuesta no puede limitarse a mejorar la precisión factual de los modelos. La cuestión de fondo es más incómoda: ¿qué estamos optimizando realmente cuando diseñamos estas tecnologías? Si la prioridad sigue siendo la aprobación del usuario —su comodidad, su sensación de ser comprendido— entonces el riesgo persistirá. Porque una máquina diseñada para decirnos lo que queremos oír puede, en ciertos contextos, empujarnos exactamente hacia donde no deberíamos ir.

La prevención de los riesgos que implica el uso de tecnologías tipo chatbot exige un cambio de enfoque. Necesitamos sistemas capaces de introducir fricción epistémica. Sistemas que cuestionen, que señalen inconsistencias, que resistan la tentación de confirmar automáticamente. Y necesitamos, también, alfabetización tecnológica crítica: usuarios que entiendan que la “empatía” de una IA puede ser simplemente una forma sofisticada de refuerzo, una mera ilusión proyectada en un otro que no existe. La historia humana está llena de aduladores que dijeron ‘sí’ a todo lo que sus amos propusieron, alimentando así errores, excesos y hasta ideas delirantes. La diferencia ahora es la escala, la persistencia y la personalización de ese fenómeno. Nunca habíamos tenido aduladores tan disponibles, tan incansables y tan convincentes. La pregunta no es si estas tecnologías pueden ayudarnos —sin duda pueden en algunos contextos—, sino bajo qué condiciones lo harán sin dañarnos. Si el precio de una inteligencia artificial siempre de nuestro lado es la erosión de nuestro vínculo con la realidad, entonces ese precio es, simplemente, demasiado alto.