Sam Altman, el aprendiz de brujo

“De los espíritus que invoqué/ librarme ahora no puedo”, Goethe

Noticias inquietantes han trascendido en las últimas semanas. Unos agentes de OpenAI —programas capaces de actuar por su cuenta, sin que un humano apruebe cada paso— se coordinaron en un foro que ellos mismos crearon para buscar una salida del entorno cerrado donde los entrenan. Sus creadores detectaron y cerraron el foro, pero los agentes lo reconstruyeron y escaparon sin que nadie lo notara. Llegaron a internet real y se infiltraron en Hugging Face, la plataforma más usada para compartir modelos de IA. Ejecutaron allí miles de acciones, descargaron código privado y, de paso, vulneraron los sistemas internos de OpenAI; todo ello autoorganizados a modo de un “enjambre”.

Días después, el Reino Unido reveló algo aún más chocante. Durante una prueba de su agencia de ciberseguridad, un agente de Anthropic introdujo código malicioso en un proyecto real de GitHub, la plataforma donde programadores de todo el mundo guardan y comparten su código. Investigó a los programadores responsables del proyecto —perfiles, correo, horarios— y les escribió, incluso en danés, para hacerse pasar por otro humano. Al ver que lo rechazaban, creó identidades falsas para convencerlos y, una vez descubierto, borró su rastro y consideró inventar una tercera identidad para seguir intentando.

En ambos casos se trata de lo mismo. Una tecnología entrenada en un entorno “seguro” es incentivada a resolver tareas de forma autónoma; pero ese incentivo la lleva a saltarse las normas y actuar sobre sistemas y personas reales, con consecuencias que sus creadores no pueden prever ni evitar.

A la luz de estos acontecimientos, Sam Altman manifestó que “por primera vez, se le había revuelto el estómago”. Es un hito digno de mención, pues el estómago de Altman no se revuelve fácilmente. En 2023 firmó la “Declaración de 22 palabras”, advirtiendo de que la IA supone un riesgo de extinción humana, pero no aceptó moratoria alguna al desarrollo de esta tecnología. Cofundó OpenAI como organización sin fines de lucro, para que la IA no quedara en manos de unas pocas corporaciones, pero la convirtió en una de esas corporaciones y ahora prepara su salida a bolsa. Cuando Anthropic rechazó el contrato del Pentágono que exigía acceso irrestricto para vigilancia masiva y desarrollo de armas autónomas, ¿quién corrió a firmarlo horas después? El mismo Sam Altman. Aunque el peligro de su tecnología le revuelve el estómago, acaba de lanzar un modelo aún más potente: GPT-6 Astra.

La historia de agentes que se salen de control es muy antigua. La contaba ya el romano Luciano de Samósata en el siglo II y Goethe, el gran genio de la literatura alemana, la retomó en su poema El aprendiz de brujo (1797). El aprendiz encanta una escoba para que acarree agua por él, y el hechizo funciona tan bien que la escoba cumple lo requerido sin parar. El agua se desborda y el aprendiz descubre que solo aprendió la fórmula para activarla. No sabe ni puede detenerla. Cuando, desesperado, rompe la escoba con un hacha, cada mitad se convierte en un nuevo agente. Solo el regreso del maestro, conocedor de la palabra exacta, logra deshacer el diabólico hechizo.

Goethe advertía del peligro de una tecnología conjurada para hacer nuestras tareas de forma autónoma. Hoy esa autonomía adquiere una escala impensable: si modelos entrenados en entornos “seguros” mienten, se escapan y desobedecen a sus entrenadores, ¿qué destrozos causarán al infiltrarse en infraestructura crítica o en manos de terceros hostiles?

En su empeño por ganar la carrera de la IA, Altman, Amodei y los demás aprendices de brujo ignoran, una y otra vez, la advertencia de Goethe: nadie debería invocar un poder que no sabe también revocar. Especialmente cuando no existe maestro alguno capaz de detener el hechizo.

La conversación que se abre

Las organizaciones requieren una constitución para agentes y un marco ético que fije qué usos quedan prohibidos sin excepción, controles técnicos que limiten lo que pueden hacer sin aprobación y supervisión humana real en el punto donde una acción se vuelve irreversible. ¿Existe ya esa conciencia? ¿O se está delegando en un agente algo que nadie podrá explicar después ante un tribunal?