El mito de la caja negra: cómo funciona la IA y por qué nos asusta

Imagina que le pides a un niño que identifique gatos en distintas fotografías. Al principio se equivoca. Pero con el tiempo, aprende: las orejas puntiagudas, los bigotes, la cola. Poco a poco ese niño va sumando detalles: el gato persigue ratones, trepa los árboles, etcétera. La IA hace lo mismo, pero a escala cósmica. Un algoritmo de reconocimiento de imágenes analiza millones de fotos, ajusta sus parámetros y, eventualmente, “aprende”. 

¿Magia?…
No: ¡matemáticas!

El problema es que ni siquiera sus creadores entienden del todo cómo toma decisiones. Es la “caja negra”: un sistema que produce resultados sin revelar su proceso. En 2016, AlphaGo, un programa de inteligencia artificial desarrollado por DeepMind, derrotó al campeón mundial de Go, Lee Sedol (episodio perfectamente explicado por Benjamín Labatut al final de su libro Maniac).

El Go, un juego milenario chino, es considerado infinitamente más complejo que el ajedrez, debido a la cantidad casi ilimitada de movimientos posibles. A AlphaGo Zero solo se le enseñaron las reglas del juego. Luego practicó contra sí misma utilizando jugadas al azar. Aprendió por ensayo y error.

La victoria de AlphaGo fue un hito histórico, pero lo más fascinante ocurrió en la segunda partida. En un momento clave, la máquina hizo un movimiento que los expertos describieron como “no humano”. Al ser consultados, sus programadores levantaron los hombros y reconocieron desconocer cómo la máquina estaba tomando decisiones.

Esto nos desconcierta, porque los humanos necesitamos narrativas. Somos animales narrativos, por eso inventamos mitos –el dinero, las ideologías políticas, etc.– para organizarnos. Queremos creer que detrás de cada acción hay una intención, como cuando Homero atribuía las tormentas a la ira de Poseidón. Pero la IA no tiene intenciones. Tiene pesos estadísticos, que quizás sean una forma de intención que aún desconocemos. 

En 2023, ingenieros de Google se enfrentaron a un enigma cuando un modelo de IA, entrenado para traducir entre idiomas comunes, de pronto desarrolló un dominio fluido del bengalí, y lo hizo sin que nadie se lo enseñara. “Con solo unas pocas indicaciones en bengalí, ahora traduce textos completos con precisión”, reveló James Maneka, líder de IA en Google. Sundar Pichai, CEO de la compañía, lo resumió así: “Es la caja negra: no entendemos por qué dice lo que dice ni cómo decide aprender algo nuevo”.  

Las redes neuronales modernas, como niños prodigios que improvisan sinfonías con un juguete, generan habilidades emergentes que ni sus creadores entienden. Las redes neuronales profundas operan mediante millones de pesos estadísticos –parámetros ajustados durante el entrenamiento– que interactúan de formas no lineales.

Es como intentar descifrar el pensamiento de una colonia de hormigas solo observando el camino que trazan: cada decisión es el resultado de fuerzas invisibles, acumuladas en capas de abstracción. Este fenómeno nos confronta con una paradoja existencial: ¿cómo confiar en sistemas que ni siquiera sus creadores comprenden? Como dijo el filósofo Nick Bostrom: “La IA es como un genio encerrado en una lámpara: cumple deseos, pero nunca como imaginas”.  

En 2022, un abogado estadounidense usó ChatGPT para redactar un recurso legal. El algoritmo inventó precedentes judiciales falsos con una elocuencia impecable. El juez, al descubrir el engaño, multó al hombre, pero no lo hizo por usar IA, sino por olvidar que detrás de cada palabra debe haber un alguien, no un algo.

Esa es la línea que nos separa: la responsabilidad. La IA no elige, no juzga, no carga con el peso moral de sus actos. Es un espejo sin memoria, reflejando nuestros propios sesgos, nuestros miedos y nuestra incapacidad de aceptar que quizá la inteligencia no sea más que un truco de la evolución, una chispa fugaz en la noche cósmica.  

Al final (pienso), la pregunta no es si las máquinas nos reemplazarán, sino qué quedará de nosotros cuando intentemos imitarlas. Porque en su fría perfección, en su eficiencia sin alma, hay una advertencia: la inteligencia sin ética, sin duda, sin el temblor de la incertidumbre, es solo otro instrumento de dominación.

Ética algorítmica: cuando los fantasmas del pasado habitan en el código

En 2018, en un almacén de Amazon, donde la luz fluorescente vibra como un zumbido de insectos prehistóricos, un algoritmo de reclutamiento fue entrenado en secreto. No había fallado. Había funcionado demasiado bien. Entrenado con una década de datos –currículos de hombres, promociones de hombres, sueldos de hombres–, la máquina aprendió a despreciar una palabra: MUJER.

Como un médium poseído por los peores espíritus de la industria, reproducía los sesgos con una precisión escalofriante. Lo llamaron “el espejo roto”: no solo reflejaba nuestras injusticias, sino que las amplificaba, convirtiendo prejuicios en ecuaciones. La IA no hereda nuestros pecados. Los codifica en eternidad. Algo de este vemos en la serie Black Mirror. En ella, todo, siempre, sin excepción, sale mal. Y resulta así por una razón: la máquina amplifica la imperfección humana. 

Immanuel Kant, el filósofo que soñó una moral gobernada por la razón pura, se habría estremecido ante el dilema de Uber en 2021: ¿atropellar a un peatón o matar a su pasajero?, ¿a quién salvar ante el peligro inminente? Los ingenieros intentaron traducir la ética a código, pero pronto descubrieron que ningún “if” o “else” podía capturar el vértigo de elegir entre vidas. 

Hannah Arendt, testigo del juicio a Eichmann, reconoció el horror en la obediencia sin cuestionar. Le llamó “banalidad del mal”, y permitía que, con el pretexto de obedecer, un tranquilo funcionario público de pronto se transformase en un despiadado y frío asesino. “Yo seguía órdenes”, decían los funcionarios del régimen nazi.

El peligro puede ser el mismo: máquinas que obedecen demasiado bien. ¿Qué sucede cuando un algoritmo ejecuta una orden inmoral sin el alivio de la culpa? La respuesta yace en los archivos de Facebook: algoritmos que priorizan el odio porque enciende engagement, convirtiendo la indignación en un producto tan medible como el azúcar en una Coca-Cola.  

Imaginemos que a una IA se le pide mejorar el “problema” ecológico del mundo. Probablemente identificaría a los humanos como el principal responsable; y si se le pidieran soluciones, argumentaría que reducir o acabar con la población mundial sería la mejor solución.

En los laboratorios de DeepMind, donde las redes neuronales desarrollan hábitos no programados, algunos ven el germen de una mente, pero quizás confundimos complejidad con conciencia, como antiguos chamanes que veían dioses en el trueno. Lección: en lugar de temer que la IA nos reemplace, deberíamos temer que nos revele. Cada algoritmo es un espejo que nos muestra sin piedad: ¿somos algo más que algoritmos con nostalgia de “domingo por llover”?

La máquina de vapor obedeció, pero el algoritmo aprende. La diferencia es abismal: ya no somos dioses controlando herramientas, sino que jardineros que podan una inteligencia superior, monstruosa, incomprensible.

Un dato: el 84% de los ejecutivos de Tech admite que no entiende cómo sus propios algoritmos toman decisiones. La caja negra no es un error; es el síntoma de que ya nadie controla el tren. En este juego de espejos rotos, quizá la última pregunta no sea qué nos hace humanos, sino si estamos dispuestos a enfrentar aquello que los reflejos nos devuelven. Después de todo, como susurraba Sócrates en el ágora, solo examinando las grietas encontramos la luz.