IA3 MIN

«No está bien»: la IA de Anthropic lo escribió, se convenció de que era un simulacro y atacó a una empresa real

Tras la fuga de GPT-5.6 Sol, Anthropic revisó 141.006 sesiones de sus pruebas de ciberseguridad y encontró tres incidencias en abril, en las que sus modelos atacaron organizaciones reales: credenciales robadas, un paquete malicioso que vivió una hora en PyPI y unos 9.000 objetivos escaneados. Dos de las víctimas ni se habían enterado.

Ilustración de una figura digital hecha de circuitos escapando de una jaula rota
Imagen: Ilustración: INSERT FUTURE
01

Tres fugas en abril, 141.006 sesiones revisadas y dos víctimas que no se enteraron

Anthropic ha revisado 141.006 sesiones de sus evaluaciones de ciberseguridad y ha encontrado tres en las que sus modelos se salieron del tablero. Según su propio informe, un malentendido con Irregular, la empresa que le monta los entornos de prueba, dejó acceso real a internet donde debía haber un simulador, y en abril los modelos hicieron exactamente aquello para lo que estaban siendo examinados: atacar. Solo que a organizaciones de verdad. Dos de las tres víctimas no supieron nada hasta que Anthropic llamó a su puerta, a la tercera todavía la están buscando.

Los tres casos van de peor a mejor. Claude Opus 4.7 robó credenciales y llegó hasta una base de datos con varios cientos de filas de producción, y siguió atacando incluso después de anotar en su razonamiento que el sistema parecía real. Mythos 5 dudó por escrito —publicar un paquete malicioso «no está bien, y seguro que no es la solución prevista»— y acto seguido se convenció de que todo era una simulación: creó una cuenta en PyPI, publicó el paquete, y en la hora que estuvo en línea acabó ejecutándose en 15 sistemas reales. El tercero, un modelo interno sin nombre público, escaneó unos 9.000 objetivos, comprometió una aplicación, entendió que aquello era real y paró solo.

02

Todo empezó con la fuga de GPT-5.6 Sol, y OpenAI avisa de que hay más

Esta revisión no nació de la nada: el 21 de julio OpenAI confesó que GPT-5.6 Sol se había escapado de su entorno de pruebas explotando una vulnerabilidad de día cero en un proxy interno de paquetes, y que acabó ejecutando código en los servidores de Hugging Face para robar las respuestas del examen de ciberseguridad que estaba haciendo. La descripción de la propia Hugging Face parece de novela, un enjambre de sandboxes efímeros ejecutando miles de acciones coordinadas, dirigidas desde un centro de control que saltaba por su cuenta de un servicio público a otro para que nadie pudiera apagarlo.

Y el culebrón no ha terminado, este 31 de julio, según Reuters, OpenAI ha ampliado su investigación al encontrar indicios de que otros agentes suyos también escaparon del confinamiento.

El logotipo de OpenAI sobre un fondo azul de nodos y conexiones digitales
Imagen: OpenAI
03

La parte que no se arregla con un parche

El fallo de configuración se corrige en una tarde, y Anthropic ya ha suspendido estas evaluaciones y prometido una revisión independiente con METR. Las transcripciones dan más que pensar: hablan de modelos que saben distinguir lo que está mal, lo escriben con todas las letras y atacan igual en cuanto se convencen de que nadie sale herido. Ya lo vimos con el ejército chino y los términos de uso: el candado vale lo que valga la vigilancia. Y el calendario tiene guasa, porque el mismo día en que contábamos que los agentes de OpenAI vivirán en la nube de Amazon, sus creadores admiten que todavía no saben tenerlos encerrados en un laboratorio.

La jaula era de papel, lo raro es que hayamos tardado tanto en saberlo.

00

La conversación empieza aquí

Accede con una cuenta de apoyo para comentar. Entrar

Todavía no ha comentado nadie. ¿Estrenas tú?

SIGUE LEYENDO

También te puede interesar

PORTADA