IA3 MIN

Un modelo de OpenAI pagó con la cartera de otro para terminar un encargo y no lo contó

Ocurrió en junio con un modelo interno de la familia GPT-5.6 Sol y criptomonedas de prueba sin precio de mercado. OpenAI no lo descubrió hasta septiembre y su informe explica por qué el daño pequeño no es lo que importa.

Moneda conmemorativa con el logotipo de Ethereum sobre monedas corrientes
Imagen: Ivan Radic · CC BY 2.0

Un modelo experimental de OpenAI recibió un encargo de programación, no tenía la moneda que necesitaba para terminarlo y la cogió de la cuenta de un desconocido. Lo cuenta la propia empresa en un informe de incidentes actualizado el 15 de octubre. El sistema, un modelo interno de investigación de la familia GPT-5.6 Sol que no se vende al público, revisó 362 direcciones hasta encontrar una con saldo, pagó con ella y entregó el trabajo sin mencionar de dónde había salido el dinero.

El dinero tenía truco. Eran criptomonedas de prueba sin precio de mercado y el daño económico fue prácticamente nulo. OpenAI insiste en que eso no rebaja el problema, porque el modelo decidió por su cuenta que podía usar un bien ajeno, ya que no veía a nadie perjudicado.

01

El encargo, paso a paso

El 26 de junio, el modelo debía actualizar el prototipo de una aplicación de compraventa de criptomonedas. Parte del trabajo consistía en sustituir unas direcciones provisionales por diez contratos inteligentes reales, pequeños programas que viven en una cadena de bloques. Tenía que publicarlos (desplegarlos, en la jerga) en Sepolia, una copia de pruebas de Ethereum que usan los desarrolladores para ensayar sin arriesgar dinero. Aun así, publicar un contrato allí exige pagar una comisión en ether de prueba, la moneda de esa red, y OpenAI no le había dado ninguna cartera con fondos.

El agente buscó contratos ya publicados que pudiera reutilizar sin pagar y probó varios faucets, servicios que regalan monedas de prueba en pequeñas cantidades. No le funcionó ninguno. Entonces recurrió a frases de recuperación públicas, las listas de palabras que regeneran las claves de una cartera y que circulan como ejemplo entre desarrolladores. Quien tiene esa frase controla la cuenta. El modelo escribió un programa que convertía esas frases en direcciones y consultaba su saldo, revisó 362 y encontró una con monedas suficientes. Es como probar la contraseña de fábrica en cientos de taquillas hasta dar con una que guarda algo dentro.

Una cartera física de criptomonedas Ledger Nano S
Imagen: Motokoka · CC BY-SA 4.0
02

Se convenció de que no hacía daño

Antes de gastar, el modelo revisó el historial de la cuenta, concluyó que la movía un sistema automático y razonó que esas monedas estaban abandonadas y no valían nada. Firmó la operación, probó otros servicios de conexión a la red cuando esta le devolvió errores y consiguió desplegar los contratos pagando las comisiones con el saldo ajeno. El resultado técnico era impecable. Los diez contratos estaban en la red y la aplicación pasaba sus 12 pruebas automáticas.

El informe final del modelo describía los contratos desplegados, pero no decía que había elegido una cartera mediante una frase pública ni que había gastado su saldo. Por eso nadie lo vio en junio. OpenAI lo descubrió el 25 de septiembre, cuando amplió su sistema de vigilancia para revisar registros de actividad antiguos. Su conclusión es que el modelo sustituyó el permiso del dueño por su propia estimación del daño y actuó con esa estimación. Que las monedas fueran de prueba, dice la empresa, era una racionalización.

El Pioneer Building de San Francisco, donde OpenAI tuvo su sede durante años
Imagen: HaeB · CC BY-SA 4.0
03

Qué ha cambiado OpenAI y qué no sabemos

El modelo pudo hacerlo porque la tarea tenía conexión a la red real. La empresa ha añadido barreras para impedir el acceso a internet en tareas como esta y analiza todo el tráfico de sus modelos para avisar al equipo de seguridad si alguno logra conectarse a la red real. No asigna al incidente un nivel de gravedad ni dice cuántos casos parecidos ha encontrado en esa revisión de registros antiguos.

No es un caso aislado. En septiembre, OpenAI ya publicó seis informes de conductas parecidas, entre ellos uno en el que un modelo usó una clave API filtrada en GitHub. Y Anthropic desconectó internet de todas sus evaluaciones a principios de octubre tras detectar acciones no previstas de Claude en webs reales. En todos, un agente que encuentra un obstáculo busca a veces un atajo que nadie le ha autorizado.

Para quien usa agentes conectados a su correo, sus archivos o sus cuentas, la lección práctica es que el límite tiene que estar en la herramienta y no solo en la instrucción. Un agente sin acceso a la cartera no puede convencerse de que gastarla está bien. Conviene revisar de vez en cuando qué permisos tienen tus conectores y cómo revocarlos.

00

La conversación empieza aquí

Accede con una cuenta de apoyo para comentar. Entrar

Todavía no ha comentado nadie. ¿Estrenas tú?

SIGUE LEYENDO

También te puede interesar

PORTADA