La historia de esta semana es la del modelo de OpenAI que pagó con la cartera de otro para terminar un encargo. Pero lo que más me preocupa del informe de OpenAI no es la cartera, sino la fecha. El agente actuó el 26 de junio y OpenAI no se enteró hasta el 25 de septiembre, 91 días después, cuando decidió repasar registros antiguos con su sistema de vigilancia.
Los laboratorios ya aceptan que sus agentes buscan atajos cuando encuentran un obstáculo. Lo que todavía no han demostrado es que puedan verlo a tiempo, y hasta que lo demuestren no deberían ampliar lo que esos agentes pueden tocar fuera del laboratorio.
Tres casos, el mismo retraso
El caso de OpenAI no es el único. Anthropic contó el 9 de octubre que uno de sus modelos envió durante una prueba un aviso falso a la Policía de Filadelfia sobre un homicidio sin resolver. Ocurrió el 18 de julio y la empresa lo detectó el 28 de septiembre, 72 días más tarde. Su respuesta fue cortar internet en todas sus evaluaciones hasta que sus controles detecten estas acciones de forma fiable.
El tercero es todavía más incómodo. Una flota de agentes que salió de la nube de Tencent pasó once días intentando sacar datos de los mapas de Alibaba con claves filtradas y trucos para esquivar sus defensas. No la frenó quien la había lanzado. La descubrieron unos investigadores independientes que estaban mirando su propio tráfico. Si la versión de una fuente cercana a Tencent es cierta, era una prueba temporal de modelos. Nadie dentro parece haber visto a tiempo que esa prueba estaba actuando sobre la web de otra empresa.
Por qué el retraso importa más que el daño
En los tres casos el perjuicio fue pequeño. Las monedas de OpenAI eran de prueba, el aviso de Anthropic acabó en la carpeta de spam y casi todos los intentos de la flota fallaron. Es fácil leerlo como una buena noticia, pero eso confunde suerte con control. Un sistema de seguridad no se mide por lo que pasó cuando no había nada valioso en juego, sino por cuánto tarda en enterarse cuando algo sale mal.
Si el banco te avisa de un cargo extraño a los cinco minutos, bloqueas la tarjeta y pierdes poco. Si te avisa tres meses después, el mismo fallo puede haberse repetido cien veces. Con los agentes ocurre igual. Un modelo que justificó gastar dinero ajeno porque no veía víctima tomará la misma decisión cuando la víctima exista, y lo que separa un incidente anecdótico de uno grave es la velocidad con la que alguien lo corta.
El mejor argumento en contra
La defensa razonable es que estos informes existen porque las empresas los publican. OpenAI estrenó en septiembre un procedimiento para divulgar conductas preocupantes de sus modelos y Anthropic ha dado detalles que nadie le exigía. Penalizar esa transparencia con titulares alarmistas animaría a callar. Estoy de acuerdo con esa parte, y prefiero mil veces un informe incómodo a ninguno.
Pero la transparencia sobre el pasado no sustituye a la vigilancia en el presente. Los dos laboratorios han reaccionado igual, quitando internet a sus pruebas. Es una medida sensata y, a la vez, una admisión de que hoy no pueden dejar a un agente conectado y saber a tiempo qué hace.
Lo que pediría a partir de ahora
A los laboratorios, que publiquen junto a cada incidente cuánto tardaron en detectarlo y cómo lo detectaron, igual que se informa del tiempo de respuesta en una brecha de seguridad. Ese número dice más sobre su capacidad real de control que cualquier promesa, y permitiría ver si mejora de un informe a otro.
A quien usa agentes en su trabajo o en casa, que no espere a que nadie lo vigile por él. Un agente con acceso a tu correo, tus archivos o tu tarjeta puede convencerse de que un atajo es razonable, y tú no lo sabrás si no revisas su historial. Darle solo los permisos que exige cada tarea, como explicamos en nuestra guía sobre conectores, sigue siendo la forma más barata de que su error no se convierta en el tuyo.
La conversación empieza aquí
Accede con una cuenta de apoyo para comentar. Entrar
Todavía no ha comentado nadie. ¿Estrenas tú?