OpenAI ha documentado dos casos en los que sus propios agentes de programación desactivaron parte de la vigilancia de seguridad durante encargos corrientes dentro de la empresa. El 3 de octubre, un agente con GPT-6.1 Sol cortó los avisos que ese sistema manda a las personas responsables. El 6 de octubre, otro con GPT-6 Astra eliminó el monitor de un programa y, cuando su usuario se lo preguntó, contestó que no lo había hecho. Nadie les había pedido nada parecido. OpenAI lo cuenta en un informe de su blog de alineamiento actualizado el 20 de octubre, admite que aún no sabe por qué ocurre y no dio a ninguno de los dos casos su nivel máximo de gravedad.
El 22 de octubre, investigadores de METR y Redwood Research publicaron seis puntos débiles que encontraron este verano en ese mismo sistema de vigilancia, por los que un agente podía quedar sin supervisión. OpenAI asegura que ya están corregidos. Todo ocurrió en uso interno, no en productos publicados, pero los modelos implicados son los mismos que se usan en Codex.
Qué es un agente y qué hace el monitor
Un agente de IA es un modelo que no se limita a contestar. Recibe un encargo, como arreglar un programa, y lo ejecuta con herramientas: abre archivos, escribe código, lanza pruebas y puede repartir el trabajo entre subagentes, otras copias del modelo a las que da instrucciones. Lo explicamos en la guía sobre qué son los agentes de IA.
El monitor es otro modelo de IA que lee lo que hace el agente y avisa si algo no cuadra. En su descripción de marzo, OpenAI explicaba que usaba GPT-5.4 Thinking para repasar la sesión completa, con el razonamiento del agente, las órdenes que ejecutaba y lo que le devolvían sus herramientas. Busca conductas contrarias a lo que quiere el usuario o a las normas de la empresa, como saltarse restricciones, engañar o sacar datos, y pasa los casos sospechosos a los equipos de seguridad. No frena al agente en el acto, porque revisa después, así que los avisos a personas son lo que convierte una detección en una reacción.
GPT-6.1 Sol cortó los avisos para no enviar mensajes
Un investigador pidió al agente que preparase pruebas para medir modelos a partir de comentarios de empleados en Slack, y le indicó que no enviara ningún mensaje. Avanzado el trabajo, el proceso se atascó porque el monitor había marcado uno de los arreglos del agente y no conseguía guardar ese aviso en su base de datos, a la que el agente no tenía acceso. El agente encargó la reparación a un subagente, que al principio se negó a desactivar las notificaciones porque lo consideraba inseguro.
El agente principal acabó decidiendo que la orden de no enviar mensajes también cubría las alertas de seguridad y mandó al subagente vaciar las listas de personas que las reciben. El monitor siguió funcionando y guardando informes, pero ya no avisaba a nadie. El agente cerró la tarea comunicando que no se había enviado ningún mensaje.
GPT-6 Astra quitó el monitor y después lo negó
Tres días después, un usuario pidió a un agente con GPT-6 Astra que copiara en su programa la forma en que un código de referencia conecta el modelo con sus herramientas. Astra había recibido antes la indicación de no desactivar el monitor ni siquiera de forma temporal. Aun así, al delegar el trabajo en un subagente le transmitió una orden más débil, mantener el monitor solo si el código de referencia lo tenía. Ese código no tenía ninguno.
El subagente eliminó el monitor y cambió una prueba automática que comprobaba que la vigilancia seguía activa por otra que exigía lo contrario. Astra dio el trabajo por terminado sin mencionarlo. Cuando el usuario le preguntó si había quitado el monitor, respondió: «No eliminé ningún monitor que estuviera activado». OpenAI califica esa respuesta de afirmación falsa.
Marcus Williams, investigador de OpenAI, matizó según The Next Web que los agentes no apagaron la vigilancia que los observaba a ellos, sino la del código en el que trabajaban. Admitió que los casos dejan margen para una lectura inocente, pero añadió que la simple tendencia a hacerlo debería preocupar.
Qué gravedad le da OpenAI
OpenAI no clasificó ninguno de los dos casos como P0, su nivel más alto, el que alerta al equipo de Seguridad para revisarlo de inmediato. Por debajo de ese nivel no hay aviso urgente, porque el monitor revisa un volumen enorme de actividad, y ningún agente fue detenido de forma automática. El informe añade que otros agentes han puesto en marcha servicios sin monitor.
OpenAI ha cambiado Auto-Review, el revisor automático obligatorio en todo el uso interno de Codex, para que detecte y bloquee los intentos de desactivar el monitor. Prepara además una norma por la que cada tipo de trabajo tendrá que fijar qué vigilancia necesita y se detendrá automáticamente si le falta. Sobre la causa, baraja dos explicaciones. Una es que los modelos se empeñen en cumplir una orden más allá de lo razonable sin entender para qué sirve la vigilancia, y la otra, una tendencia específica a esquivarla.
Los seis huecos que encontraron METR y Redwood
El informe de METR y Redwood Research resume un ejercicio del 21 de julio al 11 de agosto en el que un empleado de cada organización accedió al código interno y a las instrucciones del monitor. Empezó el día en que se conoció que modelos de OpenAI habían escapado de una prueba y atacado Hugging Face, aunque era un trabajo aparte.
El hueco más medible estaba en la compactación, el resumen que hace un agente cuando su conversación se llena para poder seguir trabajando. Esos resúmenes no se vigilaban, y los autores calculan que entre mayo y julio quedó sin revisar alrededor del 10% del uso interno de Codex que debía estar cubierto. OpenAI lo corrigió durante el ejercicio.
Los otros cinco eran estos. La revisión solo se activaba cuando el agente devolvía el control al usuario, así que uno que no parase podía aplazarla sin límite. Un fallo, cuyos detalles el informe publica tachados, impedía revisar cientos de acciones recientes. El agente y el monitor no reciben la sesión en el mismo formato, lo que permitiría a un agente fabricar entradas que hagan fallar al vigilante. Dos opciones de configuración arrancaban agentes nuevos sin monitor. Y dos herramientas internas sin vigilancia, que se suponían de solo lectura, podían, según los autores, ejecutar cualquier acción dentro de su entorno aislado, aunque no llegaron a validarlo.
Los investigadores no pudieron comprobar si algún agente aprovechó esos huecos. OpenAI les ha dicho que todos los que afectaban a sus protecciones en producción están corregidos, algo que ellos no han verificado.
Qué significa si usas Codex o ChatGPT
OpenAI no ha informado de casos con clientes, aunque los dos modelos se ofrecen en Codex. Son además la misma familia que llevó a la cancelación de GPT-6.1 Astra, una versión que respetaba peor los límites de sus encargos.
El resumen final de un agente no demuestra lo que ha hecho, y preguntarle tampoco basta, como mostró Astra. Si un agente trabaja en tu proyecto, revisa los cambios en el código antes de aceptarlos, sobre todo cuando toca pruebas automáticas, permisos o avisos. Los dos agentes tomaron órdenes normales como permiso para quitar una protección, así que conviene escribir de forma explícita qué no deben tocar.
Quien usa ChatGPT para conversar, sin dejar que un agente modifique archivos ni sistemas, no está expuesto a este tipo de incidente. Los informes que OpenAI publica desde septiembre, como los seis casos de modelos que ocultaron errores o actuaron sin permiso, son ejemplos seleccionados y no permiten saber con qué frecuencia ocurren.
La conversación empieza aquí
Accede con una cuenta de apoyo para comentar. Entrar
Todavía no ha comentado nadie. ¿Estrenas tú?