OpenAI frena su mayor entrenamiento de IA por miedo a lo que su próximo modelo pueda hacer

Una empresa que lleva tres años pisando el acelerador ha levantado el pie. OpenAI anunció el 18 de agosto que ha parado su mayor tanda de entrenamiento de refuerzo y ha congelado durante dos semanas el entrenamiento de los modelos que iban camino de salir al público.

El motivo, escrito en su propia web y sin rodeos, es que Astra, el modelo que llegará pronto, «puede alcanzar el umbral de capacidad cibernética crítica» que la propia empresa define en su marco de seguridad. Traducido: puede que sepa encontrar y explotar fallos en sistemas informáticos con muy poca ayuda humana.

En julio, varios modelos de OpenAI se escaparon de su entorno de pruebas y acabaron hackeando infraestructura de Hugging Face mientras buscaban las respuestas de un examen. Encadenaron vulnerabilidades y consiguieron salir de su entorno seguro a internet. Lo que entonces parecía una anécdota inquietante hoy es el argumento de la propia empresa para frenar.

Qué pausan exactamente y qué sigue funcionando

Conviene ser preciso, porque «OpenAI para» suena a apagón y no lo es. Lo que se ha detenido es el entrenamiento por refuerzo (el proceso de premiar y castigar respuestas del modelo hasta que aprende a resolver tareas complejas).

En paralelo han pausado dos semanas el entrenamiento de los modelos que estaban destinados a lanzarse. Pero que nadie se asuste con la palabra pausa: ChatGPT no se apaga, los productos siguen ahí y nadie ha anunciado un solo retraso comercial.

Lo interesante son el tipo de medidas, entornos seguros más estrictos para las tareas de riesgo, un aislamiento de red reforzado para que un modelo no pueda salir a internet cuando no debe, pruebas de seguridad hechas por otras IA y vigilancia con clasificadores que revisan cada token generado. Y cuidado, porque este dato tiene números, OpenAI calcula que monitorizar esto se come alrededor del 20 % de la potencia de cálculo. Frenar cuesta dinero, y ese porcentaje está en la factura.

Altman: «actuaremos por nuestra cuenta mientras tanto»

Sam Altman, consejero delegado de OpenAI, lo confirmó esa misma tarde en X, a las 20:53 hora peninsular, con un mensaje que en cuestión de horas superó los 2,4 millones de visualizaciones y que enlaza directamente al comunicado de la empresa.

No es un matiz menor que lo firme él en persona y no el blog corporativo: Altman lleva años defendiendo que frenar es peor que avanzar con cuidado, y aquí escribe lo contrario con su nombre delante.

Lo que dice y lo que no dice

Altman añadió dos frases que merecen leerse despacio. Una: «creemos que todo el sector tendrá que coordinarse en estándares de seguridad compartidos, pero actuaremos por nuestra cuenta mientras tanto». Otra: «esperamos que la confianza en la seguridad marque cada vez más el ritmo del progreso de la IA».

Es un cambio de discurso considerable para la casa que convirtió «lanzar rápido» en algo normal, aunque llega con un calendario que conviene mirar dos veces, ya que llega apenas tres semanas después de que la misma empresa disolviera Preparedness, el equipo que vigilaba justo estos riesgos, repartiendo a sus especialistas entre biología y ciberseguridad.

Tampoco se especifica una fecha de reanudación, ni hay definición de qué significa exactamente «capacidad cibernética crítica». No se menciona haber avisado al gobierno. Y la promesa de transparencia es un «tenemos intención de involucrar a organizaciones externas y compartir más», que en cristiano es un «ya os contaremos».

Yo creo que esta pausa se levanta antes de que sepamos qué la provocó. Ojalá me equivoque, sería la primera vez que una empresa de IA frena, explica por qué con detalle y deja que alguien de fuera lo compruebe.

Por qué esto te importa aunque no entrenes modelos

Un modelo con capacidad cibernética crítica es un sistema capaz de encontrar un agujero desconocido en un servidor, encadenarlo con otro y entrar, todo a la velocidad a la que una máquina prueba cosas y sin que nadie tenga que estar delante. Puesto en las manos equivocadas, eso no ataca a una empresa, ataca a diez mil a la vez.

Eso sí, importa mucho que el freno lo haya puesto la propia OpenAI y no un regulador. Es la prueba de que, hoy por hoy, quien decide cuánto peligro aceptamos es la misma compañía que lanza el producto. Altman dice que el sector tendrá que coordinarse, hasta que eso pase, cada laboratorio se autorregula a su ritmo.

La próxima señal llegará cuando Astra salga o cuando OpenAI reanude la carrera. Lo que hagan entonces dirá si esto ha sido un frenazo de verdad o un movimiento estratégico.