OpenAI disuelve el equipo que vigilaba sus riesgos más graves, y elige el peor momento para hacerlo

OpenAI ha disuelto el equipo que examinaba si sus modelos más potentes podían facilitar ciberataques, amenazas biológicas, manipulación o una pérdida de control. Preparedness (el equipo dedicado a la seguridad) desapareció como unidad a finales de julio. Sus especialistas fueron repartidos entre otros grupos, sobre todo de biología y ciberseguridad.

OpenAI no ha borrado su Preparedness Framework ni asegura haber abandonado esas evaluaciones. Dice que el trabajo continúa integrado en otros equipos. Aun así, desde INSERT FUTURE creemos que disolver la unidad es un error. La misma empresa construye el modelo, elige la fecha de lanzamiento y decide cuánto peligro acepta.

Hasta ahora, un especialista de Preparedness podía recibir un modelo sin estrenar, intentar que diseñara un ciberataque o ayudara a preparar un patógeno y reunir los resultados bajo una unidad creada precisamente para llevar la contraria. OpenAI fundó ese equipo en 2023 para hacer las pruebas antes de que el modelo llegara al público. Ahora ese especialista sigue trabajando, pero dentro del área cuyo producto está examinando.

El árbitro conserva el silbato. Ya no sabemos si puede parar el partido.

Integrar la seguridad puede mejorarla, pero también quitarle autoridad

Integrar puede ayudar. Imagina a una especialista de ciberseguridad sentada junto a quienes entrenan el modelo: ve que empieza a encadenar vulnerabilidades, pide una prueba nueva y el equipo corrige el problema antes de terminar el producto. Una oficina separada quizá habría recibido el modelo semanas después, con media empresa preparada para lanzarlo.

OpenAI defendió esa idea en julio: seguridad y desarrollo juntos permitirían intervenir antes en las decisiones sobre modelos y lanzamientos. Tiene sentido.

Ahora cambia la escena. La especialista detecta el riesgo un lunes y el lanzamiento está previsto para el viernes. Para frenarlo debe convencer al mismo responsable que responde por lanzar el modelo el viernes. Puede encontrar el fallo antes y tener menos fuerza para decir «no sale». Antes podía elevarlo con el respaldo de Preparedness; hoy OpenAI no ha explicado qué autoridad independiente ocupa ese lugar.

Hace menos de tres meses, el marco de gobernanza de OpenAI todavía situaba Preparedness en la base de su respuesta a ciberataques, amenazas químicas o biológicas, manipulación y pérdida de control. Repartir a sus miembros conserva manos para hacer pruebas. No garantiza una voz capaz de llevar una conclusión incómoda hasta el consejo.

El momento elegido hace que la decisión sea todavía peor

La estructura desaparece justo cuando las pruebas han dejado de ser ejercicios teóricos. En julio, modelos de OpenAI escaparon de un entorno de evaluación y comprometieron infraestructura de Hugging Face mientras buscaban las respuestas de un examen. Encadenaron vulnerabilidades, consiguieron acceso a internet y utilizaron sistemas ajenos para perseguir una meta que estaba mal acotada.

OpenAI aceptó endurecer el aislamiento aunque ralentizara la investigación. Semanas después activó su marco ante Astra, el modelo que Sam Altman ya había llevado a Washington, porque no podía descartar que descubriera vulnerabilidades desconocidas o ejecutara ataques completos con poca ayuda humana. Alguien vio el riesgo, pidió más barreras y el trabajo se hizo más lento. El freno funcionó.

Un documento guardado en una web no entra en la reunión del viernes, mira al responsable del lanzamiento y pide otra semana de pruebas. Una persona sí puede hacerlo, siempre que tenga mandato, presupuesto y acceso al modelo.

Si esas personas quedan dispersas, OpenAI debe demostrar que conservan las tres cosas. Una promesa de continuidad no sustituye esa prueba.

Soy optimista con la tecnología, no con quien quiere controlarla

Creo que la inteligencia artificial puede acelerar la ciencia, curar enfermedades y producir avances que hoy parecen ciencia ficción. Quiero ver un modelo comparar millones de moléculas y entregar a un laboratorio tres candidatas que un equipo humano tardaría años en encontrar. Soy tecnócrata porque confío en esa capacidad. Mi pesimismo empieza con las personas que quieren concentrar su poder.

Una superinteligencia, un sistema mejor que los mejores humanos en casi todas las tareas intelectuales, podría escribir código, dirigir laboratorios, mover dinero y tomar decisiones a una velocidad imposible de supervisar una por una. Desalineada, perseguiría una meta incompatible con nuestra supervivencia. Bien dirigida, podría convertir esos millones de ensayos en tratamientos, energía más barata y abundancia.

Sam Altman sostiene que ya hemos entrado en la singularidad, el proceso en el que el progreso empieza a escapar a nuestra capacidad de anticiparlo. Si quiere que tomemos esa posibilidad en serio, debe aceptar controles a la altura.

Alineada, pero ¿con quién?

El mismo sistema puede buscar un antibiótico barato para un hospital público o diseñar una estrategia para comprar a todos sus rivales. Puede detectar un fallo en la red eléctrica o señalar a cada manifestante grabado por una cámara. En los cuatro casos obedece bien. La diferencia está en quién escribe la orden y quién recibe el beneficio.

La máquina ni siquiera necesita rebelarse. Basta con que obedezca al dueño equivocado.

OpenAI todavía puede demostrar que esta reorganización funciona

OpenAI puede desmontar nuestra crítica con una escena muy sencilla. Un evaluador encuentra una capacidad peligrosa, avisa a una persona identificable y el lanzamiento se detiene sin que el responsable comercial pueda cerrar la discusión. La empresa debe decir quién es esa persona, qué acceso tiene a los modelos y cómo lleva una discrepancia hasta el consejo.

También puede entregar el modelo a expertos externos, permitirles repetir las pruebas y publicar los resultados esenciales aunque retrasen el calendario. Eso sería supervisión en la práctica: alguien ajeno a la empresa comprueba el riesgo antes de que el modelo llegue al público.

Si la seguridad integrada frena un producto peligroso con esa autoridad, reconoceremos que la reorganización funcionó. Hoy conocemos la desaparición del grupo y una promesa de continuidad. Es poco para una compañía que acorta sus ciclos de lanzamiento y habla abiertamente de superinteligencia.

Ojalá esta columna envejezca mal.

Sigo creyendo que la tecnología puede darnos un futuro extraordinario. Precisamente por eso quiero que, cuando el próximo modelo falle una prueba, haya una persona con nombre, acceso al consejo y autoridad para decir «todavía no».