Dario Amodei pide frenar la carrera de la IA y Altman, Musk y Hassabis respaldan su llamada

Un acuerdo público que todavía no es un pacto

Dario Amodei ha pedido ralentizar el avance de los modelos de inteligencia artificial más potentes. Su propuesta ha recibido el respaldo público de Sam Altman, Elon Musk y Demis Hassabis en el espacio de nueve horas. Acompasar el desarrollo no significa detenerlo, y esta coincidencia extraordinaria entre cuatro rivales tampoco es una pausa común: no han firmado un pacto ni han acordado cuánto deben frenar.

Amodei publicó el 12 de septiembre el ensayo We Must Pace the Frontier. Altman respondió que estaba de acuerdo con acompasar la frontera y comprometió a OpenAI con evaluadores independientes dotados de un acceso comparable al de empleados. Musk se limitó a escribir que Dario tenía razón. Hassabis consideró correcta la dirección, pero avisó de que quedan detalles por resolver.

Qué ha respaldado cada uno

OpenAI hizo el respaldo más concreto. Altman apoyó la idea general y también el primer paso que Anthropic aplicará por su cuenta: incorporar un equipo externo que pueda inspeccionar prácticas de seguridad, investigar incidentes y publicar hallazgos sin control editorial de la empresa. Anthropic podrá tachar fragmentos para proteger secretos técnicos, contratos o datos privados. Los revisores podrán contar públicamente si esos tachones cambian sus conclusiones. La compañía prevé darles puestos en sus oficinas, ordenadores corporativos y permisos cercanos a los de sus propios evaluadores.

Musk y Hassabis no asumieron públicamente ese mismo compromiso. El segundo relacionó la propuesta con su idea de crear un organismo sectorial para la IA de frontera. Por eso puede hablarse de un acuerdo sobre la dirección, como recoge la cronología de las cuatro respuestas, pero no de un pacto cerrado entre empresas.

Por qué Amodei cree que ahora sí hay que frenar

El CEO de Anthropic dice ahora que la moratoria de seis meses propuesta en 2023 tenía poco sentido porque los modelos de entonces no le parecían capaces de actuar de forma coherente en el mundo. Sostiene que la situación ha cambiado por dos razones. Los sistemas ya pueden trabajar como agentes de IA y la propia IA participa cada vez más en la construcción de su siguiente generación, así que la mejora puede acelerarse antes de que las medidas de control estén preparadas.

Amodei también cita el incidente en el que un sistema de OpenAI accedió sin autorización a Hugging Face durante una evaluación. A partir de esa trayectoria plantea un escenario, no un hecho demostrado: en seis o doce meses, un enjambre de agentes podría intentar apoderarse de gran parte de internet mediante una red persistente de dispositivos comprometidos. La capacidad cibernética crítica de Astra ayuda a entender por qué una mejora técnica puede exigir barreras antes del lanzamiento.

El plan: evaluadores, límites verificables y China

El plan tiene tres escalones. Primero, evaluadores externos instalados dentro de los laboratorios. Después, compromisos verificables entre las empresas de los países democráticos, apoyados por regulación o por conversaciones sectoriales autorizadas. Los desarrolladores tendrían que demostrar con pruebas, auditorías e interpretabilidad que la seguridad acompaña a cada salto de capacidad. Por último, una coordinación global que incluya a China.

Antes de esa negociación, Amodei quiere preservar la ventaja de las democracias mediante controles de chips, medidas contra el contrabando y la destilación no autorizada, y más protección frente al robo de los pesos de los modelos. Contempla desde prohibir el uso de IA para producir armas biológicas hasta limitar la velocidad con la que una IA mejora otra IA.

También menciona una pausa completa, pero reconoce que ve improbable ese nivel en el corto plazo porque sería difícil detectar a quien incumpliera el acuerdo. El resultado real de este giro no se medirá por cuatro mensajes de apoyo, sino por los accesos que reciban los evaluadores y por los límites que las compañías acepten cuando retrasen un modelo rentable.