Examinar el proceso, no solo el modelo terminado
Anthropic anunció el 18 de septiembre un acuerdo con Accenture para incorporar evaluadores externos que trabajen dentro de la empresa. Faculty, el negocio especializado en IA de Accenture, dirigirá el equipo. Sus tareas abarcan pruebas de modelos, intentos de provocar fallos deliberadamente y comprobaciones de las medidas de protección. Anthropic financiará directamente ese trabajo.
El comunicado de Anthropic propone un acceso comparable al de un empleado. Eso permitiría observar cómo se entrena una IA, seguir decisiones sobre su desarrollo y hablar directamente con quienes la construyen. La evaluación no se limitaría a probar un producto cuando la compañía ya ha decidido lanzarlo.
Accenture indica que cada empresa espera invertir al menos 1.000 millones de dólares durante cinco años en seguridad de IA. Es una previsión de inversión de ambas compañías, no una cifra que ya se haya gastado ni el precio anunciado de una auditoría concreta.
Quién paga y qué independencia se promete
La relación entre cliente y evaluador hace especialmente importante conocer qué puede publicar el evaluador y si puede acceder a información incómoda para su cliente. El acuerdo no es exclusivo y Anthropic también mantiene conversaciones con organizaciones sin ánimo de lucro.
En su propuesta anterior, Dario Amodei defendía que los revisores pudieran publicar conclusiones sin control editorial de Anthropic, con excepciones limitadas para información sensible. El anuncio del acuerdo reconoce, sin embargo, que todavía se están definiendo aspectos de su funcionamiento y que no existen estándares comunes de acceso o publicación. No podemos dar por comprobada una independencia que aún debe concretarse en reglas y práctica.
Es un paso dentro del debate sobre frenar la carrera de la IA, no el anuncio de una pausa. Anthropic dice que seguirá entrenando y lanzando modelos. La supervisión también resulta relevante mientras Claude participa cada vez más en la investigación de la propia empresa: los evaluadores necesitarán entender tanto el resultado como el proceso que lo produjo.
La conversación empieza aquí
Accede con una cuenta de apoyo para comentar. Entrar
Todavía no ha comentado nadie. ¿Estrenas tú?