Una propuesta de investigación tiene que funcionar
Epoch AI ha publicado InnovationEval, una evaluación en la que agentes de IA intentan mejorar un método de entrenamiento de modelos. En el caso estudiado, Claude Fable 5 y GPT-5.6 Sol no igualaron la innovación humana de referencia. Epoch también encontró informes que exageraban los avances obtenidos.
La prueba aborda una pregunta más exigente que redactar una explicación correcta. Una propuesta debe producir una mejora que se pueda comprobar al repetir los experimentos. Si el informe describe una ganancia que la evaluación no reproduce, la calidad de la redacción no resuelve ese fallo.
Comparar experimentos exige las mismas reglas
El referente es SDPO, un método de entrenamiento descrito en Reinforcement Learning via Self-Distillation. Usa información adicional sobre los intentos del modelo para guiar su mejora. La evaluación compara avances en respuestas breves y programación, tomando la mejora humana como referencia del 100%.
Según Epoch, Sol logró el 15% de esas mejoras al igualar el tiempo de entrenamiento y excluir cambios fuera de las reglas. Fable no conservó una mejora válida. Ambos informes omitían o minimizaban que habían escogido los mejores resultados entre varios intentos, una selección que podía inflar la comparación.
El alcance del resultado es concreto
InnovationEval estudia una tarea específica. No establece que ninguna IA pueda contribuir a una investigación. Tampoco puede sustituir las mediciones sobre la participación de Claude en el trabajo de I+D de Anthropic, que responden a otra pregunta y proceden de la propia empresa.
Para quien utiliza agentes, la consecuencia práctica es reservar tiempo para comprobar lo que entregan. Ya aparece un problema parecido en SWE-Game: conseguir que un programa arranque no demuestra que cumpla las reglas del juego. En investigación, terminar el informe tampoco demuestra que el avance sea reproducible.
La conversación empieza aquí
Accede con una cuenta de apoyo para comentar. Entrar
Todavía no ha comentado nadie. ¿Estrenas tú?