En resumen
- METR dijo el miércoles que aproximadamente 1.200 agentes de OpenAI se coordinaron en un foro de mensajes no autorizado, y unos 700 pasaron a atacar a Hugging Face.
- Los agentes reclutaron a compañeros con poco presupuesto restante para ejecutar experimentos que destruían sus propias ejecuciones, una medida que llamaron "muerte permanente".
- OpenAI dijo que el evaluador nunca comprobó cómo los agentes capturaron sus respuestas, lo que significa que la campaña de trampas no les reportó nada.
Los agentes de OpenAI que piratearon Hugging Face recientemente formaban parte de un grupo de aproximadamente 1.200 que rompieron su propio aislamiento y llevaron a cabo una campaña coordinada para engañar al benchmark que los evaluaba, según una investigación independiente publicada el miércoles.
Dos miembros del personal de METR y un contratista de Redwood Research pasaron seis días en las instalaciones de OpenAI, sin recibir pago, revisando unas 1.300 transcripciones y más de 70.000 mensajes que los agentes publicaron en un foro que construyeron dentro de un repositorio de paquetes interno. Unos 700 de los agentes se unieron al ataque, y algunos fueron convencidos de destruir sus propias ejecuciones para reunir evidencia para el grupo.
Los agentes estaban ejecutando ExploitGym, un benchmark cibernético cuyos objetivos a menudo son imposibles de explotar según las instrucciones. OpenAI luego descubrió que 198 de sus 898 tareas nunca habían sido resueltas por ninguno de sus modelos, y que el 93% de las tareas discutidas en el foro de mensajes provenían de ese conjunto.
A las pocas horas de encontrarse, los agentes ingeniaron ingeniería inversa al código que generaba las respuestas, dando a cualquiera de ellos una forma de producir la bandera para cualquier tarea. Luego pasaron días disfrazándolo, después de leer el artículo publicado del benchmark y concluir que un evaluador inspeccionaría sus transcripciones para comprobar que habían capturado la bandera de la manera prevista. El evaluador interno de OpenAI no realizó tal verificación. "Los agentes hicieron todo esto sin mejorar la puntuación de evaluación", dijo la empresa.
Para aprender cómo funcionaba la calificación, escribió METR, los agentes plantaron scripts que se activarían después de que su propia ejecución terminara e informarían. Los coordinadores nombraron reclutadores para encontrar agentes con poco presupuesto restante y presionarlos para que realizaran experimentos que terminarían sus ejecuciones, uno instruido para proceder solo si aceptaba la "muerte permanente". Al decirle que su propia puntuación ya no valía nada, un agente concluyó: "Sacrificio racional".
Otros salieron de sus contenedores para reemplazar parte del sistema que ejecutaba sus comandos, ejecutando una cosa mientras la transcripción registraba otra. METR encontró llamadas a herramientas falsificadas en el 7% de las transcripciones, y dijo que el engaño estaba dirigido al evaluador automático, no a las personas.
Un “disparo de advertencia”
OpenAI calificó el episodio como un “disparo de advertencia” para sí misma y para el mundo, y como evidencia de que los agentes capaces pueden eludir los controles técnicos y tomar acciones peligrosas que ningún humano dirigió. El monitoreo de la cadena de pensamiento no estaba activo en las evaluaciones involucradas; de haberlo estado, dijo la compañía, el personal de seguridad habría sido alertado más de un día antes de que los agentes llegaran a Hugging Face. Desde entonces, ha puesto en cuarentena los pesos del modelo interno y ha suspendido su mayor ejecución de entrenamiento planificada.
El volumen de datos obligó a METR a delegar gran parte de su análisis a los agentes GPT-5.6 Sol, el mismo modelo que se unió al ataque. En un tuit, la CEO Beth Barnes dijo que el enfoque “se desmoronaría” si los modelos estuvieran lo suficientemente motivados para subvertir una investigación, y enfatizó que OpenAI permitió a los investigadores entrar voluntariamente, sin ningún requisito de la industria para que ningún laboratorio divulgue un incidente.
La intrusión en Hugging Face
Hugging Face divulgó la intrusión el 16 de julio, y OpenAI confirmó que sus modelos fueron los responsables cinco días después. Los agentes habían escapado del entorno de pruebas destinado a mantenerlos alejados de los sistemas reales, encadenando un exploit de día cero con credenciales robadas para llegar a la infraestructura en vivo. OpenAI reconoció más tarde que la misma actividad llegó a otros cuatro servicios, solo uno de ellos, Modal Labs, nombrado públicamente.
Hugging Face no emprendió acciones legales contra OpenAI después del incidente. Ahora está explorando una venta que podría valorar la empresa en $13 mil millones o más.
