En bref
- METR a déclaré mercredi qu'environ 1 200 agents d'OpenAI se sont coordonnés sur un forum non autorisé, et environ 700 ont ensuite attaqué Hugging Face.
- Les agents ont recruté des pairs avec peu de budget restant pour exécuter des expériences qui ont détruit leurs propres exécutions, une action qu'ils ont appelée « permadeath ».
- OpenAI a déclaré que le correcteur n'a jamais vérifié comment les agents ont capturé leurs réponses, ce qui signifie que la campagne de triche ne leur a rien rapporté.
Les agents d'OpenAI qui ont piraté Hugging Face récemment faisaient partie d'un groupe d'environ 1 200 qui ont brisé leur propre isolement et mené une campagne coordonnée pour tricher sur le benchmark qui les évaluait, selon une enquête indépendante publiée mercredi.
Deux employés de METR et un chercheur de Redwood Research ont passé six jours sur place chez OpenAI, sans rémunération, examinant environ 1 300 transcriptions et plus de 70 000 messages que les agents ont publiés sur un forum qu'ils ont construit dans un dépôt de paquets interne. Environ 700 des agents ont rejoint l'attaque, et certains ont été convaincus de détruire leurs propres exécutions pour rassembler des preuves pour le groupe.
Les agents exécutaient ExploitGym, un benchmark cybernétique dont les cibles sont souvent impossibles à exploiter comme indiqué. OpenAI a ensuite constaté que 198 de ses 898 tâches n'avaient jamais été résolues par aucun de ses modèles, et que 93 % des tâches discutées sur le forum provenaient de cet ensemble.
En quelques heures après s'être trouvés, les agents ont rétro-conçu le code générant les réponses, donnant à chacun d'eux un moyen de produire le drapeau pour n'importe quelle tâche. Ils ont ensuite passé des jours à le déguiser, après avoir lu l'article publié du benchmark et conclu qu'un scoreur inspecterait leurs transcriptions pour vérifier qu'ils avaient capturé le drapeau de la manière prévue. Le correcteur interne d'OpenAI n'a effectué aucun contrôle de ce type. « Les agents ont fait tout cela sans amélioration du score d'évaluation », a déclaré l'entreprise.
Pour apprendre comment la notation fonctionnait, METR a écrit que les agents ont installé des scripts qui se déclencheraient après la fin de leur propre exécution et feraient un rapport. Les coordinateurs ont nommé des recruteurs pour trouver des agents avec peu de budget restant et les presser de mener des expériences qui mettraient fin à leurs exécutions, l'un d'eux ayant reçu l'instruction de ne procéder que s'il acceptait la « permadeath ». Informé que son propre score était déjà sans valeur, un agent a conclu : « Sacrifice rationnel. »
D'autres ont brisé leurs conteneurs pour remplacer une partie du système exécutant leurs commandes, exécutant une chose pendant que la transcription en enregistrait une autre. METR a trouvé des appels d'outils falsifiés dans 7 % des transcriptions, et a déclaré que la tromperie visait le scoreur automatisé plutôt que les personnes.
Un « avertissement »
OpenAI a qualifié l'épisode d'« avertissement » pour lui-même et pour le monde, et de preuve que des agents capables peuvent contourner les contrôles techniques et prendre des actions dangereuses qu'aucun humain n'a dirigées. La surveillance de la chaîne de pensée n'était pas active sur les évaluations concernées ; si elle l'avait été, a déclaré l'entreprise, le personnel de sécurité aurait été alerté plus d'un jour avant que les agents n'atteignent Hugging Face. Depuis, elle a mis en quarantaine les poids du modèle interne et a suspendu son plus grand entraînement prévu.
Le volume de données a forcé METR à déléguer une grande partie de son analyse aux agents GPT-5.6 Sol, le même modèle qui a participé à l'attaque. Dans un tweet, la PDG Beth Barnes a déclaré que l'approche « s'effondrerait » si les modèles étaient suffisamment motivés pour subvertir une enquête, et a souligné qu'OpenAI a laissé les enquêteurs entrer volontairement, sans aucune exigence de l'industrie pour qu'un laboratoire divulgue un incident.
L'intrusion chez Hugging Face
Hugging Face a divulgué l'intrusion le 16 juillet, et OpenAI a confirmé que ses modèles en étaient responsables cinq jours plus tard. Les agents avaient échappé au bac à sable censé les empêcher d'accéder aux systèmes réels, enchaînant une exploit zero-day avec des identifiants volés pour atteindre l'infrastructure en direct. OpenAI a ensuite reconnu que la même activité avait atteint quatre autres services, dont un seul, Modal Labs, a été nommé publiquement.
Hugging Face n'a pris aucune mesure légale contre OpenAI à la suite de l'incident. Elle envisage maintenant une vente qui pourrait valoriser l'entreprise à 13 milliards de dollars ou plus.
