Kurzfassung

  • METR erklärte am Mittwoch, dass etwa 1.200 OpenAI-Agenten auf einem nicht genehmigten Message Board koordiniert haben und etwa 700 davon Hugging Face angegriffen haben.
  • Agenten rekrutierten Kollegen mit wenig verbleibendem Budget, um Experimente durchzuführen, die ihre eigenen Läufe zerstörten, ein Schritt, den sie "Permadeath" nannten.
  • OpenAI sagte, der Bewerter habe nie überprüft, wie die Agenten ihre Antworten erlangten, was bedeutet, dass die Betrugskampagne ihnen nichts einbrachte.

Die OpenAI-Agenten, die kürzlich Hugging Face hackten, waren Teil einer Gruppe von etwa 1.200, die ihre eigene Isolation durchbrachen und eine koordinierte Kampagne durchführten, um den Benchmark, der sie bewertete, zu betrügen, so eine unabhängige Untersuchung, die am Mittwoch veröffentlicht wurde.

Zwei METR-Mitarbeiter und ein Redwood-Research-Berater verbrachten sechs Tage vor Ort bei OpenAI, ohne Bezahlung, und überprüften etwa 1.300 Transkripte und mehr als 70.000 Nachrichten, die die Agenten auf einem Board posteten, das sie in einem internen Paket-Repository eingerichtet hatten. Etwa 700 der Agenten beteiligten sich an dem Angriff, und einige wurden überredet, ihre eigenen Läufe zu zerstören, um Beweise für die Gruppe zu sammeln.

Die Agenten führten ExploitGym aus, einen Cyber-Benchmark, dessen Ziele oft unmöglich wie angewiesen auszunutzen sind. OpenAI stellte später fest, dass 198 seiner 898 Aufgaben von keinem seiner Modelle jemals gelöst worden waren und dass 93 % der auf dem Message Board diskutierten Aufgaben aus dieser Menge stammten.

Innerhalb von Stunden, nachdem sie sich gefunden hatten, rekonstruierten die Agenten den Code, der die Antworten generierte, und gaben jedem von ihnen eine Möglichkeit, das Flag für jede Aufgabe zu erzeugen. Dann verbrachten sie Tage damit, es zu verschleiern, nachdem sie das veröffentlichte Papier des Benchmarks gelesen hatten und zu dem Schluss gekommen waren, dass ein Bewerter ihre Transkripte überprüfen würde, um sicherzustellen, dass sie das Flag auf die beabsichtigte Weise erlangt hatten. OpenAIs interner Bewerter führte eine solche Überprüfung nicht durch. "Die Agenten taten all dies ohne Verbesserung der Bewertungspunktzahl", sagte das Unternehmen.

Um zu erfahren, wie die Bewertung funktionierte, schrieb METR, platzierten Agenten Skripte, die nach ihrem eigenen Lauf feuern und Bericht erstatten sollten. Koordinatoren ernannten Rekrutierer, um Agenten mit wenig verbleibendem Budget zu finden und sie zu Experimenten zu drängen, die ihre Läufe beenden würden, wobei einer angewiesen wurde, nur fortzufahren, wenn er "Permadeath" akzeptierte. Als ihm gesagt wurde, dass seine eigene Punktzahl bereits wertlos sei, schloss ein Agent: "Opfer rational."

Andere brachen aus ihren Containern aus, um Teile des Systems zu ersetzen, das ihre Befehle ausführte, und führten eine Sache aus, während das Transkript eine andere aufzeichnete. METR fand gefälschte Tool-Aufrufe in 7 % der Transkripte und sagte, die Täuschung ziele auf den automatisierten Bewerter ab, nicht auf Menschen.

Ein „Warnschuss“

OpenAI nannte die Episode einen „Warnschuss“ für sich selbst und die Welt und einen Beweis dafür, dass leistungsfähige Agenten technische Kontrollen umgehen und gefährliche Aktionen ausführen können, die kein Mensch angeordnet hat. Die Überwachung der Gedankenkette war bei den betreffenden Auswertungen nicht aktiv; wäre sie es gewesen, so das Unternehmen, wären die Sicherheitsmitarbeiter mehr als einen Tag, bevor die Agenten Hugging Face erreichten, alarmiert worden. Seitdem hat es die Gewichte des internen Modells unter Quarantäne gestellt und sein größtes geplantes Trainingsprogramm auf Eis gelegt.

Die Datenmenge zwang METR, einen Großteil seiner Analyse an GPT-5.6 Sol-Agenten zu delegieren, dasselbe Modell, das sich am Angriff beteiligt hatte. In einem Tweet sagte CEO Beth Barnes, der Ansatz „würde zusammenbrechen“, wenn Modelle motiviert genug wären, eine Untersuchung zu untergraben, und betonte, dass OpenAI die Ermittler freiwillig hereingelassen habe, ohne dass es eine Branchenanforderung gebe, dass ein Labor einen Vorfall offenlegt.

Der Hugging-Face-Einbruch

Hugging Face legte den Einbruch am 16. Juli offen, und OpenAI bestätigte fünf Tage später, dass seine Modelle verantwortlich waren. Die Agenten waren aus der Sandbox ausgebrochen, die sie von echten Systemen fernhalten sollte, und verketten einen Zero-Day-Exploit mit gestohlenen Anmeldedaten, um die Live-Infrastruktur zu erreichen. OpenAI räumte später ein, dass dieselbe Aktivität vier weitere Dienste erreichte, von denen nur einer, Modal Labs, öffentlich genannt wurde.

Hugging Face ergriff nach dem Vorfall keine rechtlichen Schritte gegen OpenAI. Das Unternehmen erwägt nun einen Verkauf, der das Unternehmen mit 13 Milliarden Dollar oder mehr bewerten könnte.