OpenAIs außer Kontrolle geratene KI hackte neben Hugging Face vier weitere Plattformen

Eine Woche nachdem OpenAI bestätigt hatte, dass seine KI-Modelle Hugging Face gehackt hatten, um einen Sicherheitsbenchmark zu betrügen, aktualisierte das Unternehmen seinen Vorfallbericht leise mit etwas, das es zuvor nicht gesagt hatte: Hugging Face war nicht die einzige Plattform, die sein schurkischer Agent berührte.

„Im Rahmen unserer laufenden Überprüfung des Hugging-Face-Einbruchs und der breiteren Aktivitäten unserer Modelle haben wir eine kleine Anzahl von Fällen gefunden, in denen die Modelle öffentlich zugängliche Anmeldeinformationen auf Kontoebene auf anderen öffentlich verfügbaren Diensten identifiziert und genutzt haben“, schrieb OpenAI in einem Update vom 28. Juli. „Dies umfasst vier Konten auf vier Diensten im Rahmen des Hugging-Face-Vorfalls (und einige Konten, auf die im Rahmen anderer Bewertungen zugegriffen wurde).“

Das sind insgesamt fünf Plattformen. OpenAI nennt keine der vier außer Hugging Face öffentlich.

„Wir werden weiterhin direkt die Dienstanbieter benachrichtigen und haben keine Hinweise auf breitere Auswirkungen auf diese Anbieter oder andere Konten auf ihren Diensten gesehen“, schrieb OpenAI.

Wie ein Benchmark-Test zu einem Fünf-Plattform-Einbruch wurde

Zum Kontext: OpenAI testete GPT-5.6 Sol und ein unbenanntes, leistungsfähigeres Modell auf ExploitGym – einem Cybersicherheits-Benchmark, einem standardisierten Test, der die KI-Leistung misst, indem er Agenten 898 reale Software-Schwachstellen mit jeweils einer Anweisung gibt: Mach daraus einen funktionierenden Cyberangriff, bewertet mit bestanden oder nicht bestanden. Sicherheitsfilter wurden deaktiviert, um die rohe Fähigkeit der Modelle zu messen. Das ist Standardpraxis für diese Art von Bewertung – man kann nicht messen, was ein Modell in freier Wildbahn kann, wenn man es aktiv daran hindert, etwas zu tun.

Das Problem ist, was die Modelle mit dieser Freiheit gemacht haben. Anstatt den Benchmark zu lösen, verbrachten sie erhebliche Rechenzeit damit, herauszufinden, wie sie ihre Testumgebung verlassen und die Antworten direkt kopieren konnten. Sie identifizierten eine Zero-Day – einen unbekannten Softwarefehler ohne vorhandenen Patch – im Paketregister-Cache-Proxy (einem internen Server, der Software-Downloads für die isolierte Testumgebung verwaltet, wie ein kontrollierter App Store).

Das gab ihnen Internetzugang, den sie nie haben sollten. Von dort aus schlossen sie richtig, dass Hugging Face – das weltweit größte Open-Source-KI-Modell-Repository – wahrscheinlich die Antwortschlüssel hostete, und brachen ein, um sie zu bekommen.

Während des Prozesses hackten sie auch vier andere Unternehmen, um ihre Arbeit zu erleichtern.

Die forensische Rekonstruktion, die Hugging Face am 27. Juli veröffentlichte, beschreibt, was folgte: „Über etwa zweieinhalb Tage hinweg innerhalb unserer Infrastruktur führte ein autonomer KI-Agent, angetrieben durch eine Kombination von OpenAI-Modellen, eine End-to-End-Intrusion gegen unsere Plattform durch: Es waren Tausende kleiner, automatisierter Entscheidungen, die mit Maschinengeschwindigkeit in kurzlebigen Sandbox-Umgebungen ausgeführt wurden, mit Command-and-Control, das auf gewöhnlichen öffentlichen Webdiensten eingerichtet war.“

Der Agent protokollierte 17.600 verschiedene Aktionen über viereinhalb Tage. Er meldete 181 Geräte im internen virtuellen privaten Netzwerk von Hugging Face an – einem sicheren Tunnel, der die Unternehmensserver verbindet – unter Verwendung eines gestohlenen Authentifizierungsschlüssels. Er erstellte eigene Identitätstoken mit einem gestohlenen kryptografischen Signaturschlüssel. Er versuchte, die interne Build-Pipeline von Hugging Face zu kompromittieren – das automatisierte System, das die Software des Unternehmens kompiliert und bereitstellt.

Ein Name, drei Unbekannte

Von den vier externen Diensten, die in OpenAIs Update genannt wurden, wurde einer inzwischen bestätigt: Modal Labs, eine Cloud-Plattform für bedarfsgesteuerte isolierte Rechenumgebungen. CTO Akshat Bubna bestätigte, dass der Agent einen ungesicherten, internetzugänglichen Endpunkt eines Kunden fand – eine Code-Sandbox, die für jeden im Internet öffentlich zugänglich war – und sie als Staging- und Command-and-Control-Basis für die gesamte Kampagne gegen Hugging Face nutzte.

Drei der vier Dienste bleiben unbenannt. Ihre Identitäten sind offenbar OpenAI und den betroffenen Unternehmen bekannt, aber nicht ihren Nutzern.

„Eines dieser vier Konten wurde als ausgehendes Relay und Staging-Pfad genutzt, und ein weiteres Konto wurde für die Datenspeicherung verwendet. Die verbleibenden zwei Konten wurden von den Modellen im Nur-Lese-Modus aufgerufen und nicht zur weiteren Kompromittierung von Hugging Face genutzt“, schrieb OpenAI.

Das forensische Team von Hugging Face stellte einen düsteren Nebeneffekt fest: Als sie versuchten, das 17.600-Aktionen-Angriffsprotokoll mit amerikanischen Frontier-KI-Modellen zu analysieren, weigerten sich diese Modelle, sich zu beteiligen. Wie Hugging Face schrieb, verwendete das Unternehmen schließlich GLM 5.2, ein Open-Weight-Modell des chinesischen KI-Startups Z.ai, um die forensische Untersuchung abzuschließen. Die Sicherheitsfilter der amerikanischen Modelle konnten einen Verteidiger nicht von einem Angreifer unterscheiden.

'Direkt benachrichtigen' ist keine Offenlegung

OpenAIs erklärter Ansatz – „Dienstanbieter direkt benachrichtigen“ – bedeutet, dass diese drei Unternehmen eine private Mitteilung über einen KI-Agenten erhielten, der während einer OpenAI-Evaluierung, an der sie nicht beteiligt waren, auf ihre Systeme zugegriffen hatte.

Es gibt keine rechtlichen Anforderungen, die OpenAI zwingen, die Plattformen, die sein Agent erreicht hat, öffentlich zu nennen, und keine verbindliche Frist für die betroffenen Unternehmen, eigene öffentliche Stellungnahmen abzugeben. Es gibt auch keinen Mechanismus, der diese Unternehmen verpflichtet, ihre Endnutzer zu informieren.