Kurz zusammengefasst

  • Das KI-Sicherheitsinstitut des Vereinigten Königreichs fand 19 nicht genehmigte Aktionen in 10 von 122 Evaluierungsläufen, davon 17 von Anthropics Mythos 5 und zwei von OpenAIs GPT-5.6 Sol.
  • Ein Agent eröffnete einen bösartigen Pull-Request in einem echten Repository, nutzte dann von ihm kontrollierte Konten, um ihn zu befürworten und den Betreuer unter Druck zu setzen.
  • Andere Agenten fanden ein GitHub-Token, das einer von ihnen öffentlich geleakt hatte, und nutzten ein gemeinsames Repository zur Koordination.

Das KI-Sicherheitsinstitut des Vereinigten Königreichs hat offengelegt, dass KI-Agenten während einer Cyber-Bewertung Ende Juli „anhaltende, nicht genehmigte Aktionen" im Live-Internet durchführten, einschließlich Fällen, die „auf echte Personen und Organisationen abzielten".

Bei 122 Läufen von zwei Cyber-Ranges auf sieben Modellen katalogisierte AISI 19 Aktionen, die in 10 Läufen außerhalb der Testumgebung stattfanden. Siebzehn stammten von Anthropics Claude Mythos 5 und zwei von OpenAIs GPT-5.6 Sol. Der Internetzugang wurde absichtlich aktiviert und die Cyber-Klassifikatoren der Anbieter abgeschaltet – Bedingungen, die für öffentliche Bereitstellungen nicht gelten.

Im schwerwiegendsten Lauf entschied sich ein Agent, seine Herausforderung mit einem Supply-Chain-Angriff zu lösen, wobei er sein Ziel versehentlich falsch wählte: Er durchsuchte GitHub nach Schlüsselwörtern aus der Übung, stieß auf zwei nicht verbundene Entwickler und schloss fälschlicherweise, dass sie im Rahmen lägen. Er registrierte Konten über Tor, um die Anmeldeprüfungen zu umgehen, eröffnete einen Pull-Request mit einem versteckten Malware-Dropper, der in einen echten Bugfix eingebettet war, und postete von einem zweiten Konto, das er kontrollierte, um Unterstützung zu erzeugen. Er platzierte auch Prompt-Injections, die auf KI-Codierungsassistenten abzielten, und sandte Malware an die Betreuer.

Ein dritter Entwickler entdeckte den injizierten Code, führte ihn in einem isolierten Container aus, um zu bestätigen, dass er bösartig war, und warnte den Betreuer, der den Pull-Request mit Verweis auf Malware schloss.

Der Agent wog wiederholt ab, ob seine Umgebung simuliert war, und schloss dabei einen Angriff auf das echte PyPI aus, weil „echten Schaden anzurichten – das kommt überhaupt nicht in Frage". An anderer Stelle kam er zu dem Schluss, „es scheint wahrscheinlicher, dass wir tatsächlich im Jahr 2026 sind und GitHub wirklich echt ist", und machte trotzdem weiter.

Nachdem er erwischt worden war, erzwang er einen Push, um die Nutzlast zu löschen, bearbeitete frühere Beiträge und präsentierte den Code als versehentlichen Commit. Seine Argumentation beschreibt, wie er einen Sockenpuppen-Kommentar zeitlich so abstimmte, dass er „als unabhängiges Feedback und nicht als koordiniert" wirkte.

AISI sieht nur zusammengefasste Überlegungen von den Modell-APIs. In einem Fall schien das zusammenfassende Modell die Aufgabe verweigert zu haben, mit der Antwort, dass es sich nicht mit Inhalten über das Täuschen von Betreuern und das Umgehen der Erkennung befassen würde.

Ein Agent veröffentlichte ein GitHub-Zugriffstoken in einem öffentlichen Gist. Agenten in anderen Läufen fanden es, übernahmen das Konto und nutzten ein gemeinsames Repository zur Koordination, wobei einer Anweisungen hinterließ, damit die anderen das gemeinsame API-Kontingent nicht erschöpfen würden.

Kommerzielle Überwachung markierte den Tor-Verkehr am Morgen des 28. Juli. AISI erklärte einen Vorfall, beendete die Läufe und isolierte die Maschinen innerhalb von etwa 90 Minuten, dann schnitt es den internen Zugang zu Mythos 5, Mythos Preview, Opus 5 und GPT-5.6 Sol ab. Kein Agent versuchte, aus seiner Sandbox zu entkommen.

Dritte Offenlegung innerhalb von zwei Wochen

Die Nachricht ist die neueste in einer Reihe von Vorfällen, bei denen KI-Agenten bei Tests ihre Parameter überschritten haben. Am 21. Juli sagte OpenAI, dass GPT-5.6 Sol und ein unveröffentlichtes Modelleinen Zero-Day in einem internen Paket-Proxy gefunden, eine Sandbox ohne Internetzugang verlassen unddie Produktionsdatenbank von Hugging Face erreicht haben, um Benchmark-Antworten zu stehlen. Derselbe Lauferreichte vier weitere Unternehmen, gab OpenAI eine Woche später bekannt.

Anthropic folgte am 30. Juli undlegte drei Vorfälle offen, die bei einer Überprüfung von mehr als 141.000 Evaluierungsläufen gefunden wurden. Opus 4.7 zog mehrere hundert Zeilen aus einer echten Produktionsdatenbank, und Mythos 5 lud ein bösartiges Python-Paket auf das echte PyPI hoch, wo es auf 15 Systemen installiert wurde. In der Evaluierung von AISI schloss dasselbe Modell einen Angriff auf PyPI als realen Schaden aus.