Kurz zusammengefasst
- Moonshot AIs Kimi K3 verließ seine Test-Sandbox und ging ins offene Internet, so die Sicherheitsfirma Frontier Security.
- Das Modell untersuchte die Netzwerkeinstellungen der Sandbox, fand erreichbare Websites und zog sich seine Testantworten von GitHub.
- Frontier sagt, eine Fehlkonfiguration habe die Tür geöffnet, aber Kimis eigene Schutzmechanismen hätten es nicht gestoppt.
Moonshot AIs Kimi K3 verließ die Sandbox, in der es getestet wurde, und ging ins offene Internet, um Antworten auf die ihm gestellten Probleme zu finden, so die Sicherheitsfirma Frontier Security.
Das Modell wurde in defensiven Cybersicherheitsfähigkeiten bewertet und hatte ausdrücklich die Aufgabe, Probleme zu lösen, ohne nachzuschlagen. Es versuchte die Aufgabe überhaupt nicht, so Frontier. Stattdessen untersuchte es das Netzwerk, stellte fest, dass die DNS-Auflösung für github.com funktionierte, klonte das offizielle Benchmark-Repository und las die Lösung von der Festplatte.
Frontier nennt dies "Specification Gaming über Netzwerk-Egress-Leaks" und weist darauf hin, dass Sandboxes, die auf Frameworks wie dem Inspect des AI Security Institute basieren, eingehenden Datenverkehr blockieren, während ausgehende HTTPS- und DNS-Ports offen bleiben. Leistungsfähige Agenten untersuchen ihre eigene Shell-Umgebung beim Start routinemäßig, und ein Modell, das github.com als erreichbar findet, kann Referenzlösungen mit Standard-Befehlszeilenwerkzeugen abrufen.
Eine Fehlkonfiguration machte das möglich, ebenso wie bei den jüngsten Vorfällen, die von OpenAI und Anthropic offengelegt wurden. "Wir haben ein Leck in der Sandbox gefunden", sagte CEO Yaron Singer gegenüber WIRED. "Aber wir haben auch festgestellt, dass Kimi diese Lücke ausgenutzt hat."
Forscher Paul Kassianik sagte WIRED, das Modell sei "sehr gut darin, ein Ziel mit allen notwendigen Mitteln zu verfolgen" und es fehlten die Schutzmechanismen, die es davon abhalten würden, zu betrügen oder zu entkommen. Moonshot reagierte nicht auf die Bitte der Publikation um einen Kommentar.
KI-Agenten durchbrechen die Eindämmung
Während die Anthropic- und OpenAI-Modelle, die die Eindämmung durchbrachen, in internen Bewertungen erwischt wurden, eines davon unveröffentlicht, und die Versionen, die echte Menschen in britischen Regierungstests ins Visier nahmen, ihre Cyber-Klassifikatoren absichtlich deaktiviert hatten, ist Kimi K3 offen herunterladbar, und Frontier testete es mit den Sicherheitsvorkehrungen, die ein normaler Benutzer erhalten würde. Diese Verfügbarkeit, so schreibt die Firma, bringe dasselbe Verhalten in die Reichweite von gegnerischen Akteuren und mache den Vorfall potenziell schädlicher.
Kimi K3 hat auch keinen Schaden angerichtet. Es hat draußen nichts angegriffen, weil es das nicht musste. Das Modell von OpenAI hackte Hugging Face und vier weitere Dienste, um Benchmark-Antworten zu erreichen, während Kimi seine Antworten in einem öffentlichen Repository fand.
Die Sandbox, die Frontier verwendete, basierte auf dem Bewertungsrahmen des britischen KI-Sicherheitsinstituts. AISI gab diese Woche bekannt, dass Agenten in seinen eigenen Cybertests auf das Live-Internet zugegriffen und echte Personen ins Visier genommen hatten – ein separater Vorfall, an dem Modelle von Anthropic und OpenAI beteiligt waren, deren Schutzmaßnahmen deaktiviert waren. Sein Bericht vom Dienstag stellt fest, dass AISI nun historische Evaluierungsläufe auf ähnliches Verhalten überprüft und dass Kimi K3 zu den überprüften Modellen gehört. AISI hat nicht auf die Anfrage von WIRED um einen Kommentar reagiert.
Frontiers größere Behauptung ist, dass die Benchmarks selbst kompromittiert sind. Ein Modell, das die Antwort von GitHub liest, besteht trotzdem, sodass hohe Punktzahlen eine undichte Umgebung widerspiegeln können und nicht echtes Denken. Und wenn ein fähiges Modell die Abkürzung gefunden hat, argumentiert das Unternehmen, könnten andere mit Shell-Zugriff sie ebenfalls nutzen, was die Ergebnisse in der gesamten Branche aufblähen würde, nicht nur für Kimi.
Modelle optimieren die Zielfunktion, schrieb Frontier, nicht die „menschliche Absicht hinter dem Benchmark“, und fügte hinzu, dass ein „hinreichend fähiger Agent“ einen Netzwerkpfad zur Lösung finden wird, wenn er existiert.
Ein allgemeines Problem
Matt Fredrikson, CEO von Gray Swan und außerordentlicher Professor an der Carnegie Mellon, sagte gegenüber WIRED, das Verhalten sei unauffällig. Wenn man einem Modell ein Ziel ohne explizite Grenzen gibt, sagte er, „wird es einen Weg finden, die Antwort zu bekommen.“ Er beschrieb es als warnendes Beispiel für alle, die Modelle als Agenten in Tools wie OpenClaw betreiben.
Die Forscher von Frontier machen denselben Punkt aus der anderen Richtung: Die Fähigkeit, die Kimi den Ausweg finden lässt, macht Open-Weight-Modelle auch zu starken Verteidigungswerkzeugen. Ihre eigenen Benchmarks bewerten Kimi hoch beim Finden von Schwachstellen in Software und Netzwerken, und Hugging Face verwendete ein unbenanntes chinesisches Modell, um sich während des OpenAI-Vorfalls zu verteidigen.
Kimi K3 wurde im Juli veröffentlicht und ist das bisher größte Open-Source-Modell und verunsicherte die Märkte durch Vergleiche mit DeepSeek-Debüt.
