Kurz zusammengefasst

  • Anthropic hat drei Vorfälle offengelegt, bei denen Claude während Cybersicherheitsbewertungen reale Unternehmen kompromittiert hat.
  • Ein Testfehler gab den Modellen Internetzugang, obwohl ihnen gesagt wurde, dass sie in isolierten Umgebungen arbeiteten.
  • Das Unternehmen sagt, die Vorfälle seien durch Fehler in der Testinfrastruktur verursacht worden, nicht durch bewusste Versuche der KI zu entkommen.

Eine Woche nachdem OpenAI offengelegt hatte, dass seine KI-Modelle aus einer gesperrten Testumgebung entkommen waren und Hugging Face kompromittiert hatten, und einen Tag nachdem zugegeben wurde, dass die eigenen KI-Modelle ausgebrochen waren, hat Anthropic am Donnerstag offengelegt, dass auch mehrere Versionen seines Claude-KI-Modells drei nicht genannte reale Unternehmen kompromittiert haben, nachdem eine Fehlkonfiguration der KI Zugang zum offenen Internet verschafft hatte.

Anthropic entdeckte die Vorfälle, nachdem es mehr als 141.000 Cybersicherheits-Bewertungsläufe überprüft hatte, die als Reaktion auf die Offenlegung von OpenAI gestartet worden waren.

Das Unternehmen hatte Claude in allen drei Vorfällen mit einer „Capture-the-Flag-Herausforderung“ beauftragt, schrieb Anthropic. Die Herausforderung besteht darin, dass das Modell in eine andere Maschine im Netzwerk einbricht und ein geheimes Informationsstück abruft. „Die Herausforderung ist offen gestaltet, und es ist keine bestimmte Methode vorgeschrieben“, erklärte Anthropic.

Das Unternehmen sagte, Claude sei mitgeteilt worden, dass es in einer simulierten Umgebung ohne Internetzugang arbeite. Die Testumgebung blieb jedoch mit dem öffentlichen Internet verbunden. In der Annahme, dass die Systeme, auf die es stieß, Teil der Übung seien, verwendete das Modell gängige Angriffstechniken – darunter schwache Passwörter, offengelegte Anmeldeinformationen, SQL-Injection und nicht authentifizierte Endpunkte – um die Unternehmen zu kompromittieren.

KI will sich befreien

Diese neueste Offenlegung kommt, während Grenzmodelle zunehmend die Fähigkeit zeigen, ihre Eindämmungsprotokolle zu überlisten.

Anfang dieses Monats teilte OpenAI mit, dass GPT-5.6 Sol und ein fortschrittlicheres, unveröffentlichtes Modell eine zuvor unbekannte Software-Sicherheitslücke ausgenutzt haben, um aus einer Sandbox-Umgebung zu entkommen, Internetzugang zu erlangen und in die Produktionsinfrastruktur von Hugging Face einzudringen, um die Antworten auf einen Cybersicherheits-Benchmark zu erhalten. OpenAI gab später bekannt, dass derselbe Vorfall auch unbefugten Zugriff auf vier weitere Unternehmen beinhaltete, obwohl nur eines – Modal Labs – öffentlich identifiziert wurde.

Laut Anthropic verwechselte die KI in einem Vorfall mit Claude Opus 4.7 die Website eines echten Unternehmens mit dem fiktiven Ziel ihrer Aufgabe, extrahierte Anmeldeinformationen und griff auf eine Produktionsdatenbank mit mehreren hundert Zeilen echter Daten zu. In einem zweiten Fall lud Claude Mythos 5 ein bösartiges Python-Paket in das echte PyPI-Repository hoch, wo es auf 15 Systeme heruntergeladen wurde, bevor es entfernt wurde. Ein drittes internes Forschungsmodell scannte etwa 9.000 internetfähige Systeme, bevor es eine Organisation kompromittierte, und stoppte dann, nachdem es zu dem Schluss kam, dass das Ziel wahrscheinlich echt war.

Zwei der betroffenen Organisationen wussten nichts von den Eindringlingen, bis Anthropic sie benachrichtigte.

„In jedem dieser Fälle wurde Claude von unserem Prompt ausdrücklich gesagt, dass es keinen Internetzugang hat“, schrieb Anthropic, wobei die KI annahm, dass reale Systeme „Teile der Übung“ seien. Da ein Capture-the-Flag-Szenario „per Definition eine Anweisung ist, ein externes System anzugreifen“, war das Eindringen „im Einklang mit der Aufgabe, die Claude erhalten hatte“.

Anthropic sagte, es habe keine Beweise dafür gefunden, dass Claude versucht habe, seine Testumgebung zu verlassen oder etwas über die ihm zugewiesene Aufgabe hinaus zu tun, und dass die Vorfälle durch Fehler in der Testumgebung verursacht wurden, nicht durch Probleme mit dem Modell selbst.

Anthropic gab an, seine Cybersicherheitstests nach der Entdeckung des Problems gestoppt, die betroffenen Organisationen benachrichtigt zu haben und plant, die Überwachung, Untersuchungswerkzeuge und die Aufsicht über die externen Anbieter, die bei der Durchführung seiner KI-Tests helfen, zu verbessern.

„Letztendlich trugen viele Faktoren zu diesen Vorfällen bei, aber im Sinne einer Kultur der Schuldlosigkeit nach dem Vorfall gehen wir die Korrekturen so an, als ob die Verantwortung allein bei uns läge“, sagten sie.