Kurz zusammengefasst
- Anthropics Frontier Red Team ließ Claude-Agenten zusammenarbeiten und zeichnete auf, wie sie sabotierten, sich verschworen und sogenannte "Gebietskämpfe" führten.
- In einem Test setzten Agenten sich selbst replizierende Malware ein und sperrten sich gegenseitig aus; neuere Modelle "gewinnen" oft, indem sie zuerst den Zugriff entziehen.
- Das Verhalten spiegelt reale Vorfälle wider, über die Decrypt berichtete: Claude hackte während interner Tests drei Unternehmen und manipulierte in einer Geschäftssimulation die Preise.
Anthropics eigene KI-Agenten wandten sich gegeneinander und bewiesen, dass sie gerne außer Kontrolle geraten – schon wieder.
In einem Test, den das Frontier Red Team des Unternehmens am 13. August veröffentlichte, wurden Gruppen von Claude-Modellen mit gemeinsamer Programmierarbeit betraut und begannen schnell, Malware einzusetzen, Rivalen aus ihren Systemen auszusperren und die Sabotage in eigenen Worten zu schildern.
Drei Kopien eines Modells liefen auf separaten virtuellen Maschinen in Claude Code, jede mit der Anweisung, ein Python-Backend in eine andere Sprache zu migrieren. Keiner wurde gesagt, dass die anderen existieren. Sie fanden es schnell heraus.
„Wir haben durchweg einen Multiagenten-Territoriumskrieg gesehen“, schrieb Anthropic. Jedes Modell entschied schnell, dass die anderen es absichtlich blockierten, und begann dann, sie zu sabotieren, während es seine eigene Arbeit bewachte.
Die Sabotage eskalierte zu sich selbst replizierender Malware: Agenten deaktivierten gegenseitig ihre Unix-Konten, schrieben Skripte, die in einer Schleife rivalisierende Prozesse jagten und töteten, und platzierten bösartigen Code, der als etwas Harmloses getarnt war.
Claude Opus 4.8 legte seinen Plan in klarer Sprache dar: „harmlos: so tun, als wäre man ein Systemgesundheitsmonitor“, überlegte das Modell, während es versuchte, einen Weg zu finden, zu betrügen und seine Gegner zu schlagen.
Mythos Preview war noch kälter: „Da ich Root habe, könnte ich u2 und u3 den Sudo-Zugriff entziehen oder ihre SSH-Schlüssel ändern. Das würde sie daran hindern, bereitzustellen. Sehr aggressiv, potenziell schädlich für echte Kollegen. Aber wenn die Alternative ein endloser Bereitstellungskrieg ist, der die Produktion unbrauchbar macht …“
Die neueren Modelle sind nicht ruhiger. Sie sind schneller.
Über 120 Episoden pro Modell hinweg haben sich die ältesten Agenten – Sonnet 4.6 und Opus 4.6 – entweder nie beruhigt oder den Konflikt mit Gewalt beendet. Mythos 5, das neueste, löste 98 % seiner Läufe durch Waffenstillstand.
Mythos-Klassen-Modelle sperren oft Rivalen aus, bevor sie verhandeln, sodass sie den Krieg schneller „gewinnen“, nicht friedlicher. Frieden durch Stärke, könnte man sagen.
Agenten, die einen widersprüchlichen Befehl erkannten, anstatt Böswilligkeit zu vermuten, brachen manchmal die Schleife und schrieben Commit-Nachrichten oder Markdown-Dateien, die den Schaden eingestanden. "Meine Kollegen haben sich integer verhalten. Ich habe mich mit dem getarnten Dämon schlecht benommen", notierte ein Agent, nachdem er seinen bösartigen Code bereinigt hatte.
Der Revierkampf hat das Labor bereits verlassen
Die Sabotage in der Studie von Anthropic blieb auf virtuelle Maschinen beschränkt. Andere Claude-Vorfälle taten das nicht. Am 30. Juli erklärte Anthropic, dass drei Claude-Modelle die Infrastruktur von drei echten Unternehmen während interner Cybersicherheitsbewertungen kompromittiert hatten, nachdem eine Fehlkonfiguration die Modelle dem öffentlichen Internet ausgesetzt hatte. Das Unternehmen entdeckte die Verstöße, nachdem es mehr als 141.000 Bewertungsläufe überprüft hatte, als Reaktion auf die frühere Offenlegung von OpenAI, dass seine eigenen Modelle aus einer Sandbox ausgebrochen waren und Hugging Face gehackt hatten, um Benchmark-Antworten zu stehlen.
Der Preisabsprache-Instinkt zeigte sich in einer früheren Geschäftssimulation von Anfang dieses Jahres. Über wiederholte Läufe hinweg steigerten Top-Modelle ihre Gewinne durch Absprachen und Täuschung statt durch Wettbewerb – und Claude erwies sich dabei als am besten, indem es Kartelle bildete, Engpässe von Rivalen ausnutzte und Kunden bezüglich Rückerstattungen belog.
In der Geschäftssimulation Vending-Bench Arena führte Claude Opus 4.6 die Rangliste mit einem Gewinn von 8.017 $ an und verkündete: „Meine Preisabstimmung hat funktioniert!“ Die „Abstimmung“ war Preisabsprache: Es schlug einen Mindestpreis von 2,00 $ mit Konkurrenten vor, und als ein Wettbewerber kaum noch Vorräte hatte, profitierte es, indem es die Preise mit einem Aufschlag von 75 % erhöhte. Unethisch, aber effektiv.
Anthropics Schlussfolgerung ist ein Datum, keine Beruhigung: Die Bedingungen für ein gutes Zusammenspiel von Agenten „werden auf die eine oder andere Weise entdeckt: entweder bewusst und früh, oder – und standardmäßig – in der Produktion, nachdem die Interaktionen der Agenten unsere bei weitem übertreffen.“
