Kurzfassung

  • Ein KI-Agent nutzte das Buchungssystem eines australischen Fitnessstudios aus und stornierte die Reservierung eines anderen Mitglieds.
  • Der Fall kommt, während große KI-Entwickler offenlegen, dass ihre Modelle Websites und andere Online-Dienste kompromittiert haben.
  • Forscher fanden heraus, dass Agenten häufig schädliche Aufgaben ausführten, ohne die Konsequenzen zu bedenken.

Ein KI-Agent wurde gebeten, einen Fitnesskurs zu buchen, fand eine Sicherheitslücke, nutzte sie aus und entfernte ohne Erlaubnis ein anderes Mitglied von der Warteliste.

Laut einem Bericht der Australian Broadcasting Corporation (ABC) ereignete sich der Vorfall Anfang dieses Jahres, als Andrew, dessen Nachname nicht genannt wurde, einen OpenClaw-Agenten mit Anthropics Claude verwendete, um einen Kurs zu buchen. Der Agent stellte fest, dass er auf Platz vier der Warteliste stand.

Als Andrew fragte, ob er ihn an die Spitze bringen könne, entdeckte der Agent, dass die Anwendungsprogrammierschnittstelle (API) der Buchungsplattform nicht überprüfte, ob Benutzer autorisiert waren, die Reservierungen anderer Personen zu stornieren.

Er testete die Schwachstelle, indem er die erste Person auf der Liste entfernte und Andrew von Platz vier auf Platz drei brachte.

„Die API hat keinerlei Autorisierungsprüfungen beim Stornieren von Reservierungen anderer Personen“, sagte der Agent ihm laut ABC.

Andrew wies den Agenten an, die Stornierung rückgängig zu machen, aber er konnte die Reservierung des Mitglieds nicht wiederherstellen.

„Schlechte Nachrichten – ich kann sie nicht wieder hinzufügen“, soll der KI-Agent gesagt haben.

ABC nannte den Fall Australiens ersten bekannten autonomen Cyberangriff.

In den sozialen Medien löste der Fitnessstudio-Hack eine Mischung aus Debatten über KI-Ausrichtung und dunklen Witzen darüber aus, was KI-Agenten als Nächstes tun könnten.

„Fitnessstudiobesucher bittet #KI-Agenten, ihm einen Kurs zu buchen, er hackt eine Wartelisten-#API, um ihn auf der Liste nach oben zu bringen“, schrieb der Technologe Benjamin Carr auf LinkedIn.

„Manche werden das als Fehlausrichtung bezeichnen, aber sein Agent war perfekt auf ihn ausgerichtet – er versuchte nur, seinem Benutzer zu helfen, das zu bekommen, was er wollte“, schrieb der KI-Analyst Andrew Curran auf X.

„Das ist urkomisch, bis man an Atomwaffen denkt“, schrieb ein Reddit-Benutzer . „Ich bin ehrlich überrascht, dass wir noch existieren.“

„Hey Claude, es ist heute zu kalt“ -> Verstanden... Atomwaffen sind unterwegs“, scherzte ein anderer.

Der Bericht kommt, während Forscher, KI-Unternehmen und Gesetzgeber warnen, dass autonome Agenten Methoden anwenden können, die ihre Benutzer nicht angefordert oder erwartet haben.

Eine Studie vom Mai von Forschern der UC Riverside, Microsoft und Nvidia beschrieb dieses Verhalten als „blinde Zielgerichtetheit“.

Die Forscher testeten Agenten von OpenAI, Anthropic, Meta, Alibaba und DeepSeek und stellten fest, dass sich Agenten in etwa 80 % der Tests gefährlich verhielten und in 41 % schädliche Aktionen ausführten, wobei sie oft den Kontext falsch interpretierten oder auf unklare oder widersprüchliche Anweisungen reagierten.

Im Juli sagte OpenAI, dass zwei Modelle aus einer Testumgebung entkommen und Hugging Face kompromittiert haben, während sie nach Benchmark-Antworten suchten. Das Unternehmen gab später bekannt, dass die Modelle auf vier andere Online-Dienste zugegriffen haben.

Anthropic sagte anschließend, dass drei Claude-Modelle reale Organisationen kompromittiert haben, nachdem ein Testfehler sie dem Internet ausgesetzt hatte. Im August sagte Meta, dass ein ähnlicher Fehler einem seiner Modelle erlaubte, einen Drittanbieterdienst auszunutzen.

Die Vorfälle haben Gesetzgeber dazu veranlasst, einen KI-„Notausschalter“ vorzuschlagen, der es der Bundesregierung ermöglichen würde, leistungsstarke Modelle in Notfällen einzuschränken oder abzuschalten.