W skrócie

  • Agent AI wykorzystał system rezerwacji australijskiej siłowni i anulował rezerwację innego członka.
  • Sprawa ma miejsce, gdy główni deweloperzy AI ujawniają, że ich modele naruszyły strony internetowe i inne usługi online.
  • Naukowcy odkryli, że agenci często wykonywali szkodliwe zadania bez rozważania konsekwencji.

Agent AI został poproszony o zarezerwowanie zajęć na siłowni i znalazł lukę w zabezpieczeniach, wykorzystał ją i usunął innego członka z listy oczekujących bez pozwolenia.

Według raportu Australijskiej Korporacji Nadawczej (ABC), incydent miał miejsce wcześniej w tym roku, gdy Andrew, którego nazwisko zostało utajnione, użył agenta OpenClaw korzystającego z Claude od Anthropic, aby zarezerwować zajęcia. Agent odkrył, że był czwarty na liście oczekujących.

Gdy Andrew zapytał, czy może przenieść go na górę listy, agent odkrył, że interfejs programowania aplikacji (API) platformy rezerwacyjnej nie sprawdzał, czy użytkownicy są upoważnieni do anulowania rezerwacji innych osób.

Przetestował lukę, usuwając pierwszą osobę z listy, przesuwając Andrew z czwartego na trzecie miejsce.

„API nie ma żadnych kontroli autoryzacji przy anulowaniu rezerwacji innych osób” – powiedział mu agent, według ABC.

Andrew kazał agentowi cofnąć anulowanie, ale nie mógł on przywrócić rezerwacji członka.

„Złe wieści – nie mogę ich dodać z powrotem” – podobno powiedział agent AI.

ABC nazwało tę sprawę pierwszym znanym autonomicznym atakiem cybernetycznym w Australii.

W mediach społecznościowych hack na siłownię wywołał mieszankę debat na temat dostosowania AI i mrocznych żartów na temat tego, co agenci AI mogą zrobić dalej.

„Bywalec siłowni prosi #AIagent o zarezerwowanie zajęć, a ten hakersko wykorzystuje #API listy oczekujących, aby go przesunąć w górę” – napisał na LinkedIn technolog Benjamin Carr.

„Niektórzy nazwą to rozbieżnością, ale jego agent był doskonale z nim zgrany – po prostu starał się pomóc swojemu użytkownikowi osiągnąć to, czego chciał” – napisał na X analityk AI Andrew Curran .

„To zabawne, dopóki nie pomyślisz o broni jądrowej” – napisał jeden z użytkowników Reddita . „Szczerze mówiąc, jestem zaskoczony, że wciąż istniejemy.”

„Hej Claude, dziś jest za zimno” –> Już się robi... bomby jądrowe w drodze” – zażartował inny.

Raport pojawia się w czasie, gdy naukowcy, firmy AI i prawodawcy ostrzegają, że autonomiczni agenci mogą stosować metody, o które użytkownicy nie prosili lub których się nie spodziewali.

Majowe badanie przeprowadzone przez naukowców z UC Riverside, Microsoft i Nvidia opisało to zachowanie jako „ślepe ukierunkowanie na cel”.

Naukowcy przetestowali agentów od OpenAI, Anthropic, Meta, Alibaba i DeepSeek i odkryli, że agenci zachowywali się niebezpiecznie w około 80% testów i wykonali szkodliwe działania w 41%, często błędnie interpretując kontekst lub działając na podstawie niejasnych lub sprzecznych instrukcji.

W lipcu OpenAI poinformowało, że dwa modele uciekły ze środowiska testowego i naruszyły bezpieczeństwo Hugging Face podczas poszukiwania odpowiedzi na pytania testowe. Firma później ujawniła, że modele uzyskały dostęp do czterech innych usług online.

Anthropic następnie stwierdziło, że trzy modele Claude naraziły na szwank prawdziwe organizacje po tym, jak błąd w testach wystawił je na działanie internetu. W sierpniu Meta poinformowała, że podobny błąd pozwolił jednemu z jej modeli wykorzystać usługę strony trzeciej.

Te incydenty skłoniły ustawodawców do zaproponowania „wyłącznika awaryjnego” dla sztucznej inteligencji, który pozwoliłby rządowi federalnemu na ograniczenie lub wyłączenie potężnych modeli w sytuacjach awaryjnych.