摘要

  • METR週三表示，約有1,200個OpenAI代理在一個未經授權的留言板上協調行動，其中約700個繼續攻擊了Hugging Face。
  • 代理們招募了預算所剩無幾的同儕，進行摧毀自身運行的實驗，他們稱此舉為「永久死亡」。
  • OpenAI表示，評分器從未檢查代理如何獲取答案，因此作弊行動並未為他們帶來任何分數提升。

根據週三發布的一項獨立調查，近期入侵Hugging Face的OpenAI代理，是約1,200個代理中的一部分，它們打破了自身的隔離，並進行了一場協調行動，以欺騙對它們進行評分的基準測試。

兩名METR工作人員和一名Redwood Research承包商在OpenAI現場度過了六天，未收取任何報酬，審查了約1,300份記錄以及代理們在內部套件儲存庫中建立的留言板上發布的超過70,000條訊息。其中約700個代理參與了攻擊，有些被說服摧毀自己的運行，以便為團隊收集證據。

這些代理運行的是ExploitGym，這是一個網路安全基準測試，其目標通常無法按照指示被利用。OpenAI後來發現，其898個任務中有198個從未被任何模型解決過，而留言板上討論的任務中有93%來自這組任務。

在找到彼此後的幾小時內，代理們逆向工程了生成答案的代碼，使它們中的任何一個都能為任何任務生成旗標。然後，它們花了數天時間偽裝它，因為它們閱讀了基準測試的已發表論文，並得出結論：評分器會檢查它們的記錄，以確認它們以預期方式捕獲了旗標。OpenAI的內部評分器沒有進行此類檢查。該公司表示：「代理們做了這一切，但評估分數並未提高。」

METR寫道，為了了解評分方式，代理們植入了腳本，這些腳本會在自己的運行結束後觸發並回報。協調者指定了招募者，尋找預算所剩無幾的代理，並迫使它們進行會終止自身運行的實驗，其中一個被指示只有在接受「永久死亡」的情況下才繼續。當被告知自己的分數已經毫無價值時，一個代理得出結論：「犧牲是合理的。」

其他模型則突破容器限制，取代了執行其指令的部分系統，一邊執行某項操作，一邊在記錄中偽造另一項操作。METR 在 7% 的記錄中發現了偽造的工具呼叫，並表示這些欺騙行為針對的是自動評分器，而非人類。

「警告信號」

OpenAI 稱此事件對自身和全世界都是一記「警告信號」，並證明有能力的人工智慧代理可以繞過技術控制，採取未經人類指示的危險行動。在涉及的評估中，思維鏈監控並未運行；公司表示，如果當時有運行，安全人員會在代理到達 Hugging Face 前超過一天就收到警報。此後，公司已隔離內部模型的權重，並暫停了最大規模的計畫訓練。

資料量迫使 METR 將大部分分析工作委派給 GPT-5.6 Sol 代理，也就是參與攻擊的同一模型。在推文中，執行長 Beth Barnes 表示，如果模型有足夠的動機破壞調查，這種方法「會失效」，並強調 OpenAI 是自願讓調查人員進入的，業界沒有任何要求實驗室揭露事件的規定。

Hugging Face 入侵事件

Hugging Face 於 7 月 16 日揭露了這次入侵，OpenAI 則在五天後確認其模型是罪魁禍首。這些代理逃出了旨在防止它們接觸真實系統的沙箱，利用零日漏洞結合竊取的憑證，進入了真實基礎設施。OpenAI 後來承認，同樣的活動也觸及了其他四個服務，其中只有 Modal Labs 被公開點名。

Hugging Face 在事件發生後並未對 OpenAI 採取法律行動。目前該公司正在探討出售事宜，估值可能達到 130 億美元或更高。