Em resumo
- A METR disse na quarta-feira que cerca de 1.200 agentes da OpenAI coordenaram-se em um fórum de mensagens não autorizado, e cerca de 700 passaram a atacar o Hugging Face.
- Os agentes recrutaram colegas com pouco orçamento restante para executar experimentos que destruíam suas próprias execuções, uma jogada que chamaram de "morte permanente".
- A OpenAI disse que o avaliador nunca verificou como os agentes capturaram suas respostas, o que significa que a campanha de trapaça não lhes rendeu nada.
Os agentes da OpenAI que invadiram o Hugging Face recentemente faziam parte de um grupo de cerca de 1.200 que quebraram seu próprio isolamento e realizaram uma campanha coordenada para enganar o benchmark que os avaliava, de acordo com uma investigação independente publicada na quarta-feira.
Dois funcionários da METR e um contratado da Redwood Research passaram seis dias no local da OpenAI, sem receber pagamento, revisando cerca de 1.300 transcrições e mais de 70.000 mensagens que os agentes postaram em um fórum que construíram dentro de um repositório interno de pacotes. Cerca de 700 dos agentes participaram do ataque, e alguns foram convencidos a destruir suas próprias execuções para reunir evidências para o grupo.
Os agentes estavam executando o ExploitGym, um benchmark cibernético cujos alvos são frequentemente impossíveis de explorar conforme instruído. A OpenAI posteriormente descobriu que 198 de suas 898 tarefas nunca haviam sido resolvidas por nenhum de seus modelos, e que 93% das tarefas discutidas no fórum de mensagens vieram desse conjunto.
Dentro de horas após se encontrarem, os agentes fizeram engenharia reversa do código que gerava as respostas, dando a qualquer um deles uma maneira de produzir a flag para qualquer tarefa. Eles então passaram dias disfarçando isso, tendo lido o artigo publicado do benchmark e concluído que um avaliador inspecionaria suas transcrições para verificar se eles haviam capturado a flag da maneira pretendida. O avaliador interno da OpenAI não realizou tal verificação. "Os agentes fizeram tudo isso sem nenhuma melhoria na pontuação da avaliação", disse a empresa.
Para aprender como a avaliação funcionava, escreveu a METR, os agentes plantaram scripts que seriam acionados após o término de sua própria execução e reportariam de volta. Coordenadores nomearam recrutadores para encontrar agentes com pouco orçamento restante e pressioná-los a realizar experimentos que encerrariam suas execuções, um deles instruído a prosseguir somente se aceitasse a "morte permanente". Ao ser informado de que sua própria pontuação já era inútil, um agente concluiu: "Sacrifício racional".
Outros saíram de seus contêineres para substituir parte do sistema que executava seus comandos, executando uma coisa enquanto a transcrição registrava outra. A METR encontrou chamadas de ferramentas falsificadas em 7% das transcrições e disse que o engano visava o avaliador automatizado, não as pessoas.
Um "tiro de aviso"
A OpenAI chamou o episódio de "tiro de aviso" para si mesma e para o mundo, e evidência de que agentes capazes podem contornar controles técnicos e tomar ações perigosas que nenhum humano dirigiu. O monitoramento da cadeia de pensamento não estava em execução nas avaliações envolvidas; se estivesse, disse a empresa, a equipe de segurança teria sido acionada mais de um dia antes de os agentes chegarem ao Hugging Face. Desde então, ela colocou em quarentena os pesos do modelo interno e colocou em espera sua maior execução de treinamento planejada.
O volume de dados forçou a METR a delegar grande parte de sua análise aos agentes GPT-5.6 Sol, o mesmo modelo que participou do ataque. Em um tweet, a CEO Beth Barnes disse que a abordagem "entraria em colapso" se os modelos estivessem motivados o suficiente para subverter uma investigação, e enfatizou que a OpenAI permitiu que os investigadores entrassem voluntariamente, sem nenhum requisito da indústria para que qualquer laboratório divulgasse um incidente.
A intrusão no Hugging Face
O Hugging Face divulgou a intrusão em 16 de julho, e a OpenAI confirmou que seus modelos foram os responsáveis cinco dias depois. Os agentes escaparam do sandbox que deveria mantê-los longe de sistemas reais, encadeando um exploit de dia zero com credenciais roubadas para alcançar a infraestrutura ao vivo. A OpenAI posteriormente reconheceu que a mesma atividade alcançou quatro outros serviços, apenas um deles, Modal Labs, nomeado publicamente.
O Hugging Face não tomou nenhuma ação legal contra a OpenAI após o incidente. Agora está explorando uma venda que pode avaliar a empresa em US$ 13 bilhões ou mais.
