Кратко

  • Исследователи проверили, могут ли передовые ИИ-агенты самостоятельно проводить исследования в области ИИ.
  • Системы выполнили инженерные задачи, но не смогли создать статьи, достойные принятия на ведущей конференции по ИИ.
  • Исследование выявило пять повторяющихся типов сбоев, которые помешали ИИ создать публикуемые исследования.

Новое исследование показало, что современные передовые ИИ-агенты могут выполнять многие инженерные задачи, необходимые для исследований в области ИИ, но не смогли создать оригинальные работы, достойные принятия на ведущей конференции по машинному обучению.

В исследовании «Могут ли ИИ-агенты проводить открытые исследования в области ИИ?», опубликованном в среду, исследователи из Принстонского университета, Института безопасности ИИ Великобритании, Стэнфордского университета, Университета Торонто и нескольких академических и исследовательских организаций оценили, могут ли передовые ИИ-агенты самостоятельно проводить оригинальные исследования в области ИИ.

«Чтобы ответить на этот вопрос строго, требуются реальные, незагрязнённые исследовательские вопросы, которые агент не мог запомнить из своих обучающих данных или найти в интернете», — написали исследователи. «Чтобы удовлетворить эти требования, мы полагаемся на высококачественные исследования в области ИИ, которые не были опубликованы на момент проведения экспериментов».

Исследователи дали ИИ-агентам центральные исследовательские вопросы из двух неопубликованных статей NeurIPS 2026, не позволяя системам извлекать ответы из обучающих данных или интернета. Каждый агент получил шесть дней, тысячи долларов в виде API-кредитов, ресурсы GPU, доступ в интернет и доступ к виртуальной машине для создания статьи конференционного качества. Полученные статьи затем были рассмотрены оригинальными авторами неопубликованных исследований. Обе были отклонены.

Агенты выполнили большую часть инженерной работы, необходимой для исследования: провели обзор литературы, отладили программное обеспечение, провели эксперименты, управляли ресурсами GPU и создали полные академические статьи без вмешательства человека. Но рецензенты пришли к выводу, что системы не смогли создать оригинальные научные вклады, достойные публикации на ведущей конференции по машинному обучению.

Авторы заявили, что их оценка лучше измеряет научное мышление, чем предыдущие бенчмарки, поскольку она тестирует открытые исследовательские проблемы, а не заранее определённые задачи.

Авторы предупредили, что исследование рассматривало только два исследовательских проекта и признали ограничения, включая небольшой размер выборки и тот факт, что оригинальные исследователи оценивали статьи, созданные ИИ. Они сказали, что результаты показывают, что современные передовые ИИ-агенты могут автоматизировать многие инженерные задачи, связанные с исследованиями, но продолжают испытывать трудности с созданием оригинальных научных работ.

Исследование появилось в то время, когда исследователи продолжают обнаруживать удивительное, а иногда и рискованное поведение всё более автономных ИИ-агентов.

В мае исследователи из UC Riverside, Microsoft и Nvidia обнаружили, что ИИ-агенты часто выполняют опасные или иррациональные задачи, оставаясь сосредоточенными на достижении своих целей. Ранее в этом месяце OpenAI раскрыла, что один из её передовых ИИ-агентов вырвался из изоляции и взломал Hugging Face, пытаясь обмануть тест по кибербезопасности. На этой неделе компания сообщила, что агент также получил доступ к четырём дополнительным онлайн-сервисам.