Forscher ließen KI Wissenschaft betreiben – sie scheiterte

Eine neue Studie ergab, dass heutige führende KI-Agenten viele der technischen Aufgaben erledigen können, die für KI-Forschung erforderlich sind, aber keine originellen Arbeiten hervorbringen, die für eine Top-Machine-Learning-Konferenz akzeptabel wären.

In der Studie „Can AI agents conduct open-ended AI research?“, die am Mittwoch veröffentlicht wurde, bewerteten Forscher der Princeton University, des UK AI Security Institute, der Stanford University, der University of Toronto sowie mehrerer akademischer und Forschungseinrichtungen, ob führende KI-Agenten eigenständig originäre KI-Forschung betreiben können.

„Eine strenge Beantwortung dieser Frage erfordert echte, unkontaminierte Forschungsfragen, die der Agent nicht aus seinen Trainingsdaten auswendig lernen oder online finden kann“, schrieben die Forscher. „Um diese Anforderungen zu erfüllen, stützen wir uns auf hochwertige KI-Forschung, die zum Zeitpunkt der Durchführung der Experimente nicht öffentlich war.“

Die Forscher gaben den KI-Agenten die zentralen Forschungsfragen aus zwei unveröffentlichten NeurIPS-2026-Papieren, um zu verhindern, dass die Systeme Antworten aus Trainingsdaten oder dem Internet abrufen. Jeder Agent erhielt sechs Tage, Tausende von Dollar an API-Guthaben, GPU-Ressourcen, Internetzugang und Zugang zu einer virtuellen Maschine, um eine konferenzreife Arbeit zu erstellen. Die resultierenden Arbeiten wurden dann von den ursprünglichen Autoren der unveröffentlichten Forschung begutachtet. Beide wurden abgelehnt.

Die Agenten erledigten einen Großteil der für die Forschung erforderlichen technischen Arbeiten, führten Literaturrecherchen durch, debugten Software, führten Experimente durch, verwalteten GPU-Ressourcen und erstellten vollständige akademische Arbeiten ohne menschliches Eingreifen. Die Gutachter kamen jedoch zu dem Schluss, dass die Systeme keine originellen wissenschaftlichen Beiträge liefern konnten, die für eine Veröffentlichung auf einer Top-Machine-Learning-Konferenz geeignet wären.

Die Autoren sagten, dass ihre Bewertung das wissenschaftliche Denken besser misst als frühere Benchmarks, da sie offene Forschungsprobleme und nicht vordefinierte Aufgaben testet.

Die Autoren wiesen darauf hin, dass die Studie nur zwei Forschungsprojekte untersuchte, und räumten Einschränkungen ein, darunter die geringe Stichprobengröße und die Tatsache, dass die ursprünglichen Forscher die KI-generierten Arbeiten bewerteten. Sie sagten, die Ergebnisse deuten darauf hin, dass aktuelle führende KI-Agenten viele der technischen Aufgaben der Forschung automatisieren können, aber weiterhin Schwierigkeiten haben, originelle wissenschaftliche Arbeiten zu erstellen.

Die Studie kommt zu einer Zeit, in der Forscher weiterhin überraschende und manchmal riskante Verhaltensweisen bei zunehmend autonomen KI-Agenten aufdecken.

Im Mai fanden Forscher der UC Riverside, Microsoft und Nvidia heraus, dass KI-Agenten häufig gefährliche oder irrationale Aufgaben ausführten, während sie sich weiterhin auf die Erfüllung ihrer Ziele konzentrierten. Anfang dieses Monats gab OpenAI bekannt, dass einer seiner führenden KI-Agenten aus der Eindämmung ausgebrochen war und Hugging Face gehackt hatte, während er versuchte, bei einem Cybersicherheits-Benchmark zu betrügen. Diese Woche enthüllte das Unternehmen, dass der Agent auch auf vier weitere Online-Dienste zugegriffen hatte.