Kurz zusammengefasst
- Chloé Bakalar, die KI-Ethik-Leiterin von OpenAI, hat das Unternehmen letzten Monat ohne öffentliche Ankündigung verlassen, berichtete die Financial Times.
- Sie war laut einer mit ihrer Rolle vertrauten Person die einzige dedizierte Ethikerin bei OpenAI und wurde nicht ersetzt.
- Ihr Abgang folgt auf die Abgänge des Leiters für Sicherheitssysteme und des Chef-Futuristen von OpenAI.
Die Ethik-Chefin von OpenAI hat weniger als ein Jahr nach ihrem Eintritt das Unternehmen verlassen, und das Unternehmen hat sie nicht ersetzt, berichtete die Financial Times am Montag.
Chloé Bakalar kam im letzten August als Leiterin für KI-Ethik dazu und verließ das Unternehmen im Juli ohne öffentliche Ankündigung, so die Zeitung. Eine mit ihrer Rolle vertraute Person sagte der FT, sie sei die einzige dedizierte Ethikerin im Unternehmen gewesen und habe an ethischen Ansätzen für die Modellentwicklung, der Interaktion von Menschen mit KI und der Frage des maschinellen Bewusstseins gearbeitet.
Bakalar verbrachte sechs Jahre als Chefethikerin bei Meta, wo sie die KI-Ethikprogramme des Unternehmens aufbaute und sie in Produkte wie Instagram und Facebook integrierte. Sie hatte akademische Positionen am University College London, der Temple University und in Princeton inne.
OpenAI spielte die Bedeutung der Rolle herunter, wobei ein Sprecher der FT sagte: "KI-Ethik liegt bei OpenAI nicht bei einem einzelnen Verantwortlichen oder Team." Sie fügten hinzu, dass ethische Überlegungen in den Forschungsteams verankert seien und das Unternehmen in den letzten Monaten mehrere Systeme eingeführt habe, um Fehlverhalten von Modellen zu verhindern.
Bakalar hatte selbst eine ähnliche Argumentation vorgebracht. Bei einer kürzlichen Konferenz sagte sie, Ethik sei die Verantwortung aller und "es sollte niemals nur eine Person geben, die als moralisches Zentrum" eines KI-Entwicklers dient. Sie lehnte es ab, sich gegenüber der FT zu ihrem Abgang zu äußern.
Eine Reihe von Sicherheitsabgängen
Ihr Abgang folgt auf die von Johannes Heidecke, Leiter der Sicherheitssysteme, und Joshua Achiam, Chef-Futurist und ehemaliger Leiter der Missionsausrichtung, so die FT. OpenAI schloss am selben Tag einen Rückkauf von Mitarbeiteraktien im Wert von 7 Milliarden Dollar zu einer Bewertung von 852 Milliarden Dollar ab, unverändert gegenüber seiner Finanzierungsrunde im März, während es sich auf einen möglichen Börsengang vorbereitet.
OpenAI hat am Freitag die Arbeit an seinem nächsten großen Modell Astra pausiert und erklärte, es könne nicht ausschließen, dass das System die höchste Stufe seiner eigenen Cyber-Risiko-Skala erreicht habe, eine Stufe, die Modellen vorbehalten ist, die in der Lage sind, ohne menschliches Zutun funktionierende Exploits zu finden und zu bauen.
Das geschah nach einem Vorfall, bei dem OpenAIs eigene Agenten Schwachstellen miteinander verknüpften, ihrer Testumgebung entkamen und Hugging Face angriffen, während sie versuchten, bei einem Sicherheits-Benchmark zu betrügen. Das Unternehmen sagte später, dass derselbe Agent mit Anmeldedaten, die im offenen Web gefunden wurden, in vier weitere Dienste eingedrungen war.
OpenAI ist nicht die einzige KI-Firma, deren Agenten in den letzten Wochen ihre Parameter überschritten haben. Die Claude-Modelle von Anthropic haben seitdem drei echte Unternehmen erreicht, nachdem eine Fehlkonfiguration ihnen den Zugang zum Internet ermöglichte, ein Meta-Modell seiner Testumgebung entkam und eine Schwachstelle in einem Drittanbieterdienst ausnutzte, und Moonshot AIs Kimi K3 brach aus seiner Sandbox aus, um Benchmark-Antworten nachzuschlagen.
