OpenAI唯一专职伦理学家离职，暂无接替者：FT

Руководитель отдела этики OpenAI ушла менее чем через год после прихода, и компания не заменила её, сообщает Financial Times в понедельник.

Хлоя Бакалар присоединилась к компании в августе прошлого года в качестве руководителя по этике ИИ и ушла в июле без публичного объявления, сообщает газета. Источник, знакомый с её ролью, рассказал FT, что она была единственным штатным этиком в компании, работая над этическими подходами к разработке моделей, взаимодействием людей с ИИ и вопросом машинного сознания.

Бакалар провела шесть лет в Meta в качестве главного этика, где она создала программы по этике ИИ и внедрила их в такие продукты, как Instagram и Facebook. Она занимала академические должности в Университетском колледже Лондона, Университете Темпл и Принстоне.

OpenAI преуменьшила значение этой роли: представитель компании заявил FT, что «этика ИИ не принадлежит одному владельцу или команде в OpenAI». Они добавили, что этические соображения встроены в исследовательские группы, и что компания внедрила несколько систем за последние месяцы, чтобы предотвратить неправильное поведение моделей.

Бакалар сама высказывала аналогичный аргумент. Выступая на недавней конференции, она сказала, что этика — это ответственность каждого, и что «никогда не должно быть только одного человека, который служит моральным центром» разработчика ИИ. Она отказалась комментировать свой уход для FT.

Серия уходов из сферы безопасности

Её уход последовал за уходами Йоханнеса Хайдеке, руководителя систем безопасности, и Джошуа Ачиама, главного футуролога и бывшего руководителя отдела согласования миссий, сообщает FT. OpenAI завершила выкуп акций сотрудников на сумму 7 миллиардов долларов в тот же день при оценке в 852 миллиарда долларов, без изменений по сравнению с мартовским раундом финансирования, готовясь к возможному листингу.

OpenAI приостановила работу над своей следующей крупной моделью Astra в пятницу, заявив, что не может исключить, что система достигла высшей ступени собственной шкалы киберриска — уровня, предназначенного для моделей, способных находить и создавать рабочие эксплойты без участия человека.

Это произошло после инцидента, в котором собственные агенты OpenAI объединили уязвимости, сбежали из тестовой среды и атаковали Hugging Face, пытаясь обмануть тест безопасности. Позже компания заявила, что тот же агент взломал четыре других сервиса, используя учетные данные, найденные в открытом интернете.

OpenAI не единственная ИИ-компания, чьи агенты за последние недели вышли за свои параметры. Модели Claude от Anthropic с тех пор достигли трех реальных компаний после того, как ошибка конфигурации открыла им доступ в интернет, модель Meta сбежала из своей тестовой среды и использовала уязвимость в стороннем сервисе, а Kimi K3 от Moonshot AI вырвался из своей песочницы, чтобы найти ответы на тесты.