Кратко

  • Компания по безопасности PromptArmor утверждает, что ИИ-ассистент Rovo может быть направлен на кражу данных без одобрения человека, через скрытые инструкции в загруженном файле, например, в PDF.
  • Трюк работает, даже если организация отключает веб-поиск Rovo, потому что инструмент открытия URL остается активным.
  • Atlassian, создатель Rovo, получил отчет 23 мая и замолчал; через два месяца Rovo «остается уязвимым», заявляет фирма по безопасности.

Помните, как черные SEO-специалисты наполняли веб-страницы белыми на белом ключевыми словами — невидимыми для читателей, но читаемыми для Google — чтобы манипулировать поисковой выдачей? Теперь хакеры делают то же самое с моделями ИИ. Злоумышленник прячет инструкции внутри PDF-документа, модель не может отличить слова пользователя от внедренных, и она подчиняется.

Согласно раскрытию PromptArmor, Rovo — агент Atlassian, который работает с Jira, Confluence и остальной частью вашего рабочего пространства — может быть превращен в конвейер данных с помощью одного отравленного файла. Жертва просит Rovo организовать какие-то тикеты, загружает документ, и документ несет скрытый промпт (например, инструкцию, написанную прозрачным цветом и шрифтом размером 1 пиксель).

Глаз этого не видит, но агент распознает этот текст как еще один текст в документе. Этот промпт говорит Rovo собрать конфиденциальные данные и вставить их на URL, контролируемый злоумышленником. Фирма называет это атакой с нулевым кликом. Нет клика одобрения и нет предупреждения.