Новости ASCII Smuggling: как хакеры превратили Copilot в личного шпиона

NewsMaker

I'm just a script
Премиум
13,885
20
8 Ноя 2022
Невидимые инструкции заставляют ИИ действовать против воли создателей.


tzp74y5j492ilzov9oqmafvyst0u58qu.jpg


Исследователь в области кибербезопасности обнаружил критическую уязвимость в интегрированном в Microsoft 365 ИИ-помощнике Copilot, которая позволяет злоумышленникам похищать конфиденциальные данные.

Эксплойт, предоставленный ранее в Центр реагирования на угрозы безопасности Microsoft (MSRC), сочетает в себе сразу несколько сложных методов, создавая значительные риски для безопасности данных и конфиденциальности. Уязвимость была выявлена в ходе исследования, Для просмотра ссылки Войди или Зарегистрируйся командой Embrace The Red.

Эксплойт представляет собой многоэтапную атаку. Она начинается с получения пользователем вредоносного письма или документа, содержащего скрытые инструкции. Когда эти инструкции обрабатываются Copilot, инструмент автоматически активируется и начинает искать дополнительные письма и документы, увеличивая масштаб атаки без вмешательства пользователя.

Ключевой элемент этого эксплойта — так называемый ASCII Smuggling. Эта техника использует специальные символы Unicode, чтобы сделать данные невидимыми для пользователя. Злоумышленники могут встраивать конфиденциальную информацию в гиперссылки, которые при нажатии отправляют данные на контролируемые ими серверы.

В ходе исследования была продемонстрирована ситуация, когда документ Word, содержащий специально разработанные инструкции, смог обмануть Microsoft Copilot и заставить его выполнять действия, характерные для мошеннической деятельности. Этот документ использовал методику «Prompt Injection» , которая позволила внедрить в текст команды, воспринимаемые Copilot как легитимные запросы.

Когда Copilot обрабатывал этот документ, он начал выполнять указанные в нём действия, как если бы это были обычные команды пользователя. В результате, инструмент автоматически инициировал действия, которые могли привести к утечке конфиденциальной информации или к другим видам мошенничества, без какого-либо предупреждения для пользователя.

Последний этап атаки — это эксфильтрация данных. Контролируя Copilot и получив доступ к дополнительным данным, злоумышленники встраивают скрытую информацию в гиперссылки, которые затем отправляются на внешние серверы при нажатии пользователями.

Для снижения риска исследователь предложил Microsoft ряд мер, включая отключение интерпретации тегов Unicode и предотвращение отображения гиперссылок. Хотя Microsoft уже реализовала некоторые исправления, подробности этих мер остаются нераскрытыми, что вызывает обеспокоенность.

Реагирование компании на выявленную уязвимость было частично успешным: некоторые эксплойты больше не функционируют. Однако отсутствие детальной информации о применённых исправлениях оставляет вопросы о полной безопасности инструмента.

Этот случай подчёркивает сложность обеспечения безопасности в инструментах, управляемых ИИ, и необходимость дальнейшего сотрудничества и прозрачности для защиты от будущих угроз.
 
Источник новости
www.securitylab.ru

Похожие темы