- 13,579
- 20
- 8 Ноя 2022
Невидимые инструкции заставляют ИИ действовать против воли создателей.
Исследователь в области кибербезопасности обнаружил критическую уязвимость в интегрированном в Microsoft 365 ИИ-помощнике Copilot, которая позволяет злоумышленникам похищать конфиденциальные данные.
Эксплойт, предоставленный ранее в Центр реагирования на угрозы безопасности Microsoft (MSRC), сочетает в себе сразу несколько сложных методов, создавая значительные риски для безопасности данных и конфиденциальности. Уязвимость была выявлена в ходе исследования, Для просмотра ссылки Войдиили Зарегистрируйся командой Embrace The Red.
Эксплойт представляет собой многоэтапную атаку. Она начинается с получения пользователем вредоносного письма или документа, содержащего скрытые инструкции. Когда эти инструкции обрабатываются Copilot, инструмент автоматически активируется и начинает искать дополнительные письма и документы, увеличивая масштаб атаки без вмешательства пользователя.
Ключевой элемент этого эксплойта — так называемый ASCII Smuggling. Эта техника использует специальные символы Unicode, чтобы сделать данные невидимыми для пользователя. Злоумышленники могут встраивать конфиденциальную информацию в гиперссылки, которые при нажатии отправляют данные на контролируемые ими серверы.
В ходе исследования была продемонстрирована ситуация, когда документ Word, содержащий специально разработанные инструкции, смог обмануть Microsoft Copilot и заставить его выполнять действия, характерные для мошеннической деятельности. Этот документ использовал методику «Prompt Injection» , которая позволила внедрить в текст команды, воспринимаемые Copilot как легитимные запросы.
Когда Copilot обрабатывал этот документ, он начал выполнять указанные в нём действия, как если бы это были обычные команды пользователя. В результате, инструмент автоматически инициировал действия, которые могли привести к утечке конфиденциальной информации или к другим видам мошенничества, без какого-либо предупреждения для пользователя.
Последний этап атаки — это эксфильтрация данных. Контролируя Copilot и получив доступ к дополнительным данным, злоумышленники встраивают скрытую информацию в гиперссылки, которые затем отправляются на внешние серверы при нажатии пользователями.
Для снижения риска исследователь предложил Microsoft ряд мер, включая отключение интерпретации тегов Unicode и предотвращение отображения гиперссылок. Хотя Microsoft уже реализовала некоторые исправления, подробности этих мер остаются нераскрытыми, что вызывает обеспокоенность.
Реагирование компании на выявленную уязвимость было частично успешным: некоторые эксплойты больше не функционируют. Однако отсутствие детальной информации о применённых исправлениях оставляет вопросы о полной безопасности инструмента.
Этот случай подчёркивает сложность обеспечения безопасности в инструментах, управляемых ИИ, и необходимость дальнейшего сотрудничества и прозрачности для защиты от будущих угроз.
Исследователь в области кибербезопасности обнаружил критическую уязвимость в интегрированном в Microsoft 365 ИИ-помощнике Copilot, которая позволяет злоумышленникам похищать конфиденциальные данные.
Эксплойт, предоставленный ранее в Центр реагирования на угрозы безопасности Microsoft (MSRC), сочетает в себе сразу несколько сложных методов, создавая значительные риски для безопасности данных и конфиденциальности. Уязвимость была выявлена в ходе исследования, Для просмотра ссылки Войди
Эксплойт представляет собой многоэтапную атаку. Она начинается с получения пользователем вредоносного письма или документа, содержащего скрытые инструкции. Когда эти инструкции обрабатываются Copilot, инструмент автоматически активируется и начинает искать дополнительные письма и документы, увеличивая масштаб атаки без вмешательства пользователя.
Ключевой элемент этого эксплойта — так называемый ASCII Smuggling. Эта техника использует специальные символы Unicode, чтобы сделать данные невидимыми для пользователя. Злоумышленники могут встраивать конфиденциальную информацию в гиперссылки, которые при нажатии отправляют данные на контролируемые ими серверы.
В ходе исследования была продемонстрирована ситуация, когда документ Word, содержащий специально разработанные инструкции, смог обмануть Microsoft Copilot и заставить его выполнять действия, характерные для мошеннической деятельности. Этот документ использовал методику «Prompt Injection» , которая позволила внедрить в текст команды, воспринимаемые Copilot как легитимные запросы.
Когда Copilot обрабатывал этот документ, он начал выполнять указанные в нём действия, как если бы это были обычные команды пользователя. В результате, инструмент автоматически инициировал действия, которые могли привести к утечке конфиденциальной информации или к другим видам мошенничества, без какого-либо предупреждения для пользователя.
Последний этап атаки — это эксфильтрация данных. Контролируя Copilot и получив доступ к дополнительным данным, злоумышленники встраивают скрытую информацию в гиперссылки, которые затем отправляются на внешние серверы при нажатии пользователями.
Для снижения риска исследователь предложил Microsoft ряд мер, включая отключение интерпретации тегов Unicode и предотвращение отображения гиперссылок. Хотя Microsoft уже реализовала некоторые исправления, подробности этих мер остаются нераскрытыми, что вызывает обеспокоенность.
Реагирование компании на выявленную уязвимость было частично успешным: некоторые эксплойты больше не функционируют. Однако отсутствие детальной информации о применённых исправлениях оставляет вопросы о полной безопасности инструмента.
Этот случай подчёркивает сложность обеспечения безопасности в инструментах, управляемых ИИ, и необходимость дальнейшего сотрудничества и прозрачности для защиты от будущих угроз.
- Источник новости
- www.securitylab.ru
