- 13,854
- 20
- 8 Ноя 2022
Новая тактика для хакеров или простая проверка безопасности?
Эксперты компании JFrog Для просмотра ссылки Войдиили Зарегистрируйся не менее 100 вредоносных ИИ-моделей на популярной открытой платформе Hugging Face .
Hugging Face позволяет исследователям в области ИИ и машинного обучения публиковать свои разработки и обмениваться ими с сообществом. В сервисе доступны десятки тысяч моделей для обработки естественного языка, компьютерного зрения и других задач.
Оказывается, некоторые из представленных алгоритмов содержат вредоносный код. В частности, были найдены модели с возможностью установки "бэкдоров" - скрытых каналов удаленного доступа, позволяющих злоумышленникам получить контроль над компьютером жертвы.
Одной из наиболее опасных угроз стала недавно загруженная модель PyTorch от пользователя "baller423", которая впоследствии была удалена. Она интегрировала в себя вредоносную нагрузку, способную устанавливать обратное соединение с заданным удалённым хостом (210.117.212.93).
Для маскировки вредоносного кода злоумышленники использовали метод "__reduce__" модуля pickle языка Python. Он позволял выполнить произвольные команды при загрузке файла PyTorch, спрятав их внутри процесса сериализации. Таким образом, системы обнаружения не распознавали эту уловку.
Аналогичные закладки были обнаружены в моделях, связанных с множеством других IP-адресов.
"Хотелось бы подчеркнуть, что под "вредоносными моделями" мы подразумеваем именно те, которые несут в себе реальные опасные нагрузки", - отмечается в отчете JFrog.
"В это число не включены ложные срабатывания системы, так мы имеем полное представление о количестве вредоносных моделей для PyTorch и Tensorflow на платформе Hugging Face".
По мнению JFrog, часть подобных алгоритмов могла быть загружена исследователями в рамках тестирования системы безопасности Hugging Face. Специалисты нередко получают вознаграждение за обнаруженные уязвимости. Однако даже в этом случае публикация опасных моделей является крайне рискованной и неприемлемой, так как они становятся доступны для скачивания всем пользователям.
Для поиска вредоносных программ эксперты JFrog разработали специальную систему сканирования с учетом специфики ИИ. Эта система позволила впервые обнаружить скрытые закладки в коде несмотря на то, что на Hugging Face уже используются меры безопасности.
Стандартные средства защиты не всегда способны распознать подозрительные элементы, замаскированные внутри файлов с ИИ-алгоритмами.
Выводы аналитиков демонстрируют потенциальные риски использования моделей из непроверенных источников. Эксперты призывают разработчиков проявлять повышенную бдительность и внедрять дополнительные меры безопасности для защиты экосистемы ИИ от кибератак.
Эксперты компании JFrog Для просмотра ссылки Войди
Hugging Face позволяет исследователям в области ИИ и машинного обучения публиковать свои разработки и обмениваться ими с сообществом. В сервисе доступны десятки тысяч моделей для обработки естественного языка, компьютерного зрения и других задач.
Оказывается, некоторые из представленных алгоритмов содержат вредоносный код. В частности, были найдены модели с возможностью установки "бэкдоров" - скрытых каналов удаленного доступа, позволяющих злоумышленникам получить контроль над компьютером жертвы.
Одной из наиболее опасных угроз стала недавно загруженная модель PyTorch от пользователя "baller423", которая впоследствии была удалена. Она интегрировала в себя вредоносную нагрузку, способную устанавливать обратное соединение с заданным удалённым хостом (210.117.212.93).
Для маскировки вредоносного кода злоумышленники использовали метод "__reduce__" модуля pickle языка Python. Он позволял выполнить произвольные команды при загрузке файла PyTorch, спрятав их внутри процесса сериализации. Таким образом, системы обнаружения не распознавали эту уловку.
Аналогичные закладки были обнаружены в моделях, связанных с множеством других IP-адресов.
"Хотелось бы подчеркнуть, что под "вредоносными моделями" мы подразумеваем именно те, которые несут в себе реальные опасные нагрузки", - отмечается в отчете JFrog.
"В это число не включены ложные срабатывания системы, так мы имеем полное представление о количестве вредоносных моделей для PyTorch и Tensorflow на платформе Hugging Face".
По мнению JFrog, часть подобных алгоритмов могла быть загружена исследователями в рамках тестирования системы безопасности Hugging Face. Специалисты нередко получают вознаграждение за обнаруженные уязвимости. Однако даже в этом случае публикация опасных моделей является крайне рискованной и неприемлемой, так как они становятся доступны для скачивания всем пользователям.
Для поиска вредоносных программ эксперты JFrog разработали специальную систему сканирования с учетом специфики ИИ. Эта система позволила впервые обнаружить скрытые закладки в коде несмотря на то, что на Hugging Face уже используются меры безопасности.
Стандартные средства защиты не всегда способны распознать подозрительные элементы, замаскированные внутри файлов с ИИ-алгоритмами.
Выводы аналитиков демонстрируют потенциальные риски использования моделей из непроверенных источников. Эксперты призывают разработчиков проявлять повышенную бдительность и внедрять дополнительные меры безопасности для защиты экосистемы ИИ от кибератак.
- Источник новости
- www.securitylab.ru
