- 13,858
- 20
- 8 Ноя 2022
Как бессовестные киберпреступники используют нейросети в своих гнусных целях.
Согласно данным исследователей, злоумышленники всё чаще злоупотребляют генеративным ИИ для распространения материалов о сексуальном насилии над детьми, дезинформации, мошенничестве и экстремизме, что является весьма серьёзной проблемой, требующей крайне осторожного и скептического отношения к любой информации, найденной в Интернете.
«Бурное развитие генеративного ИИ имеет далеко идущие последствия для всех уголков Интернета», — сказал Ноам Шварц, генеральный директор и основатель ActiveFence .
«Мы определили три ключевые тенденции, вызывающие обеспокоенность. Во-первых, мы видим, что киберпреступники теперь могут ускорять и усиливать свои операции за счёт генеративного ИИ, что приводит к беспрецедентному массовому производству вредоносного контента. Во-вторых, те же самые участники изучают способы использования ИИ, манипулируя этими моделями и выявляя присущие им уязвимости. Наконец, эти развивающиеся угрозы оказывают всё большее давление на цифровые платформы с целью повышения точности и эффективности их протоколов обучения данным», — продолжил Шварц.
Исследователи ActiveFence Для просмотра ссылки Войдиили Зарегистрируйся три основных способа злоупотребления генеративным ИИ в киберпреступных целях:
Материалы о сексуальном насилии над детьми ( CSAM )
Исследователи отследили увеличение объема CSAM, созданных генеративным ИИ, на 172% в первом квартале этого года. Также был обнаружен опрос, проведенный администраторами закрытого форума «Child Predator» в даркнете, в ходе которого было опрошено почти 3000 киберпреступников на тему использования ими генеративного ИИ.
Опрос показал, что 78% респондентов имеют или планируют использовать генеративный ИИ для CSAM, а остальные 22% заявили, что планируют опробовать технологию. Этот и подобные форумы используют алгоритмы генеративного ИИ для создания сексуальных изображений, а также текстовых описаний, историй и нарративов.
Конечно, в современных ИИ присутствуют защитные механизмы от генерации подобных гнусных и мерзких запросов, однако у каждой нейросети есть свои недостатки безопасности и, подобрав оптимальный запрос, любые ограничения можно обойти. То же самое касается и нейросетей, генерирующих изображения. Хотя у популярных решений по типу Midjourney таких проблем не наблюдалось, это далеко не единственная нейронная сеть, способная генерировать изображения.
Дезинформация и мошеннический контент
Хотя мошенничество и дезинформация не являются новыми концепциями, генеративный ИИ позволил злоумышленникам создавать правдоподобные мошеннические изображения быстрее, точнее и с более широким охватом.
На одном из сгенерированных ИИ изображений, которое специалисты ActiveFence обнаружили в Telegram, был неподобающим образом изображён российский лидер Владимир Путин, который просит китайского президента Си Цзиньпина о поддержке в разрешении конфликта на территории Восточной Европы.
Понятное дело, что при детальном рассмотрении сгенерированных ИИ фотографий можно заметить явные признаки подделки, однако с каждым месяцем определить deepfake всё сложнее за счёт постоянного развития технологии.
Насильственный экстремизм
Исследователи также обнаружили многочисленные случаи, когда злоумышленники использовали генеративный ИИ для создания гиперреалистичного вредоносного контента, подстрекающего к насилию и способствующего экстремистской пропаганде. Зачастую киберпреступники используют генеративный ИИ для создания расистских, националистических или экстремистских манифестов или речей.
ActiveFence обнаружила созданный искусственным интеллектом поддельнный аудиофайл, который использовал растущие политические и экономические волнения в Великобритании для так называемого «раскачивания лодки». Сфабрикованное аудио имитировало известного британского репортёра, подстрекая к восстанию против британского правительства. Вводящий в заблуждение манифест содержал инструкции по приобретению оружия на подпольном рынке и призывал к нападению на британскую национальную инфраструктуру.
Подведение итогов
Стремительное развитие генеративного искусственного интеллекта имеет серьёзные последствия для онлайн-среды. Злоумышленники всё чаще злоупотребляют этой технологией для создания и распространения вредоносного и недопустимого контента, представляющего серьёзную угрозу общественному сознанию.
В век расцвета подобного рода технологий следует крайне критически относиться к любой обнаруженной в Интернете информации, как бы реалистично и правдоподобно она не выглядела.
Чтобы обеспечить безопасность онлайн-среды и очистить её от недопустимого контента, с подобного рода угрозами необходимо активно бороться, используя совместные усилия технологических компаний, правоохранительных органов и общества в целом.
Согласно данным исследователей, злоумышленники всё чаще злоупотребляют генеративным ИИ для распространения материалов о сексуальном насилии над детьми, дезинформации, мошенничестве и экстремизме, что является весьма серьёзной проблемой, требующей крайне осторожного и скептического отношения к любой информации, найденной в Интернете.
«Бурное развитие генеративного ИИ имеет далеко идущие последствия для всех уголков Интернета», — сказал Ноам Шварц, генеральный директор и основатель ActiveFence .
«Мы определили три ключевые тенденции, вызывающие обеспокоенность. Во-первых, мы видим, что киберпреступники теперь могут ускорять и усиливать свои операции за счёт генеративного ИИ, что приводит к беспрецедентному массовому производству вредоносного контента. Во-вторых, те же самые участники изучают способы использования ИИ, манипулируя этими моделями и выявляя присущие им уязвимости. Наконец, эти развивающиеся угрозы оказывают всё большее давление на цифровые платформы с целью повышения точности и эффективности их протоколов обучения данным», — продолжил Шварц.
Исследователи ActiveFence Для просмотра ссылки Войди
- создание материалов о сексуальном насилии над детьми, начиная от визуальных образов и заканчивая эротическими рассказами;
- генерация мошеннических изображений, сгенерированных искусственным интеллектом, которые вводят в заблуждение миллионы;
- создание поддельных аудиофайлов, пропагандирующих экстремизм;
Материалы о сексуальном насилии над детьми ( CSAM )
Исследователи отследили увеличение объема CSAM, созданных генеративным ИИ, на 172% в первом квартале этого года. Также был обнаружен опрос, проведенный администраторами закрытого форума «Child Predator» в даркнете, в ходе которого было опрошено почти 3000 киберпреступников на тему использования ими генеративного ИИ.
Опрос показал, что 78% респондентов имеют или планируют использовать генеративный ИИ для CSAM, а остальные 22% заявили, что планируют опробовать технологию. Этот и подобные форумы используют алгоритмы генеративного ИИ для создания сексуальных изображений, а также текстовых описаний, историй и нарративов.
Конечно, в современных ИИ присутствуют защитные механизмы от генерации подобных гнусных и мерзких запросов, однако у каждой нейросети есть свои недостатки безопасности и, подобрав оптимальный запрос, любые ограничения можно обойти. То же самое касается и нейросетей, генерирующих изображения. Хотя у популярных решений по типу Midjourney таких проблем не наблюдалось, это далеко не единственная нейронная сеть, способная генерировать изображения.
Дезинформация и мошеннический контент
Хотя мошенничество и дезинформация не являются новыми концепциями, генеративный ИИ позволил злоумышленникам создавать правдоподобные мошеннические изображения быстрее, точнее и с более широким охватом.
На одном из сгенерированных ИИ изображений, которое специалисты ActiveFence обнаружили в Telegram, был неподобающим образом изображён российский лидер Владимир Путин, который просит китайского президента Си Цзиньпина о поддержке в разрешении конфликта на территории Восточной Европы.
Понятное дело, что при детальном рассмотрении сгенерированных ИИ фотографий можно заметить явные признаки подделки, однако с каждым месяцем определить deepfake всё сложнее за счёт постоянного развития технологии.
Насильственный экстремизм
Исследователи также обнаружили многочисленные случаи, когда злоумышленники использовали генеративный ИИ для создания гиперреалистичного вредоносного контента, подстрекающего к насилию и способствующего экстремистской пропаганде. Зачастую киберпреступники используют генеративный ИИ для создания расистских, националистических или экстремистских манифестов или речей.
ActiveFence обнаружила созданный искусственным интеллектом поддельнный аудиофайл, который использовал растущие политические и экономические волнения в Великобритании для так называемого «раскачивания лодки». Сфабрикованное аудио имитировало известного британского репортёра, подстрекая к восстанию против британского правительства. Вводящий в заблуждение манифест содержал инструкции по приобретению оружия на подпольном рынке и призывал к нападению на британскую национальную инфраструктуру.
Подведение итогов
Стремительное развитие генеративного искусственного интеллекта имеет серьёзные последствия для онлайн-среды. Злоумышленники всё чаще злоупотребляют этой технологией для создания и распространения вредоносного и недопустимого контента, представляющего серьёзную угрозу общественному сознанию.
В век расцвета подобного рода технологий следует крайне критически относиться к любой обнаруженной в Интернете информации, как бы реалистично и правдоподобно она не выглядела.
Чтобы обеспечить безопасность онлайн-среды и очистить её от недопустимого контента, с подобного рода угрозами необходимо активно бороться, используя совместные усилия технологических компаний, правоохранительных органов и общества в целом.
- Источник новости
- www.securitylab.ru
