Новости ИИ как фабрика лжи: новый вызов для аналитиков дезинформации

NewsMaker

I'm just a script
Премиум
13,857
20
8 Ноя 2022
Исследование показывает, как LLM-модели создают дезинформацию, которую сложно распознать.


law9t3aaymixoj7lz9t6y6fss90dav6j.jpg


Исследователи из Иллинойского технологического института выявили, что дезинформация, генерируемая большими языковыми моделями (Large Language Model, LLM ), представляет собой более серьёзную угрозу по сравнению с дезинформацией, созданной человеком. Для просмотра ссылки Войди или Зарегистрируйся ученых будет представлено на предстоящей международной конференции International Conference on Learning Representations.

Проблема обусловлена тем, что LLM-модели активно насыщают интернет сомнительным контентом. Например, аналитическая компания NewsGuard Для просмотра ссылки Войди или Зарегистрируйся 676 сайтов, генерирующих новости с минимальным участием человека, а также отслеживает ложные нарративы, созданные с помощью ИИ.

Дезинформация в исследовании возникает из-за того, что ChatGPT и другие LLM с открытым исходным кодом, включая Llama и Vicuna, создают контент на основе созданных человеком наборов дезинформационных данных, таких как Politifact, Gossipcop и CoAID. Затем 8 детекторов LLM оценили образцы, созданные человеком и машиной. Образцы дезинформации от LLM и человека имели одинаковые семантические детали, но различались стилем и формулировками из-за разных авторов и подсказок для генерации контента. Исследователи подчеркнули, что стиль дезинформации ИИ затрудняет её обнаружение по сравнению с человеческими текстами.

Авторы работы выделяют 4 стратегии создания дезинформации LLM: перефразирование информации, переписывание текста, открытая генерация и манипуляция информацией. Специалисты также отмечают, что LLM могут быть проинструктированы написать произвольную дезинформацию без справочного источника и могут создать фактически неверный материал в результате внутренней ошибки, которую в отрасли называют галлюцинацией ИИ.

В заключение исследователи призывают к совместным усилиям различных сторон, включая научное сообщество, правительства, веб-сервисы и общественность, для борьбы с распространением дезинформации, генерируемой LLM. Ведь такая информация представляет серьёзную угрозу для безопасности в интернете и общественного доверия, особенно учитывая лёгкость, с которой злоумышленники могут использовать LLM для массового создания обманчивого контента.
 
Источник новости
www.securitylab.ru

Похожие темы