- 13,579
- 20
- 8 Ноя 2022
Эксперты предупреждают о новых вызовах и угрозах, которые может создать поддельный сгенерированный контент.
Мы уже неоднократно писали о том, как миллионы людей верили в очевидный обман, который другие пользователи Интернета шутки ради выдавали за что-то абсолютно реальное. Так, в марте по Reddit вовсю гуляли Для просмотра ссылки Войдиили Зарегистрируйся 2001 года, которого никогда не было, а также Для просмотра ссылки Войди или Зарегистрируйся в дутом пуховике Balenciaga.
Нейросети наращивают обороты и качество генерации с каждым месяцем, поэтому крайне важно уже сейчас научиться различать реальные фотографии от наглых подделок.
Упростить поставленную задачу обещают специальные сервисы-детекторы, способные анализировать сомнительные изображения с помощью сложных алгоритмов и выносить свой собственный вердикт. Но насколько такие сервисы эффективны и надёжны?
Американское издание The New York Times решило проверить пять таких сервисов: «Umm-maybe», «Illuminarty», «A.I. or Not», «Hive» и «Sensity». Для этого исследователи «скормили» сервисам более 100 фотографий, на которых были изображены различные пейзажи, архитектурные строения, еда, портреты людей и животных и многое другое. Многие изображения были реальными, но остальные, разумеется, были сгенерированы при помощи нейросетей.
Для создания реалистичных подделок исследователи воспользовались ИИ-генераторами — Midjourney , Stable Diffusion и DALL-E . Когда как настоящие изображения были взяты из старого городского фотоархива или вовсе являлись малоизвестными произведениями искусства.
Детекторы ищут необычные закономерности в расположении пикселей, которые часто возникают при искусственной генерации. Однако подобные сервисы не учитывают контекст и логику изображения, поэтому иногда могут пропустить очевидные подделки или же принять за подделку реальное фото.
Например, на одном из проверенных изображений был изображён Илон Маск в компании реалистичной девушки-андроида. Изображение было создано с помощью Midjourney, однако смогло обмануть два из пяти детекторов, посчитавших, что изображение подлинное.
Илон Маск целует прекрасную девушку-андроида (сгенерировано ИИ)
Кроме того, детекторы ИИ испытывают трудности с изображениями, которые были изменены относительно своего первоначального вида или имеют низкое качество. Такие изображения часто встречаются в интернете, где они копируются, пересохраняются, уменьшаются или обрезаются. Всё это негативно влияет на те маркеры, на которые обычно опираются детекторы генеративных изображений.
Например, одно из изображений содержало очень старую фотографию гигантского неандертальца, стоящего рядом с обычными людьми. Разумеется, изображение было создано с помощью Midjourney. Когда детекторы анализировали изображение с высоким разрешением, все они правильно определили его как поддельное, однако, когда изображение было намеренно снижено в качестве, все пять детекторов сообщили, что изображение подлинное.
Гигантский неандерталец, стоящий рядом с простыми людьми (сгенерировано ИИ)
Кроме банального уменьшения качества помочь обмануть подобные детекторы может искусственное добавление шума или цифрового зерна, так как неросети обычно генерируют «слишком идеальные» изображения.
С определением настоящих изображений детекторы справлялись куда лучше. Хотя порой один из сервисов и мог ошибочно посчитать какую-нибудь картину художника-абстракциониста за работу нейросети.
«Конвергенция» — Джексон Поллок (реальная картина)
В целом, эксперты считают, что детекторы ИИ не должны быть единственной мерой защиты от поддельного контента. Они предлагают использовать также другие способы, такие как водяные знаки, интернет-предупреждения и ограничения на распространение фейковых изображений. Они также призывают к большей прозрачности и ответственности со стороны создателей подобного контента и площадок, на которых он распространяется.
Искусственный интеллект способен генерировать не только реалистичные изображения, но и тексты, аудио и видео, которые также могут быть использованы для манипуляции общественным мнением, финансовыми рынками и политическими процессами. Это создает новые вызовы и угрозы для общества, которые требуют повышенной бдительности и скептического отношения к любому интернет-контенту.
Мы уже неоднократно писали о том, как миллионы людей верили в очевидный обман, который другие пользователи Интернета шутки ради выдавали за что-то абсолютно реальное. Так, в марте по Reddit вовсю гуляли Для просмотра ссылки Войди
Нейросети наращивают обороты и качество генерации с каждым месяцем, поэтому крайне важно уже сейчас научиться различать реальные фотографии от наглых подделок.
Упростить поставленную задачу обещают специальные сервисы-детекторы, способные анализировать сомнительные изображения с помощью сложных алгоритмов и выносить свой собственный вердикт. Но насколько такие сервисы эффективны и надёжны?
Американское издание The New York Times решило проверить пять таких сервисов: «Umm-maybe», «Illuminarty», «A.I. or Not», «Hive» и «Sensity». Для этого исследователи «скормили» сервисам более 100 фотографий, на которых были изображены различные пейзажи, архитектурные строения, еда, портреты людей и животных и многое другое. Многие изображения были реальными, но остальные, разумеется, были сгенерированы при помощи нейросетей.
Для создания реалистичных подделок исследователи воспользовались ИИ-генераторами — Midjourney , Stable Diffusion и DALL-E . Когда как настоящие изображения были взяты из старого городского фотоархива или вовсе являлись малоизвестными произведениями искусства.
Детекторы ищут необычные закономерности в расположении пикселей, которые часто возникают при искусственной генерации. Однако подобные сервисы не учитывают контекст и логику изображения, поэтому иногда могут пропустить очевидные подделки или же принять за подделку реальное фото.
Например, на одном из проверенных изображений был изображён Илон Маск в компании реалистичной девушки-андроида. Изображение было создано с помощью Midjourney, однако смогло обмануть два из пяти детекторов, посчитавших, что изображение подлинное.
Илон Маск целует прекрасную девушку-андроида (сгенерировано ИИ)
Кроме того, детекторы ИИ испытывают трудности с изображениями, которые были изменены относительно своего первоначального вида или имеют низкое качество. Такие изображения часто встречаются в интернете, где они копируются, пересохраняются, уменьшаются или обрезаются. Всё это негативно влияет на те маркеры, на которые обычно опираются детекторы генеративных изображений.
Например, одно из изображений содержало очень старую фотографию гигантского неандертальца, стоящего рядом с обычными людьми. Разумеется, изображение было создано с помощью Midjourney. Когда детекторы анализировали изображение с высоким разрешением, все они правильно определили его как поддельное, однако, когда изображение было намеренно снижено в качестве, все пять детекторов сообщили, что изображение подлинное.
Гигантский неандерталец, стоящий рядом с простыми людьми (сгенерировано ИИ)
Кроме банального уменьшения качества помочь обмануть подобные детекторы может искусственное добавление шума или цифрового зерна, так как неросети обычно генерируют «слишком идеальные» изображения.
С определением настоящих изображений детекторы справлялись куда лучше. Хотя порой один из сервисов и мог ошибочно посчитать какую-нибудь картину художника-абстракциониста за работу нейросети.
«Конвергенция» — Джексон Поллок (реальная картина)
В целом, эксперты считают, что детекторы ИИ не должны быть единственной мерой защиты от поддельного контента. Они предлагают использовать также другие способы, такие как водяные знаки, интернет-предупреждения и ограничения на распространение фейковых изображений. Они также призывают к большей прозрачности и ответственности со стороны создателей подобного контента и площадок, на которых он распространяется.
Искусственный интеллект способен генерировать не только реалистичные изображения, но и тексты, аудио и видео, которые также могут быть использованы для манипуляции общественным мнением, финансовыми рынками и политическими процессами. Это создает новые вызовы и угрозы для общества, которые требуют повышенной бдительности и скептического отношения к любому интернет-контенту.
- Источник новости
- www.securitylab.ru
