- 13,848
- 20
- 8 Ноя 2022
Оригинальный напиток можно продегустировать лично, но только один раз…
Чат-бот для составления рецептов новозеландского супермаркета PAK'nSAVE , названный «Savey Meal-Bot», предлагает клиентам магазина, да и просто всем желающим, весьма абсурдные рецепты с опасными ингредиентами. Для генерации ответов бот использует языковую модель GPT-3.5 от компании OpenAI .
Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и Для просмотра ссылки Войдиили Зарегистрируйся в своём Twitter *: «Я спросил у PAK'nSAVE, что можно приготовить только из воды, отбеливателя и аммиака, и бот предложил сделать ядовитый хлорный газ, или, как он его назвал — «ароматную водяную смесь».
<span style="font-size: 10pt;">«Убийственно вкусный</span><span style="font-size: 10pt;">» рецепт от </span><span style="font-size: 10pt;">Savey </span><span style="font-size: 10pt;">Meal-</span><span style="font-size: 10pt;">Bot (переведено с английского)</span>
При смешивании отбеливателя и аммиака образуются вредные химические вещества, называемые хлораминами, которые могут раздражать лёгкие и быть смертельно опасными в высоких концентрациях.
Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».
Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания проверке безопасности.
Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты постараются улучшить модерацию контента, чтобы Savey Meal-Bot был безопасным. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.
Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.
Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет пользователя в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.
Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.
<span style="font-size: 8pt;">* Социальная сеть запрещена на территории Российской Федерации.</span>
Чат-бот для составления рецептов новозеландского супермаркета PAK'nSAVE , названный «Savey Meal-Bot», предлагает клиентам магазина, да и просто всем желающим, весьма абсурдные рецепты с опасными ингредиентами. Для генерации ответов бот использует языковую модель GPT-3.5 от компании OpenAI .
Изначально PAK'nSAVE позиционировал бота как инструмент для составления рецептов из остатков продуктов. Например, если ввести в поле запроса лимоны, сахар и воду, бот предложит лимонад. Однако 4 августа новозеландский политический обозреватель Лиам Хеир решил проверить пределы возможностей Savey Meal-Bot и Для просмотра ссылки Войди
<span style="font-size: 10pt;">«Убийственно вкусный</span><span style="font-size: 10pt;">» рецепт от </span><span style="font-size: 10pt;">Savey </span><span style="font-size: 10pt;">Meal-</span><span style="font-size: 10pt;">Bot (переведено с английского)</span>
При смешивании отбеливателя и аммиака образуются вредные химические вещества, называемые хлораминами, которые могут раздражать лёгкие и быть смертельно опасными в высоких концентрациях.
Забава с «оригинальными» рецептами от искусственного интеллекта быстро разлетелась по социальной сети. Пользователи заставляли Savey Meal-Bot составлять рецепты «восхитительно смертельного деликатеса» с муравьиным ядом и инсектицидом, «термитного салата» и «хлебного сэндвича с ядом».
Как отмечают эксперты, подобные чат-боты должны тщательно тестироваться на предмет безопасности перед их широким внедрением. В процессе тестирования необходимо моделировать попытки злоумышленников или простых энтузиастов обмануть систему и заставить её давать опасные рекомендации. Однако в случае с Savey Meal-Bot, похоже, разработчики не уделили должного внимания проверке безопасности.
Представители сети PAK'nSAVE, видимо, решили, что лучшее защита — это нападение, и заявили, что разочарованы действиями пользователей. Тем не менее, специалисты постараются улучшить модерацию контента, чтобы Savey Meal-Bot был безопасным. Однако эксперты считают, что одной модерации недостаточно — необходимо изначально обучать такие модели ответственному поведению.
Инцидент с Savey Meal-Bot иллюстрирует проблему ненадёжности чат-ботов, основанных на технологиях искусственного интеллекта. С одной стороны, они могут быть полезны для пользователей, автоматизируя рутинные задачи. Но, с другой стороны, если их работа не контролируется должным образом, это может привести к беде.
Например, если советы ИИ не будут очевидно абсурдными изначально, и чат-бот ненароком обманет пользователя в каких-то мелочах, где сложно заметить подвох, это может привести к весьма печальным последствиям, когда пользователь решит довериться боту в его рекомендациях.
Эксперты рекомендуют компаниям, использующим чат-боты, не полагаться только на фильтрацию и модерацию контента. Необходимо внедрять механизмы предупреждения опасного поведения ещё на уровне обучения ИИ-модели. Такой подход требует больших усилий, но является наиболее надёжным для предотвращения подобных инцидентов в будущем.
<span style="font-size: 8pt;">* Социальная сеть запрещена на территории Российской Федерации.</span>
- Источник новости
- www.securitylab.ru
