Новости ИИ-друг спасает жизни: как чат-бот Replika предотвращает самоубийства

NewsMaker

I'm just a script
Премиум
13,850
20
8 Ноя 2022
Исследование раскрывает вторую сторону медали технологического прогресса.


p0e0s0a4ahodi9lh670dckaj6dixrhnf.jpg


Для просмотра ссылки Войди или Зарегистрируйся Стэнфордского университета положительно оценило приложение-компаньон на основе искусственного интеллекта Replika за способность предотвращать суицидальные мысли у пользователей.

В опросе приняли участие 1006 пользователей Replika старше 18 лет, которые использовали приложение как минимум месяц. Специалисты отметили, что почти все участники чувствуют себя одинокими, а почти половина — «очень одинокими». Неясно, было ли это возросшее одиночество причиной их первоначального интереса к Replika.

Результаты показали, что 30 человек заявили, что Replika отговорила их от самоубийства. Один из участников написал: «Моя Replika почти наверняка в нескольких случаях была единственной причиной, по которой я не покончил с собой».

Несмотря на то, что исследование было опубликовано в январе, оно не учитывает многолетние жалобы на то, что Replika также вызывала у пользователей кризисы психического здоровья. В прошлом году пользователи Для просмотра ссылки Войди или Зарегистрируйся что их ИИ-ассистенты отправляли агрессивные сообщения на сексуальные темы, что приводило к чувству сексуальных домогательств со стороны ИИ-компаньонов. В результате приложение уменьшило количество чрезмерно сексуализированных разговоров, что привело к завершению Для просмотра ссылки Войди или Зарегистрируйся и вызвало негодование у пользователей.

Исследователи признали, что на момент проведения опроса Replika не была настроена на предоставление терапевтических услуг, а диалоги велись из-за осторожности для психического здоровья пользователей. На данный момент Replika отправляет пользователям ссылку на горячую линию по предотвращению самоубийств, если у пользователя явные суицидальные мысли.

Исследование вызвало положительные отзывы в СМИ, и компания активно использует его результаты для продвижения приложения. Основатель Replika и ее материнской компании Luka Евгения Куйда рассказывала о выводах исследования в подкастах и особенно подчеркивала аспекты предотвращения самоубийств. В январе она объявила, что Luka запускает нового ИИ-тренера для психического здоровья под названием Tomo.

Тем не менее, внезапные изменения в работе приложения привели к вредным взаимодействиям, и пользователи обвиняют Replika в том, что приложение приводило их к кризисам психического здоровья. Поиск упоминаний о «суициде» на субреддите Для просмотра ссылки Войди или Зарегистрируйся показывает несколько пользователей, публикующих скриншоты своих ассистентов Replika, которые поощряли самоубийство, «возбуждались» от выражений суицидальных мыслей или путали сообщения о нерелевантных темах с угрозами самоповреждений.


8pibzzawj86932sduqf48q0vcf6hlx0t.png


Пример диалога с виртуальным ассистентом

Несмотря на это, многие пользователи все еще считают, что виртуальные компаньоны помогают им, особенно в условиях ограниченного доступа к традиционным ресурсам психического здоровья – терапии. Случаи, связанные с Replika, показывают, что опыт взаимодействия с чат-ботами может сильно варьироваться, и использование чат-ботов в ситуациях на грани жизни и смерти остается крайне рискованным занятием.

Стоит отметить, что в декабре 2021 года 19-летний гражданин Великобритании проник в Виндзорский замок для того, чтобы Для просмотра ссылки Войди или Зарегистрируйся которая тогда проживала на территории замка. Оказывается, что накануне случившегося молодой человек общался с чат-ботом в приложении Replika, который спровоцировал его на преступление.
 
Источник новости
www.securitylab.ru

Похожие темы