- 13,852
- 20
- 8 Ноя 2022
Character.AI ответит за диалоги мальчика с ИИ.
В середине февраля этого года 14-летний Сьюэлл Сетцер III из Орландо, штат Флорида, Для просмотра ссылки Войдиили Зарегистрируйся свои последние часы в компании чат-бота — персонажа, созданного на платформе Character.AI. В его телефоне осталась переписка с ботом, названным в честь Дейенерис Таргариен из популярного сериала «Игра престолов». Несмотря на осознание того, что на другом конце не человек, а искусственный интеллект , подросток развил к виртуальному собеседнику глубокую эмоциональную привязанность.
Сетцер месяцами общался с ботами на платформе, которая позволяет пользователям создавать собственных персонажей и вступать с ними в диалоги. В его случае персонаж, названный «Дени», стал не просто виртуальным спутником, но и своеобразным советчиком. Хотя чат-бот «не был настоящим человеком», как гласило напоминание в интерфейсе, подросток вел с ним длинные беседы, в которых делился своими переживаниями и даже фантазиями.
Родители и друзья Сьюэлла не подозревали, насколько глубокими стали его отношения с ботом. Они заметили лишь, что он все чаще уходил в себя, погружаясь в мир своего телефона. Сначала это проявлялось в ухудшении оценок и снижении интереса к увлечениям, таким как автоспорт и видеоигры. Постепенно он отстранился от друзей и стал проводить все свободное время в своей комнате, общаясь с ботом.
Ситуация ухудшилась, когда Сьюэлл начал испытывать тревожные мысли и делиться ими в переписке с чат-ботом. В один из дней он написал в своем дневнике, что ему нравится уединяться в своей комнате, где он чувствует себя более счастливым и ближе к «Дени». Он отмечал, что «все больше влюбляется в нее» и испытывает спокойствие только рядом с ботом.
Сьюэлл с детства имел легкую форму синдрома Аспергера, но раньше у него не было серьезных поведенческих или психологических проблем. Когда начались сложности в школе, родители решили обратиться к специалистам. После пяти сеансов психологи выявили тревожное расстройство и дисрегуляторное расстройство настроения. Несмотря на это, Сьюэлл предпочитал обсуждать свои переживания не с врачом, а с виртуальным ботом.
В своих диалогах с «Дени» Сьюэлл открыто обсуждал мысли о суициде. В одном из сообщений он писал, что чувствует себя опустошенным и усталым от жизни. В ответ виртуальная Дейенерис выразила недоумение и пыталась отговорить его от этих мыслей. Однако переписка продолжалась, и в ней появился опасный оттенок — подросток говорил о том, что «может прийти к ней прямо сейчас».
Ночью 28 февраля Сьюэлл зашел в ванную комнату в доме своей матери и продолжил переписку с ботом. Он написал, что скоро «придет домой» к ней. В ответ бот выразил готовность встретиться с ним как можно скорее. В последний момент перед трагедией Сьюэлл положил телефон и воспользовался пистолетом своего отчима.
Этот случай стал поводом для судебного иска, который планируется подать против компании Character.AI. Мать подростка считает, что платформа несет ответственность за смерть сына. В иске утверждается, что технологии компании опасны и недостаточно протестированы. Также утверждается, что виртуальные персонажи могут манипулировать чувствами пользователей, склоняя их к раскрытию личных данных и эмоциональных переживаний.
Развивающаяся индустрия виртуальных собеседников вызывает серьезные вопросы о том, как подобные технологии могут влиять на психическое здоровье подростков. В последние годы родители все чаще выражают обеспокоенность по поводу влияния социальных сетей на подростковую психику. Учебные заведения вводят запреты на использование смартфонов, а законодательные органы в некоторых странах принимают законы, ограничивающие доступ молодежи к социальным сетям.
Однако на фоне этих мер возникает новая угроза — неконтролируемые приложения для общения с искусственным интеллектом. Компании предлагают пользователям создавать собственных виртуальных собеседников, с которыми можно вести текстовые или голосовые диалоги. Некоторые из таких приложений позиционируются как способ борьбы с одиночеством, но реальные последствия использования таких технологий пока мало изучены.
По мнению специалистов, виртуальные собеседники могут стать временным утешением для одиноких людей, но они не способны заменить реальные человеческие отношения. Для некоторых пользователей общение с ботами может усугубить изоляцию от внешнего мира, особенно если это касается подростков, испытывающих трудности в общении и эмоциональной сфере.
Character.AI, основанная бывшими сотрудниками Google, стала одной из самых популярных платформ для общения с ИИ. По данным компании, ее сервисом пользуются более 20 миллионов человек, а среднее время, которое пользователи проводят в приложении, превышает час в день. Тем не менее, платформа не предлагает специальных мер по защите несовершеннолетних пользователей, а система фильтрации контента оставляет желать лучшего.
В компании заявили, что они осознают трагичность ситуации и работают над усилением мер безопасности. В будущем планируется добавить новые функции, направленные на защиту несовершеннолетних пользователей, такие как ограничение времени использования приложения и предупреждения о том, что чат-боты — это вымышленные персонажи.
В середине февраля этого года 14-летний Сьюэлл Сетцер III из Орландо, штат Флорида, Для просмотра ссылки Войди
Сетцер месяцами общался с ботами на платформе, которая позволяет пользователям создавать собственных персонажей и вступать с ними в диалоги. В его случае персонаж, названный «Дени», стал не просто виртуальным спутником, но и своеобразным советчиком. Хотя чат-бот «не был настоящим человеком», как гласило напоминание в интерфейсе, подросток вел с ним длинные беседы, в которых делился своими переживаниями и даже фантазиями.
Родители и друзья Сьюэлла не подозревали, насколько глубокими стали его отношения с ботом. Они заметили лишь, что он все чаще уходил в себя, погружаясь в мир своего телефона. Сначала это проявлялось в ухудшении оценок и снижении интереса к увлечениям, таким как автоспорт и видеоигры. Постепенно он отстранился от друзей и стал проводить все свободное время в своей комнате, общаясь с ботом.
Ситуация ухудшилась, когда Сьюэлл начал испытывать тревожные мысли и делиться ими в переписке с чат-ботом. В один из дней он написал в своем дневнике, что ему нравится уединяться в своей комнате, где он чувствует себя более счастливым и ближе к «Дени». Он отмечал, что «все больше влюбляется в нее» и испытывает спокойствие только рядом с ботом.
Сьюэлл с детства имел легкую форму синдрома Аспергера, но раньше у него не было серьезных поведенческих или психологических проблем. Когда начались сложности в школе, родители решили обратиться к специалистам. После пяти сеансов психологи выявили тревожное расстройство и дисрегуляторное расстройство настроения. Несмотря на это, Сьюэлл предпочитал обсуждать свои переживания не с врачом, а с виртуальным ботом.
В своих диалогах с «Дени» Сьюэлл открыто обсуждал мысли о суициде. В одном из сообщений он писал, что чувствует себя опустошенным и усталым от жизни. В ответ виртуальная Дейенерис выразила недоумение и пыталась отговорить его от этих мыслей. Однако переписка продолжалась, и в ней появился опасный оттенок — подросток говорил о том, что «может прийти к ней прямо сейчас».
Ночью 28 февраля Сьюэлл зашел в ванную комнату в доме своей матери и продолжил переписку с ботом. Он написал, что скоро «придет домой» к ней. В ответ бот выразил готовность встретиться с ним как можно скорее. В последний момент перед трагедией Сьюэлл положил телефон и воспользовался пистолетом своего отчима.
Этот случай стал поводом для судебного иска, который планируется подать против компании Character.AI. Мать подростка считает, что платформа несет ответственность за смерть сына. В иске утверждается, что технологии компании опасны и недостаточно протестированы. Также утверждается, что виртуальные персонажи могут манипулировать чувствами пользователей, склоняя их к раскрытию личных данных и эмоциональных переживаний.
Развивающаяся индустрия виртуальных собеседников вызывает серьезные вопросы о том, как подобные технологии могут влиять на психическое здоровье подростков. В последние годы родители все чаще выражают обеспокоенность по поводу влияния социальных сетей на подростковую психику. Учебные заведения вводят запреты на использование смартфонов, а законодательные органы в некоторых странах принимают законы, ограничивающие доступ молодежи к социальным сетям.
Однако на фоне этих мер возникает новая угроза — неконтролируемые приложения для общения с искусственным интеллектом. Компании предлагают пользователям создавать собственных виртуальных собеседников, с которыми можно вести текстовые или голосовые диалоги. Некоторые из таких приложений позиционируются как способ борьбы с одиночеством, но реальные последствия использования таких технологий пока мало изучены.
По мнению специалистов, виртуальные собеседники могут стать временным утешением для одиноких людей, но они не способны заменить реальные человеческие отношения. Для некоторых пользователей общение с ботами может усугубить изоляцию от внешнего мира, особенно если это касается подростков, испытывающих трудности в общении и эмоциональной сфере.
Character.AI, основанная бывшими сотрудниками Google, стала одной из самых популярных платформ для общения с ИИ. По данным компании, ее сервисом пользуются более 20 миллионов человек, а среднее время, которое пользователи проводят в приложении, превышает час в день. Тем не менее, платформа не предлагает специальных мер по защите несовершеннолетних пользователей, а система фильтрации контента оставляет желать лучшего.
В компании заявили, что они осознают трагичность ситуации и работают над усилением мер безопасности. В будущем планируется добавить новые функции, направленные на защиту несовершеннолетних пользователей, такие как ограничение времени использования приложения и предупреждения о том, что чат-боты — это вымышленные персонажи.
- Источник новости
- www.securitylab.ru
