- 13,885
- 20
- 8 Ноя 2022
Интервью с автором книги “Кокетливый интеллект”.
Исследовательница Джанель Шейн рассказала о своем опыте изучения генеративного искусственного интеллекта и его эволюции за последние годы. В интервью Для просмотра ссылки Войдиили Зарегистрируйся она поделилась интересными наблюдениями и предостережениями касательно современных ИИ-систем.
Шейн начала экспериментировать с нейронными сетями еще в 2016 году, когда они только учились писать и выдавали забавные и нелепые результаты. С тех пор она внимательно следит за стремительным прогрессом технологий, документируя его в своем блоге AI Weirdness.
В начале своих экспериментов Шейн была настолько заинтригована странными рецептами, сгенерированными чат-ботами (они, например, включали такие ингредиенты, как "измельченный бурбон" и "рубленая вода"), что решила использовать свой собственный ноутбук для обучения нейронных сетей. В те времена этот процесс мог занимать часы. Шейн экспериментировала с различными моделями, загружала в них текстовые данные и наблюдала за тем, как программа придумывает свои собственные версии рецептов, названия для праздничных костюмов и прочие вещи. Так и появился блог. А за ним и книга “Кокетливый интеллект”.
По словам исследовательницы, за прошедшие годы генеративный ИИ прошел путь от "очаровательно неуклюжего до удивительно осознанного". Однако даже самые продвинутые современные модели все еще допускают странные ошибки, которые Шейн называет "глюками".
Один из ярких примеров таких ошибок - случай с жирафом без пятен, родившимся в зоопарке Теннесси в 2023 году. Поскольку в интернете практически не было фотографий подобных животных, алгоритмы распознавания изображений упорно описывали его как пятнистого. Шейн подчеркивает, что подобные казусы очень важны, так как они наглядно демонстрируют ограничения моделей и их поверхностное мышление. "Этот случай наглядно показывает, что алгоритм на самом деле не анализирует картинку. Он просто следует заученному шаблону - все жирафы должны быть пятнистыми", - поясняет она.
Исследовательница также обращает внимание на опасность чрезмерного доверия к ответам ИИ, особенно в вопросах, требующих точности. Она приводит пример опасных советов по сбору грибов в книгах, которые продаются в интернете. "Были случаи, когда ИИ рекомендовал собирать ядовитые грибы, принимая их за съедобные. Это может привести к серьезным отравлениям. К сожалению, некоторые недобросовестные люди генерируют такие книги и продают их, не заботясь о безопасности читателей", - рассказывает Шейн.
Несмотря на критику, Шейн видит и позитивные применения умных технологий. Она отмечает успехи в области разработки лекарств, где специализированные ИИ-модели помогают находить перспективные комбинации препаратов для дальнейших лабораторных испытаний. Еще одна сфера, где ИИ приносит пользу - транскрибирование голосовых сообщений. Даже если результат не идеален, он позволяет быстро понять суть, не прослушивая запись целиком.
Именно в подобных небольших, но полезных приложениях кроется долгосрочный потенциал нейросетей. При этом исследовательница призывает не забывать о необходимости критического отношения к ответам чат-ботов.
В интервью также была затронута тема предвзятости ИИ-систем. "Хотя многие очевидные проявления предвзятости были сглажены дополнительным обучением, это не изменило фундаментально исходные данные, на которых обучались алгоритмы. Предвзятость все еще присутствует и оказывает влияние на ответы", - отмечает Шейн.
Джанель верит: современные чат-боты, несмотря на их мнимую осознанность, все еще далеки от реального понимания. Она иллюстрирует это рассказом о забавном эксперименте, в котором попросила GPT-3 отвечать на вопросы, притворяясь тайной белкой.
"Я хотела показать, что способность ИИ описывать внутренний мир вымышленного существа не означает наличия у него реального сознания", - поясняет Шейн. "ИИ может убедительно изображать белку, рассказывая о сборе орехов и жизни на дереве, но это не делает его настоящей белкой. Точно так же, когда ИИ говорит о своих чувствах или мыслях, это не означает, что он действительно обладает сознанием."
Она добавляет: "Сейчас вокруг ИИ гораздо больше коммерческого ажиотажа, чем когда я только начинала. Тогда это была в основном область исследователей, а сейчас люди пытаются применить ИИ везде, где только можно".
Исследовательница Джанель Шейн рассказала о своем опыте изучения генеративного искусственного интеллекта и его эволюции за последние годы. В интервью Для просмотра ссылки Войди
Шейн начала экспериментировать с нейронными сетями еще в 2016 году, когда они только учились писать и выдавали забавные и нелепые результаты. С тех пор она внимательно следит за стремительным прогрессом технологий, документируя его в своем блоге AI Weirdness.
В начале своих экспериментов Шейн была настолько заинтригована странными рецептами, сгенерированными чат-ботами (они, например, включали такие ингредиенты, как "измельченный бурбон" и "рубленая вода"), что решила использовать свой собственный ноутбук для обучения нейронных сетей. В те времена этот процесс мог занимать часы. Шейн экспериментировала с различными моделями, загружала в них текстовые данные и наблюдала за тем, как программа придумывает свои собственные версии рецептов, названия для праздничных костюмов и прочие вещи. Так и появился блог. А за ним и книга “Кокетливый интеллект”.
По словам исследовательницы, за прошедшие годы генеративный ИИ прошел путь от "очаровательно неуклюжего до удивительно осознанного". Однако даже самые продвинутые современные модели все еще допускают странные ошибки, которые Шейн называет "глюками".
Один из ярких примеров таких ошибок - случай с жирафом без пятен, родившимся в зоопарке Теннесси в 2023 году. Поскольку в интернете практически не было фотографий подобных животных, алгоритмы распознавания изображений упорно описывали его как пятнистого. Шейн подчеркивает, что подобные казусы очень важны, так как они наглядно демонстрируют ограничения моделей и их поверхностное мышление. "Этот случай наглядно показывает, что алгоритм на самом деле не анализирует картинку. Он просто следует заученному шаблону - все жирафы должны быть пятнистыми", - поясняет она.
Исследовательница также обращает внимание на опасность чрезмерного доверия к ответам ИИ, особенно в вопросах, требующих точности. Она приводит пример опасных советов по сбору грибов в книгах, которые продаются в интернете. "Были случаи, когда ИИ рекомендовал собирать ядовитые грибы, принимая их за съедобные. Это может привести к серьезным отравлениям. К сожалению, некоторые недобросовестные люди генерируют такие книги и продают их, не заботясь о безопасности читателей", - рассказывает Шейн.
Несмотря на критику, Шейн видит и позитивные применения умных технологий. Она отмечает успехи в области разработки лекарств, где специализированные ИИ-модели помогают находить перспективные комбинации препаратов для дальнейших лабораторных испытаний. Еще одна сфера, где ИИ приносит пользу - транскрибирование голосовых сообщений. Даже если результат не идеален, он позволяет быстро понять суть, не прослушивая запись целиком.
Именно в подобных небольших, но полезных приложениях кроется долгосрочный потенциал нейросетей. При этом исследовательница призывает не забывать о необходимости критического отношения к ответам чат-ботов.
В интервью также была затронута тема предвзятости ИИ-систем. "Хотя многие очевидные проявления предвзятости были сглажены дополнительным обучением, это не изменило фундаментально исходные данные, на которых обучались алгоритмы. Предвзятость все еще присутствует и оказывает влияние на ответы", - отмечает Шейн.
Джанель верит: современные чат-боты, несмотря на их мнимую осознанность, все еще далеки от реального понимания. Она иллюстрирует это рассказом о забавном эксперименте, в котором попросила GPT-3 отвечать на вопросы, притворяясь тайной белкой.
"Я хотела показать, что способность ИИ описывать внутренний мир вымышленного существа не означает наличия у него реального сознания", - поясняет Шейн. "ИИ может убедительно изображать белку, рассказывая о сборе орехов и жизни на дереве, но это не делает его настоящей белкой. Точно так же, когда ИИ говорит о своих чувствах или мыслях, это не означает, что он действительно обладает сознанием."
Она добавляет: "Сейчас вокруг ИИ гораздо больше коммерческого ажиотажа, чем когда я только начинала. Тогда это была в основном область исследователей, а сейчас люди пытаются применить ИИ везде, где только можно".
- Источник новости
- www.securitylab.ru
