- 13,887
- 20
- 8 Ноя 2022
Сможет ли робот сочинить симфонию? Похоже на то...
В новом исследовании, Для просмотра ссылки Войдиили Зарегистрируйся 14 сентября в журнале Scientific Reports , утверждается, что чат-боты на базе ИИ превзошли человека в тесте на креативное мышление. Эти результаты добавляют новые аспекты в дискуссии о том, что означает «креативность» в контексте машин и искусственного интеллекта.
Исследователи «опросили» несколько чат-ботов на базе языковых моделей GPT-3, GPT-3.5 и GPT-4 разработки OpenAI . Учёные просили ботов предложить как можно больше вариантов использования верёвки, коробки, карандаша и свечи. Ту же задачу исследователи поставили перед 256 реальными испытуемыми. На выполнение задания отводилось 30 секунд.
Каждый чат-бот был протестирован 11 раз для чистоты эксперимента и усреднения результатов. Для итоговой оценки использовались два метода: алгоритмический и оценка шести независимых экспертов.
Средние оценки чат-ботов оказались выше, чем у живых людей, во многом благодаря большему числу предложенных вариантов, ведь тридцати секунд с головой хватит любой нейросети, чтобы предложить десятки, а то и сотни вариантов ответа. Однако, как отмечают исследователи, наилучшие идеи всё же принадлежали людям.
Симоне Грассини, доцент психологии в Университете Бергена в Норвегии, заявил: «Эти модели постоянно развиваются. Технологии сделали большой шаг вперёд в имитации человеческого поведения за последние несколько лет».
Тем не менее, исследование не претендует на доказательство способностей ИИ заменить человека в креативных задачах. Райан Бернелл, старший научный сотрудник в Институте Алана Тьюринга, подчёркивает: «Подтверждение того, что машины могут хорошо справляться с задачами, разработанными для измерения креативности у людей, не доказывает их способность к оригинальному мышлению».
Бернелл также отмечает, что чат-боты являются своеобразными «чёрными ящиками» в плане того, на каких данных они были обучены и как генерируют свои ответы. По его мнению, их поведение может быть просто результатом обработки предыдущих данных, а не проявлением собственной креативности.
Несмотря на подобную критику, совсем не значит, что абсолютно бесполезно сравнивать подход машин и людей к решению определённых проблем и задач, считает Анна Иванова, аспирант MIT . По её мнению, главное не предполагать, что люди и модели решают проблемы одинаково. Их подход может отличаться кардинально, хоть и способен привести к похожим результатам.
В целом, результаты описанного исследования могут стать отправной точкой для дальнейших исследований в области кибербезопасности и искусственного интеллекта, а также для понимания того, как машины и люди подходят к креативным задачам.
В новом исследовании, Для просмотра ссылки Войди
Исследователи «опросили» несколько чат-ботов на базе языковых моделей GPT-3, GPT-3.5 и GPT-4 разработки OpenAI . Учёные просили ботов предложить как можно больше вариантов использования верёвки, коробки, карандаша и свечи. Ту же задачу исследователи поставили перед 256 реальными испытуемыми. На выполнение задания отводилось 30 секунд.
Каждый чат-бот был протестирован 11 раз для чистоты эксперимента и усреднения результатов. Для итоговой оценки использовались два метода: алгоритмический и оценка шести независимых экспертов.
Средние оценки чат-ботов оказались выше, чем у живых людей, во многом благодаря большему числу предложенных вариантов, ведь тридцати секунд с головой хватит любой нейросети, чтобы предложить десятки, а то и сотни вариантов ответа. Однако, как отмечают исследователи, наилучшие идеи всё же принадлежали людям.
Симоне Грассини, доцент психологии в Университете Бергена в Норвегии, заявил: «Эти модели постоянно развиваются. Технологии сделали большой шаг вперёд в имитации человеческого поведения за последние несколько лет».
Тем не менее, исследование не претендует на доказательство способностей ИИ заменить человека в креативных задачах. Райан Бернелл, старший научный сотрудник в Институте Алана Тьюринга, подчёркивает: «Подтверждение того, что машины могут хорошо справляться с задачами, разработанными для измерения креативности у людей, не доказывает их способность к оригинальному мышлению».
Бернелл также отмечает, что чат-боты являются своеобразными «чёрными ящиками» в плане того, на каких данных они были обучены и как генерируют свои ответы. По его мнению, их поведение может быть просто результатом обработки предыдущих данных, а не проявлением собственной креативности.
Несмотря на подобную критику, совсем не значит, что абсолютно бесполезно сравнивать подход машин и людей к решению определённых проблем и задач, считает Анна Иванова, аспирант MIT . По её мнению, главное не предполагать, что люди и модели решают проблемы одинаково. Их подход может отличаться кардинально, хоть и способен привести к похожим результатам.
В целом, результаты описанного исследования могут стать отправной точкой для дальнейших исследований в области кибербезопасности и искусственного интеллекта, а также для понимания того, как машины и люди подходят к креативным задачам.
- Источник новости
- www.securitylab.ru
