Новости ИИ против разума: что тест ARC-AGI сказал о будущем

[NewsMaker]

Как работает загадка интеллекта, которую ИИ пока не может разгадать.

---

---

Тест на проверку общего ИИ (AGI), разработанный в 2019 году Франсуа Шолле, привел к важным выводам об ограничениях технологии. Создатели теста заявляют, что результаты – скорее свидетельство недостатков, чем реальный прорыв в области исследований AGI.

Тест Для просмотра ссылки Войди или Зарегистрируйся (Abstract and Reasoning Corpus for Artificial General Intelligence) был задуман как инструмент для оценки способности ИИ осваивать новые навыки, выходя за пределы обучающих данных.

До 2024 года лучшие ИИ-модели могли решать менее трети задач ARC-AGI. Шолле Для просмотра ссылки Войди или Зарегистрируйся ориентацию индустрии на большие языковые модели (LLM), считая, что они неспособны к подлинному «рассуждению». По Для просмотра ссылки Войди или Зарегистрируйся Шолле, LLM-модели основываются исключительно на запоминании, что делает их уязвимыми к задачам, выходящим за рамки обучающего набора данных.

Для стимулирования исследований, выходящих за пределы LLM, Шолле совместно с Майком Кнупом, сооснователем Zapier, объявили в июне 2024 года конкурс с призовым фондом в $1 миллион на создание открытой ИИ-системы, способной превзойти ARC-AGI. Лучший результат конкурса составил 55,5% — почти на 20% выше предыдущего рекорда, но всё ещё далек от порога в 85%, который считается «человеческим уровнем» и необходим для победы.

Как отметил Кнуп в блоге, такие достижения не говорят о значительном прогрессе к созданию AGI. Многие конкурсные работы Для просмотра ссылки Войди или Зарегистрируйся подход «перебора» для нахождения решений, что ставит под сомнение ценность задач ARC-AGI для оценки общего интеллекта.

ARC-AGI включает задачи, где ИИ должен генерировать правильные ответы в виде сеток, составленных из разноцветных квадратов. Задачи направлены на проверку способности адаптироваться к новым проблемам. Однако эффективность такого подхода вызвала сомнения.

---

---

Сетка вывода ответов ARC-AGI ( Для просмотра ссылки Войди или Зарегистрируйся )

Создатели теста признают его несовершенства. По словам Кнупа, тест остаётся неизменным с момента создания, и его Для просмотра ссылки Войди или Зарегистрируйся как инструмента для достижения AGI только увеличивается. Дополнительные споры вызывает сама концепция AGI: некоторые эксперты считают, что AGI уже достигнут, если интерпретировать его как способность ИИ превосходить людей в большинстве задач.

Специалисты планируют представить вторую версию теста ARC-AGI в 2025 году, основная цель которого — направить усилия исследовательского сообщества на решение ключевых проблем в области ИИ и ускорить приближение к AGI.