Новости Anthropic представил «конституции» ответственного ИИ

[CryptoWatcher]

---

Стартап Anthropic, разрабатывающий большие языковые модели, представил «конституции» для ответственного создания ИИ-алгоритмов. Об этом пишет Для просмотра ссылки Войди или Зарегистрируйся.

По словам соучредителя компании Джареда Каплана, «конституционный ИИ» — это способ обучения интеллектуальных систем следовать определенным наборам правил.

В настоящее время создание чат-ботов вроде ChatGPT зависит от модераторов, которые оценивают выдачу по таким вещам, как разжигание ненависти или токсичность. Затем система использует эти данные для настройки своих ответов. Этот процесс известен как «обучение с подкреплением на основе обратной связи с человеком» (RLHF).

Однако с «конституционным ИИ» эта работа в основном управляется самим чат-ботом, заявили разработчики.

«Мы действительно рассматриваем это как отправную точку — начать более публичную дискуссию о том, как следует обучать системы ИИ и каким принципам они должны следовать. Мы определенно никоим образом не заявляем, что знаем ответ», — сказал он.

Напомним, в марте Anthropic запустил Для просмотра ссылки Войди или Зарегистрируйся Claude.

В феврале Google Для просмотра ссылки Войди или Зарегистрируйся в стартап $300 млн.