Новости Сам себе угроза: ИИ-модели могут деградировать, обманывая людей и друг друга

[NewsMaker]

Зачем нейросеть посоветовала туристам в Канаде сходить в банк натощак, и кто замкнет цикл невероятной глупости?

---

---

Ученые из Университетов Оксфорда и Кембриджа опубликовали научную Для просмотра ссылки Войди или Зарегистрируйся о рисках распространения контента, созданного искусственным интеллектом. Согласно исследованию, большие языковые модели (LLM, Large Language Models) представляют серьезную угрозу друг для друга. Возможно, со временем они начнут выдавать менее качественные ответы, так как обучаются на данных из открытых интернет-ресурсов. А значит, и на текстах, сгенерированных другими нейросетями, а не человеком.

Феномену дали название «model collapse» (коллапс модели). Другие специалисты из Стэнфорда и Университета Райса назвали его Для просмотра ссылки Войди или Зарегистрируйся (расстройство самозаписи модели). Джатан Садовски, австралийский исследователь, также ввел свой термин — «Габсбургский ИИ».

Точных прогнозов пока нет, но эксперты полагают, что из-за «самопожирающего» цикла развития LLM выявлять источники обучающей информации станет в разы сложнее. Для просмотра ссылки Войди или Зарегистрируйся , генеральный директор компании Constellation Research, считает, что для открытого интернета скоро настанут темные времена.

Может случиться такое, что надежные и достоверные источники начнут ограничивать доступ к своему контенту, вплоть до платных подписок.

Компания Для просмотра ссылки Войди или Зарегистрируйся , которая выявляет новостные фейки, недавно обнаружила в сети 452 ненадежных ресурса с ИИ-генерированными новостями, полными ошибок.

В январе этого года технологический журнал CNET выпустил 77 статей, созданных с помощью внутренней ИИ-системы. Редакторам пришлось вносить многочисленные правки: оказалось, что тексты содержат базовые ошибки в расчетах. Несколько месяцев спустя Microsoft пришлось удалить несколько публикаций из своего туристического блога. В одной из них ИИ порекомендовал туристам в Оттаве посетить местный продовольственный банк, причем «лучше прийти туда натощак».

Многие специалисты подтверждают: детекторы контента, такие как ZeroGPT и Text Classifier от OpenAI, недостаточно надежны. Так как материала, созданного нейросетями, становится все больше, возможно, фактчекинг скоро станет для нас еще более трудной задачей.

Однако не все настроены так пессимистично. Например, Саураб Баджи, старший вице-президент по инженерии в компании Cohere, уверен: «успех и качество работы ИИ все еще зависит от людей».

Другие утверждают, что рост популярности генеративных технологий сделает контент, созданный человеком, ещё более ценным.