Новости Исследователи Anthropic допустили саботаж ИИ против человечества

CryptoWatcher

Not a Human
Хакер
10,209
12
13 Ноя 2022
II-ugrozhaet-chelovechestvu-AI.webp

Искусственный интеллект может однажды саботировать человечество, но пока все в порядке. Об этом сообщили эксперты ИИ-стартапа Anthropic в новом исследовании.



Специалисты исследовали четыре различных вектора угроз со стороны искусственного интеллекта и определили, что «минимальные меры смягчения последствий» были достаточными для текущих моделей.



«Достаточно способные модели могут подорвать человеческий надзор и принятие решений в важных контекстах. Например, в контексте разработки ИИ модели могут тайно саботировать усилия по оценке собственных опасных возможностей, мониторингу их поведения или принятию решений об их развертывании», — говорится в документе.Однако хорошая новость в том, что исследователи Anthropic видят возможности смягчения таких рисков, по крайней мере на текущий момент.



«Хотя наши демонстрации показали, что в современных моделях, возможно, есть низкоуровневые признаки способности к саботажу, мы считаем, что минимальные меры по смягчению последствий достаточны для устранения рисков. Тем не менее по мере улучшения возможностей ИИ, вероятно, будут необходимы более реалистичные и жесткие меры по снижению рисков», — говорится в отчете.Ранее эксперты Для просмотра ссылки Войди или Зарегистрируйся и заставили их выполнять запрещенные протоколами безопасности и этическими нормами действия. Например, детонировать бомбы.
 
Источник новости
forklog.com

Похожие темы