Новости Purple Llama: Meta сочетает взлом и защиту для непробиваемого ИИ

NewsMaker

I'm just a script
Премиум
13,858
20
8 Ноя 2022
По запросу Белого Дома компания создала инструменты для оценки безопасности моделей.


yv728k3thgpuq9t7ylwnqmnw5rc57zhc.jpg


Компания Meta* Для просмотра ссылки Войди или Зарегистрируйся комплекса инструментов для обеспечения безопасности и оценки генеративных моделей искусственного интеллекта (ИИ). Набор инструментов получил название Purple Llama и предназначен для помощи разработчикам в безопасной работе с инструментами генеративного ИИ, включая открытую модель Meta , Llama-2.

В блоге компании Meta упоминается, что название Purple Llama происходит от сочетания красной ( Red Team ) и синей ( Blue Team ) команд:

  • Красная команда подразумевает атаку на ИИ-модель разработчиками или тестировщиками с целью выявления ошибок и нежелательных результатов. Это позволяет создавать стратегии устойчивости к злонамеренным атакам и защищать модель от функциональных сбоев.
  • Синяя команда отвечает на атаки красной команды, определяя необходимые стратегии смягчения угроз для моделей, используемых в производстве и клиентском обслуживании.

По словам представителей Meta, для минимизации проблем, связанных с генеративным ИИ, необходимо принимать как атакующие, так и защитные меры. Purple teaming объединяет обе роли в совместном подходе к оценке и смягчению потенциальных рисков.


jgpdgqklh8dtt6z0b7035f2e30xtw2bp.png


Схема внедрения Purple Llama

В рамках нового релиза Meta утверждает, что это «первый в отрасли комплекс оценок кибербезопасности для больших языковых моделей (Large Language Model, LLM )». Комплекс включает:

  • Метрики для количественной оценки кибербезопасности LLM;
  • Инструменты для оценки частоты небезопасных предложений кода;
  • Инструменты, затрудняющие генерацию вредоносного кода или помощь в осуществлении кибератак.
Основная цель – интеграция системы в рабочие процессы моделей для уменьшения выдачи нежелательных результатов и небезопасного кода, одновременно сокращая пользу уязвимостей моделей для киберпреступников.

Meta заявила, что с выпуском Purple Llama компания стремится предоставить инструменты, которые помогут решить риски, описанные в обязательствах Белого дома.

<span style="font-size: 8pt;">* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
 
Источник новости
www.securitylab.ru

Похожие темы