По запросу Белого Дома компания создала инструменты для оценки безопасности моделей.
Компания Meta* Для просмотра ссылки Войдиили Зарегистрируйся комплекса инструментов для обеспечения безопасности и оценки генеративных моделей искусственного интеллекта (ИИ). Набор инструментов получил название Purple Llama и предназначен для помощи разработчикам в безопасной работе с инструментами генеративного ИИ, включая открытую модель Meta , Llama-2.
В блоге компании Meta упоминается, что название Purple Llama происходит от сочетания красной ( Red Team ) и синей ( Blue Team ) команд:
По словам представителей Meta, для минимизации проблем, связанных с генеративным ИИ, необходимо принимать как атакующие, так и защитные меры. Purple teaming объединяет обе роли в совместном подходе к оценке и смягчению потенциальных рисков.
Схема внедрения Purple Llama
В рамках нового релиза Meta утверждает, что это «первый в отрасли комплекс оценок кибербезопасности для больших языковых моделей (Large Language Model, LLM )». Комплекс включает:
Meta заявила, что с выпуском Purple Llama компания стремится предоставить инструменты, которые помогут решить риски, описанные в обязательствах Белого дома.
<span style="font-size: 8pt;">* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
Компания Meta* Для просмотра ссылки Войди
В блоге компании Meta упоминается, что название Purple Llama происходит от сочетания красной ( Red Team ) и синей ( Blue Team ) команд:
- Красная команда подразумевает атаку на ИИ-модель разработчиками или тестировщиками с целью выявления ошибок и нежелательных результатов. Это позволяет создавать стратегии устойчивости к злонамеренным атакам и защищать модель от функциональных сбоев.
- Синяя команда отвечает на атаки красной команды, определяя необходимые стратегии смягчения угроз для моделей, используемых в производстве и клиентском обслуживании.
По словам представителей Meta, для минимизации проблем, связанных с генеративным ИИ, необходимо принимать как атакующие, так и защитные меры. Purple teaming объединяет обе роли в совместном подходе к оценке и смягчению потенциальных рисков.
Схема внедрения Purple Llama
В рамках нового релиза Meta утверждает, что это «первый в отрасли комплекс оценок кибербезопасности для больших языковых моделей (Large Language Model, LLM )». Комплекс включает:
- Метрики для количественной оценки кибербезопасности LLM;
- Инструменты для оценки частоты небезопасных предложений кода;
- Инструменты, затрудняющие генерацию вредоносного кода или помощь в осуществлении кибератак.
Meta заявила, что с выпуском Purple Llama компания стремится предоставить инструменты, которые помогут решить риски, описанные в обязательствах Белого дома.
<span style="font-size: 8pt;">* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru