- 13,858
- 20
- 8 Ноя 2022
Новое детище Meta бросает дерзкий вызов гигантам индустрии.
Компания Meta * Для просмотра ссылки Войдиили Зарегистрируйся выпуск своей новейшей модели искусственного интеллекта, Llama 3, которая по заявлениям разработчиков способна составить конкуренцию более крупным моделям от Google, Mistral и Anthropic.
Llama 3 представлена в версиях с разным количеством параметров: от 8 до более чем 400 миллиардов. На данный момент доступны варианты с 8 и 70 миллиардами параметров. Тем временем, компания продолжает работу над обучением более крупных и сложных языковых моделей.
Одно из ключевых улучшений Llama 3 заключается в использовании нового токенизатора с лексиконом из 128 тысяч токенов, что существенно повысило эффективность кодирования естественного языка. Дополнительное повышение производительности достигнуто за счёт использования качественных наборов данных и дополнительных шагов донастройки после обучения.
Обучение Llama 3 проходило на базе более 15 триллионов токенов, собранных из общедоступных источников. Это в 7 раз больше, чем у предыдущей модели Llama 2. Meta также разработала специальную систему фильтрации входных данных для минимизации обучения на некачественной информации.
Кроме того, компания внедрила новые инструменты безопасности, включая Llama Guard 2 и Cybersec Eval 2, предназначенные для защиты модели от злоупотреблений и атак.
В ближайшие месяцы Meta планирует представить дополнительные модели, включая вышеупомянутую на 400 миллиардов параметров. Эти модели будут поддерживать расширенные функции и иметь куда большие контекстные окна, позволяющие обрабатывать более сложные запросы.
Модели Llama3-8B и Llama3-70B уже Для просмотра ссылки Войдиили Зарегистрируйся на сайте Meta. Также их будет возможно развернуть в облачных платформах, таких как Amazon Web Services, Microsoft Azure и Google Cloud.
<span style="font-size: 9pt;">* Компания </span><span style="font-size: 9pt;">Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
Компания Meta * Для просмотра ссылки Войди
Llama 3 представлена в версиях с разным количеством параметров: от 8 до более чем 400 миллиардов. На данный момент доступны варианты с 8 и 70 миллиардами параметров. Тем временем, компания продолжает работу над обучением более крупных и сложных языковых моделей.
Одно из ключевых улучшений Llama 3 заключается в использовании нового токенизатора с лексиконом из 128 тысяч токенов, что существенно повысило эффективность кодирования естественного языка. Дополнительное повышение производительности достигнуто за счёт использования качественных наборов данных и дополнительных шагов донастройки после обучения.
Обучение Llama 3 проходило на базе более 15 триллионов токенов, собранных из общедоступных источников. Это в 7 раз больше, чем у предыдущей модели Llama 2. Meta также разработала специальную систему фильтрации входных данных для минимизации обучения на некачественной информации.
Кроме того, компания внедрила новые инструменты безопасности, включая Llama Guard 2 и Cybersec Eval 2, предназначенные для защиты модели от злоупотреблений и атак.
В ближайшие месяцы Meta планирует представить дополнительные модели, включая вышеупомянутую на 400 миллиардов параметров. Эти модели будут поддерживать расширенные функции и иметь куда большие контекстные окна, позволяющие обрабатывать более сложные запросы.
Модели Llama3-8B и Llama3-70B уже Для просмотра ссылки Войди
<span style="font-size: 9pt;">* Компания </span><span style="font-size: 9pt;">Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.</span>
- Источник новости
- www.securitylab.ru
