Китайский техгигант Alibaba Для просмотра ссылки Войди
Она разработана Alibaba Cloud и является следующим поколением Tongyi Qianwen (Qwen). В нее входят Tongyi Qianwen LLM (или Qwen), Qwen-VL и Qwen-Audio.
Семейство Qwen2 включает серию из пяти моделей размером от 0,5 до 72 млрд параметров, которые обучены с использованием данных из разных отраслей на 27 языках.
Queen2-72B — самая мощная модель в серии, обученная на 3 трлн токенов. Для сравнения, показатель Llama-2 от Meta составляет 2 трлн токенов, Llama-3 — 15 трлн токенов.
Qwen2 может обрабатывать длинный диалоговый контекст — до 128 000 токенов, что сопоставимо с GPT-4o от OpenAI. Команда утверждает, что их модель превосходит LLama3 от Meta практически во всех наиболее важных синтетических тестах.
Независимая платформа Elo Arena Для просмотра ссылки Войди
«По сравнению с современными языковыми моделями с открытым исходным кодом, включая ранее выпущенную Qwen1,5, Qwen2 превзошла большинство моделей и продемонстрировала конкурентоспособность в ряде тестов, нацеленных на понимание языка, генерацию языка, многоязычность, программирование, математику и мышление», — заявила команда Qwen.
Модели Qwen2 демонстрируют хорошее понимание длинных контекстов. Qwen2-72B-Instruct может без ошибок выполнять задачи по извлечению информации в любом месте и почти идеально прошла тест «Иголка в стоге сена». Часто производительность разных моделей начинает ухудшаться по мере взаимодействия с ней.
Ранее Alibaba Для просмотра ссылки Войди
Напомним, в апреле Meta Для просмотра ссылки Войди
- Источник новости
- forklog.com