- 13,858
- 20
- 8 Ноя 2022
Суперчип успешно прошёл промышленные тесты и показал новую ступень вычислений.
В своем дебюте на промышленных тестах MLPerf, суперчип NVIDIA GH200 Grace Hopper не только прошел все Для просмотра ссылки Войдиили Зарегистрируйся на инференцию в дата-центрах, но и усилил лидирующую позицию GPU NVIDIA H100 Tensor Core.
GH200 сочетает в себе GPU Hopper и CPU Grace в одном суперчипе. Такое сочетание обеспечивает больше памяти, пропускной способности и возможность автоматически перераспределять мощность между центральным и графическим процессорами для оптимизации производительности.
Отдельно стоит отметить, что системы NVIDIA HGX H100 с восемью GPU H100 показали наивысший результат по пропускной способности в каждом тесте MLPerf Inference.
Grace Hopper Superchips и H100 GPUs лидировали во всех тестах дата-центров MLPerf, включая инференс-задачи для компьютерного зрения, распознавания речи и медицинской визуализации, а также в более требовательных задачах, таких как системы рекомендаций и большие языковые модели (LLM), используемые в генеративном ИИ.
TensorRT-LLM ускоряет инференцию
Для обработки сложных задач любого размера NVIDIA разработала Для просмотра ссылки Войдиили Зарегистрируйся , программное обеспечение для генеративного ИИ, оптимизирующее инференцию. Эта открытая библиотека позволяет клиентам удваивать производительность инференции на уже приобретенных GPU H100 без дополнительных затрат.
Внутренние тесты NVIDIA показали, что использование TensorRT-LLM на GPU H100 обеспечивает увеличение производительности до 8 раз по сравнению с предыдущим поколением GPU, работающим на GPT-J 6B без TensorRT-LLM.
Кроме того, в последних тестах MLPerf графические процессоры NVIDIA L4 успешно справились со всем спектром задач и показали отличную производительность.
Также NVIDIA применила новую технологию сжатия моделей, чтобы продемонстрировать увеличение производительности до 4,7 раз при работе с BERT LLM на GPU L4.
Тесты MLPerf являются прозрачными и объективными, что позволяет пользователям принимать обоснованные решения о покупке. В этом раунде участвовали такие партнеры, как Microsoft Azure, Oracle Cloud Infrastructure и производители систем ASUS, Dell Technologies, Fujitsu и другие. Все программное обеспечение, используемое в тестах NVIDIA, доступно в репозитории MLPerf, что позволяет каждому достичь мирового класса результатов.
В своем дебюте на промышленных тестах MLPerf, суперчип NVIDIA GH200 Grace Hopper не только прошел все Для просмотра ссылки Войди
GH200 сочетает в себе GPU Hopper и CPU Grace в одном суперчипе. Такое сочетание обеспечивает больше памяти, пропускной способности и возможность автоматически перераспределять мощность между центральным и графическим процессорами для оптимизации производительности.
Отдельно стоит отметить, что системы NVIDIA HGX H100 с восемью GPU H100 показали наивысший результат по пропускной способности в каждом тесте MLPerf Inference.
Grace Hopper Superchips и H100 GPUs лидировали во всех тестах дата-центров MLPerf, включая инференс-задачи для компьютерного зрения, распознавания речи и медицинской визуализации, а также в более требовательных задачах, таких как системы рекомендаций и большие языковые модели (LLM), используемые в генеративном ИИ.
TensorRT-LLM ускоряет инференцию
Для обработки сложных задач любого размера NVIDIA разработала Для просмотра ссылки Войди
Внутренние тесты NVIDIA показали, что использование TensorRT-LLM на GPU H100 обеспечивает увеличение производительности до 8 раз по сравнению с предыдущим поколением GPU, работающим на GPT-J 6B без TensorRT-LLM.
Кроме того, в последних тестах MLPerf графические процессоры NVIDIA L4 успешно справились со всем спектром задач и показали отличную производительность.
Также NVIDIA применила новую технологию сжатия моделей, чтобы продемонстрировать увеличение производительности до 4,7 раз при работе с BERT LLM на GPU L4.
Тесты MLPerf являются прозрачными и объективными, что позволяет пользователям принимать обоснованные решения о покупке. В этом раунде участвовали такие партнеры, как Microsoft Azure, Oracle Cloud Infrastructure и производители систем ASUS, Dell Technologies, Fujitsu и другие. Все программное обеспечение, используемое в тестах NVIDIA, доступно в репозитории MLPerf, что позволяет каждому достичь мирового класса результатов.
- Источник новости
- www.securitylab.ru
