Первая в мире система с ИИ на базе NVIDIA A100
NVIDIA DGX™ A100 — это первая в мире универсальная система для всех нагрузок ИИ с производительностью 5 петафлопс, которая обеспечивает высочайшую плотность вычислений и гибкость. NVIDIA DGX A100 оснащена самым мощным в мире графическим ускорителем NVIDIA A100 с тензорными ядрами, который позволяет компаниям объединить анализ данных, тренировку и инференс в унифицированной и простой в развертывании инфраструктуре ИИ с поддержкой экспертов NVIDIA в области ИИ.
Ключевой компонент дата-центра с ИИ
Универсальная система для любых задач ИИ
NVIDIA DGX A100 — это универсальная система для всей инфраструктуры ИИ: от анализа данных до тренировки и инференса. Платформа устанавливает новый стандарт плотности вычислений и заключает производительность 5 петафлопс для задач ИИ в форм-факторе 6U, заменяя устаревшие архитектурные решения единой платформой для любых задач ИИ.
Эксперты по DGX: интегрированный доступ к экспертным знаниям в области ИИ
Эксперты NVIDIA по DGX — это более 14 000 специалистов в области ИИ, которые за десять лет накопили богатый опыт и готовы помочь вам максимизировать окупаемость вложений в систему DGX.
Быстрые результаты
NVIDIA DGX A100 — это первая в мире система на базе GPU NVIDIA A100 с тензорными ядрами. DGX A100 объединяет в себе 8 ускорителей A100 и обеспечивает непревзойденное масштабируемое ускорение, будучи полностью оптимизированной для ПО NVIDIA CUDA-X™ и комплексного стека решений NVIDIA для дата-центра.
Исключительная масштабируемость дата-центра
NVIDIA DGX A100 оснащена коммутатором Mellanox с максимальной пропускной способностью 225 Гбит/с. Это одно из многих преимуществ, которые делают DGX A100 ключевым компонентом крупных кластеров ИИ, таких как референсная архитектура для масштабируемых инфраструктур ИИ NVIDIA DGX SuperPOD™.
Быстрое решение сложных задач обработки данных
Преимущества
- Откажитесь от долгой настройки и тестирования с использованием оптимизированного ПО для ИИ.
- Получайте более качественные модели быстрее с максимальной производительностью, которая обеспечивает быстрые итерации.
- Не тратьте время на системную интеграцию и разработку ПО.
![](dgx-a100/content/img_5.jpg)
Развертывание инфраструктуры и начало работы с ИИ
Преимущества
- Оцените простую инфраструктуру и планирование мощности с единой системой для всех задач ИИ.
- Обеспечьте максимальную плотность вычислений и производительность с минимальными ресурсами.
- Используйте встроенную технологию безопасности во всех слоях: от контейнера до чипа.
![](dgx-a100/content/img_6.jpg)
Ускорьте получение результатов и окупаемость инвестиций в ИИ
Преимущества
- Повысьте эффективность работы специалистов по data science и избавьтесь от действий, не дающих экономического эффекта
- Ускорьте весь цикл разработки, от идеи до конечной версии.
- Устраните трудности с помощью экспертов по DGX.
![](dgx-a100/content/img_7.jpg)
Революционная производительность
Анализ данных
PageRank
Более быстрый анализ данных означает больше идей для разработки ИИ
3,000X CPU Servers vs. 4X DGX A100. Published Common Crawl Data Set: 128B Edges, 2.6TB Graph.
Тренировка
NLP: BERT-Large
Более быстрая тренировка позволяет создать самые продвинутые модели ИИ.
BERT Pre-Training Throughput using PyTorch including (2/3)Phase 1 and (1/3)Phase 2. Phase 1 Seq Len = 128, Phase 2 Seq Len = 512. V100: DGX-1 with 8X V100 using FP32 precision. DGX A100: DGX A100 with 8X A100 using TF32 precision.
Инференс
Peak Compute
Ускорение инференса повышает окупаемость инвестиций благодаря максимальной утилизации системы
CPU Server: 2X Intel Platinum 8280 using INT8. DGX A100: DGX A100 with 8X A100 using INT8 with Structural Sparsity.
Передовые компоненты системы DGX A100
- 8 GPU NVIDIA A100 с общим объемом памяти 320 Гб
12 соединений NVLink на GPU пропускная способность между GPU 600 Гбит/с - 6 коммутаторов NVSwitch шестого поколения
Двунаправленный интерфейс 4,8 Тбит/с В 2 раза быстрее предыдущего поколения - 9 адаптеров Mellanox ConnectX-6 VPI HDR/200 GB Ethernet
Двунаправленный интерфейс 225 Гбит/с - Два 64-ядерных процессора AMD и 1 Тб системной памяти
В 2,7 раза больше ядер для самых ресурсоемких задач ИИ - SSD Gen4 NVME объемом 15 Тб
Пиковая пропускная способность 25,6 Гбит/с до 2 раз быстрее, чем SSD Gen3 NVME
![](dgx-a100/content/img_11.jpg)
Технологии NVIDIA DGX A100
- GPU A100
- Multi-Instance GPU
- NVLink и NVSwitch
- Mellanox ConnectX-6
- Оптимизированный стек ПО
- Безопасность
GPU NVIDIA A100 с тензорными ядрами
GPU NVIDIA A100 с тензорными ядрами обеспечивает непревзойденное ускорение для ИИ, анализа данных и высокопроизводительных вычислений (HPC) для решения самых сложных вычислительных задач. Благодаря тензорным ядрам третьего поколения, обеспечивающим значительный прирост производительности, A100 можно масштабировать до тысячи GPU, а с помощью технологии Multi-instance GPU разделить на семь инстансов для ускорения задач любого масштаба.
![](dgx-a100/content/img_12.jpg)
Multi-Instance GPU (MIG)
Технология MIG позволяет разделить 8 ускорителей в DGX A100 на 56 полностью изолированных инстансов, оснащенных памятью с высокой пропускной способностью, кэшем и вычислительными ядрами. Теперь администраторы могут предложить оптимальный размер GPU с гарантированным качеством обслуживания (QoS) для различных задач.
![](dgx-a100/content/img_13.jpg)
NVLink и NVSwitch нового поколения
Третье поколение NVIDIA® NVLink® в DGX A100 удваивает скорость обмена данными между GPU до 600 Гбит/с, что почти в 10 раз превосходит показатели PCIe Gen 4. DGX A100 также оснащена коммутатором NVIDIA NVSwitch™ нового поколения, который в 2 раза быстрее предыдущих решений.
![](dgx-a100/content/img_14.jpg)
Mellanox ConnectX-6 VPI HDR InfiniBand
DGX A100 включает в себя новые адаптеры Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet с пропускной способностью 200 Гбит/с, которые обеспечивают высокоскоростное соединение для задач ИИ.
![](dgx-a100/content/img_15.jpg)
Оптимизированный стек ПО
DGX A100 содержит протестированный и оптимизированный стек ПО DGX, включая базовую операционную систему для ИИ, все необходимое системное ПО, а также GPU-ускоренные приложения, предварительно натренированные модели и другие ресурсы из NGC™.
![](dgx-a100/content/img_16.jpg)
Встроенная технология безопасности
DGX A100 обеспечивает самый надежный уровень безопасности для развертываний ИИ благодаря многоуровневому подходу, который защищает все основные программно-аппаратные компоненты, включая самошифрующиеся диски, контейнеры ПО, управление и мониторинг безопасности и другие решения.
![](dgx-a100/content/img_17.png)