Первая в мире система с ИИ на базе NVIDIA A100
NVIDIA DGX™ A100 — это первая в мире универсальная система для всех нагрузок ИИ с производительностью 5 петафлопс, которая обеспечивает высочайшую плотность вычислений и гибкость. NVIDIA DGX A100 оснащена самым мощным в мире графическим ускорителем NVIDIA A100 с тензорными ядрами, который позволяет компаниям объединить анализ данных, тренировку и инференс в унифицированной и простой в развертывании инфраструктуре ИИ с поддержкой экспертов NVIDIA в области ИИ.
Ключевой компонент дата-центра с ИИ
Универсальная система для любых задач ИИ
NVIDIA DGX A100 — это универсальная система для всей инфраструктуры ИИ: от анализа данных до тренировки и инференса. Платформа устанавливает новый стандарт плотности вычислений и заключает производительность 5 петафлопс для задач ИИ в форм-факторе 6U, заменяя устаревшие архитектурные решения единой платформой для любых задач ИИ.
Эксперты по DGX: интегрированный доступ к экспертным знаниям в области ИИ
Эксперты NVIDIA по DGX — это более 14 000 специалистов в области ИИ, которые за десять лет накопили богатый опыт и готовы помочь вам максимизировать окупаемость вложений в систему DGX.
Быстрые результаты
NVIDIA DGX A100 — это первая в мире система на базе GPU NVIDIA A100 с тензорными ядрами. DGX A100 объединяет в себе 8 ускорителей A100 и обеспечивает непревзойденное масштабируемое ускорение, будучи полностью оптимизированной для ПО NVIDIA CUDA-X™ и комплексного стека решений NVIDIA для дата-центра.
Исключительная масштабируемость дата-центра
NVIDIA DGX A100 оснащена коммутатором Mellanox с максимальной пропускной способностью 225 Гбит/с. Это одно из многих преимуществ, которые делают DGX A100 ключевым компонентом крупных кластеров ИИ, таких как референсная архитектура для масштабируемых инфраструктур ИИ NVIDIA DGX SuperPOD™.
Быстрое решение сложных задач обработки данных
Преимущества
- Откажитесь от долгой настройки и тестирования с использованием оптимизированного ПО для ИИ.
- Получайте более качественные модели быстрее с максимальной производительностью, которая обеспечивает быстрые итерации.
- Не тратьте время на системную интеграцию и разработку ПО.
Развертывание инфраструктуры и начало работы с ИИ
Преимущества
- Оцените простую инфраструктуру и планирование мощности с единой системой для всех задач ИИ.
- Обеспечьте максимальную плотность вычислений и производительность с минимальными ресурсами.
- Используйте встроенную технологию безопасности во всех слоях: от контейнера до чипа.
Ускорьте получение результатов и окупаемость инвестиций в ИИ
Преимущества
- Повысьте эффективность работы специалистов по data science и избавьтесь от действий, не дающих экономического эффекта
- Ускорьте весь цикл разработки, от идеи до конечной версии.
- Устраните трудности с помощью экспертов по DGX.
Революционная производительность
Анализ данных
PageRank
Более быстрый анализ данных означает больше идей для разработки ИИ
3,000X CPU Servers vs. 4X DGX A100. Published Common Crawl Data Set: 128B Edges, 2.6TB Graph.
Тренировка
NLP: BERT-Large
Более быстрая тренировка позволяет создать самые продвинутые модели ИИ.
BERT Pre-Training Throughput using PyTorch including (2/3)Phase 1 and (1/3)Phase 2. Phase 1 Seq Len = 128, Phase 2 Seq Len = 512. V100: DGX-1 with 8X V100 using FP32 precision. DGX A100: DGX A100 with 8X A100 using TF32 precision.
Инференс
Peak Compute
Ускорение инференса повышает окупаемость инвестиций благодаря максимальной утилизации системы
CPU Server: 2X Intel Platinum 8280 using INT8. DGX A100: DGX A100 with 8X A100 using INT8 with Structural Sparsity.
Передовые компоненты системы DGX A100
- 8 GPU NVIDIA A100 с общим объемом памяти 320 Гб
12 соединений NVLink на GPU пропускная способность между GPU 600 Гбит/с - 6 коммутаторов NVSwitch шестого поколения
Двунаправленный интерфейс 4,8 Тбит/с В 2 раза быстрее предыдущего поколения - 9 адаптеров Mellanox ConnectX-6 VPI HDR/200 GB Ethernet
Двунаправленный интерфейс 225 Гбит/с - Два 64-ядерных процессора AMD и 1 Тб системной памяти
В 2,7 раза больше ядер для самых ресурсоемких задач ИИ - SSD Gen4 NVME объемом 15 Тб
Пиковая пропускная способность 25,6 Гбит/с до 2 раз быстрее, чем SSD Gen3 NVME
Технологии NVIDIA DGX A100
- GPU A100
- Multi-Instance GPU
- NVLink и NVSwitch
- Mellanox ConnectX-6
- Оптимизированный стек ПО
- Безопасность
GPU NVIDIA A100 с тензорными ядрами
GPU NVIDIA A100 с тензорными ядрами обеспечивает непревзойденное ускорение для ИИ, анализа данных и высокопроизводительных вычислений (HPC) для решения самых сложных вычислительных задач. Благодаря тензорным ядрам третьего поколения, обеспечивающим значительный прирост производительности, A100 можно масштабировать до тысячи GPU, а с помощью технологии Multi-instance GPU разделить на семь инстансов для ускорения задач любого масштаба.
Multi-Instance GPU (MIG)
Технология MIG позволяет разделить 8 ускорителей в DGX A100 на 56 полностью изолированных инстансов, оснащенных памятью с высокой пропускной способностью, кэшем и вычислительными ядрами. Теперь администраторы могут предложить оптимальный размер GPU с гарантированным качеством обслуживания (QoS) для различных задач.
NVLink и NVSwitch нового поколения
Третье поколение NVIDIA® NVLink® в DGX A100 удваивает скорость обмена данными между GPU до 600 Гбит/с, что почти в 10 раз превосходит показатели PCIe Gen 4. DGX A100 также оснащена коммутатором NVIDIA NVSwitch™ нового поколения, который в 2 раза быстрее предыдущих решений.
Mellanox ConnectX-6 VPI HDR InfiniBand
DGX A100 включает в себя новые адаптеры Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet с пропускной способностью 200 Гбит/с, которые обеспечивают высокоскоростное соединение для задач ИИ.
Оптимизированный стек ПО
DGX A100 содержит протестированный и оптимизированный стек ПО DGX, включая базовую операционную систему для ИИ, все необходимое системное ПО, а также GPU-ускоренные приложения, предварительно натренированные модели и другие ресурсы из NGC™.
Встроенная технология безопасности
DGX A100 обеспечивает самый надежный уровень безопасности для развертываний ИИ благодаря многоуровневому подходу, который защищает все основные программно-аппаратные компоненты, включая самошифрующиеся диски, контейнеры ПО, управление и мониторинг безопасности и другие решения.
