Частная компания Vultr, предоставляющая услуги облачных вычислений, сообщила о том, что клиентам теперь доступны ускорители NVIDIA H100 для обработки ресурсоёмких приложений, связанных с генеративным ИИ, глубоким обучением, рендерингом видео, HPC-задачами и т. п.

Воспользоваться мощностями платформы NVIDIA HGX H100 заказчики смогут в рамках сервиса IaaS. Данная облачная платформа Vultr также включает другие ускорители NVIDIA, в том числе A100, A40 и A16. Таким образом, как отмечается, корпоративные пользователи могут выбрать наиболее подходящий для себя вариант в зависимости от потребностей.

Кроме того, Vultr объявила о трёхстороннем стратегическом альянсе с платформами обработки данных и машинного обучения Anaconda Inc. и Domino Data Lab. Эта инициатива призвана помочь специалистам по анализу данных и инженерам в области машинного обучения в упрощении и ускорении реализации проектов. Говорится, что в течение всего 60 секунд клиенты смогут развернуть полноценную и безопасную среду Anaconda на платформе Domino MLOps, работающую на инфраструктуре Vultr. Это позволит заказчикам сосредоточиться на инновациях, а не на решении рабочих вопросов.

Источник изображения: Vultr

Ускорители NVIDIA также могут быть интегрированы с широким спектром виртуализированных облачных ресурсов Vultr, серверами bare metal, управляемыми базами данных, блочными и объектными хранилищами и пр. Этот комплексный набор продуктов и услуг способен удовлетворить потребности предприятий любого размера с критически важными проектами в области ИИ и машинного обучения.

На весенней конференции GTC 2022 NVIDIA поделилась подробностями о грядущих серверных Arm-процессорах Grace Superchip и гибридах Grace Hopper Superchip, а на Computex 2022 представила первые референсные платформы на базе этих чипов для OEM-производителей и объявила о расширении программы NVIDIA Certified.

Последнее, впрочем, не означает отказ от x86-систем, поскольку программа будет просто расширена. Да и портирование стороннего и собственного ПО займёт некоторое время. Первые несколько десятков моделей серверов от ASUS, Foxconn, GIGABYTE, QCT, Supermicro и Wiwynn появятся в первой половине 2023 года. Представлены они будут в трёх категориях, причём все, за исключением одной, базируются на «сдвоенных» процессорах Grace Superchip, насчитывающих до 144 ядер.

Источник: NVIDIA

Системы серии OVX, представленной ранее, всё так же будут предназначены для цифровых двойников и Omniverse — NVIDIA продолжает наставить на том, что любое современное производство или промышленное предприятие должно быть интеллектуальным. Arm-версия OVA получит неназванные ускорители NVIDIA и DPU Bluefield-3.

Новая платформа NVIDIA CGX очень похожа на OVX — она тоже получит DPU Bluefield-3 и до четырёх ускорителей NVIDIA A16. CGX создана специального для облачных гейминга и работы с графикой.

А вот новое поколение платформы NVIDIA HGX гораздо интереснее. Оно заметно отличается от предыдущих, которые в основном представляли собой различные комбинации базовых плат NVIDIA с четырьмя или восемью ускорителями, вокруг которых OEM-партнёры строили системы в меру своих умений и фантазий. Нынешняя инкарнация NVIDIA HGX всё же несколько более комплексная, поскольку сейчас предлагается два варианта узлов, специально спроектированных для высокоплотных систем и явно ориентированных на высокопроизводительные вычисления (HPC).

Источник: NVIDIA

Первый вариант — это 1U-лезвие (до 84 шт. в стандартной стойке), которое включает один процессор Grace Superchip, до 1 Тбайт LPDDR5x-памяти с пропускной способностью (ПСП) до 1 Тбайт/с и DPU BlueField-3. Иные варианты сетевого подключения оставлены на усмотрение конечного производителя. Заявленный уровень TDP составляет 500 Вт, так что на выбор доступны системы с воздушным и жидкостным охлаждением.

Второй вариант базируется на гибридных чипах Grace Hopper Superchip, объединяющих в себе посредством шины NVLink-C2C процессорную часть с 512 Гбайт LPDDR5x-памяти и ускоритель NVIDIA H100 c 80 Гбайт HBM3-памяти (ПСП до 3,5 Тбайт/с). Помимо DPU BlueField-3 опционально доступен и интерконнект NVLink 4.0, но и здесь вендору оставлена свобода выбора. Уровень TDP для данной платформы составляет 1 кВт, но вот обойтись одним только воздушным охлаждением (а такой вариант есть) при полном заполнении стойки всеми 42-мя 2U-лезвиями будет трудно.

Gigabyte анонсировала 4U-сервер G492-PD0, предназначенный для облачных платформ, систем ИИ и инфраструктур высокопроизводительных вычислений (HPC). Допускается установка одного процессора Ampere Altra (Max), насчитывающего до 128 ядер. Есть 16 слотов для модулей оперативной памяти DDR4-3200 ёмкостью до 256 Гбайт каждый. А главное — поддержка до восьми 80-Гбайт ускорителей NVIDIA A100 в составе HGX-платы Delta.

Изображение: Gigabyte Technology

Предусмотрены шесть посадочных мест для SFF-накопителей NVMe/SATA. Кроме того, могут быть задействованы четыре модуля M.2 формата 2260/2280/22110. Для всех накопителей предусмотрена поддержка PCIe 4.0, равно как и для десяти PCIe-слотов для низкопрофильных карт расширения. В оснащение входят двухпортовый сетевой контроллер 1GbE и выделенный 1GbE-порт управления для BMC ASPEED AST2500.

Изображение: Gigabyte Technology

Габариты сервера составляют 448 × 175,2 × 900 мм. Применена система воздушного охлаждения, включающая одиннадцать 80-мм вентиляторов и десять — 40-мм. Питается сервер от четырёх (3+1) БП мощностью 3 кВт каждый. Говорится о совместимости с программной платформой Ubuntu 20.04.1 LTS (ядро 5.8 или новее) и соответствии стандартам Arm SystemReady и Arm ServerReady.

Компания Supermicro сообщила о поддержке новейших версий программного обеспечения и оборудования NVIDIA. Речь идёт о платформе Omniverse Enterprise, а также об акселераторах NVIDIA RTX A5500, платформе NVIDIA HGX A100 и ускорителях нового поколения NVIDIA H100 Tensor Core. Говорится также, что эталонная архитектура NVIDIA OVX доступна на серверах Supermicro SYS-420GP-TNR с GPU NVIDIA A40.

«Предлагаемый компанией Supermicro ассортимент серверов и рабочих станций разработан с учётом преимуществ пакета программного обеспечения NVIDIA AI Enterprise и платформы Omniverse Enterprise и позволяет специалистам беспрепятственно и более эффективно выполнять совместную работу», — отмечает Supermicro.

Источник изображения: Supermicro

Для осуществления реалистичного моделирования на базе Omniverse Enterprise могут применяться такие аппаратные решения Supermicro, как SuperWorkstation 5014A-TT A+, SYS-540A-TR и SuperServer SYS-420GP-TNR. Серверы и рабочие станции Supermicro, сертифицированные компанией NVIDIA, проходят проверку на соответствие требованиям к инфраструктуре с ускорением на базе графических процессоров, способной справляться с разнообразным набором задач.

На GTC 2022 компания NVIDIA анонсировала ускорители H100 на базе новой архитектуры Hopper. Однако NVIDIA уже давно говорит о себе как создателе платформ, а не отдельных устройств, так что вместе с H100 были представлены серверные Arm-процессоры Grace, в том числе гибридные, а также сетевые решения и обновления наборов ПО.

NVIDIA H100 (Изображения: NVIDIA)

NVIDIA H100 использует мультичиповую 2.5D-компоновку CoWoS и содержит порядка 80 млрд транзисторов. Но нет, это не самый крупный чип компании на сегодняшний день. Кристаллы новинки изготавливаются по техпроцессу TSMC N4, а сопровождают их — впервые в мире, по словам NVIDIA — сборки памяти HBM3 суммарным объёмом 80 Гбайт. Объём памяти по сравнению с A100 не вырос, зато в полтора раза увеличилась её скорость — до рекордных 3 Тбайт/с.

NVIDIA H100 (SXM)

Подробности об архитектуре Hopper будут представлены чуть позже. Пока что NVIDIA поделилась некоторыми сведениями об особенностях новых чипов. Помимо прироста производительности от трёх (для FP64/FP16/TF32) до шести (FP8) раз в сравнении с A100 в Hopper появилась поддержка формата FP8 и движок Transformer Engine. Именно они важны для достижения высокой производительности, поскольку само по себе четвёртое поколение ядер Tensor Core стало втрое быстрее предыдущего (на всех форматах).

NVIDIA H100 CNX (PCIe)

TF32 останется форматом по умолчанию при работе с TensorFlow и PyTorch, но для ускорения тренировки ИИ-моделей NVIDIA предлагает использовать смешанные FP8/FP16-вычисления, с которыми Tensor-ядра справляются эффективно. Хитрость в том, что Transformer Engine на основе эвристик позволяет динамически переключаться между ними при работе, например, с каждым отдельным слоем сети, позволяя таким образом добиться повышения скорости обучения без ущерба для итогового качества модели.

На больших моделях, а именно для таких H100 и создавалась, сочетание Transformer Engine с другими особенностями ускорителей (память и интерконнект) позволяет получить девятикратный прирост в скорости обучения по сравнению с A100. Но Transformer Engine может быть полезен и для инференса — готовые FP8-модели не придётся самостоятельно конвертировать в INT8, движок это сделает на лету, что позволяет повысить пропускную способность от 16 до 30 раз (в зависимости от желаемого уровня задержки).

Другое любопытное нововведение — специальные DPX-инструкции для динамического программирования, которые позволят ускорить выполнение некоторых алгоритмов до 40 раз в задачах, связанных с поиском пути, геномикой, квантовыми системами и при работе с большими объёмами данных. Кроме того, H100 получили дальнейшее развитие виртуализации. В новых ускорителях всё так же поддерживается MIG на 7 инстансов, но уже второго поколения, которое привнесло больший уровень изоляции благодаря IO-виртуализации, выделенным видеоблокам и т.д.

Так что MIG становится ещё более предпочтительным вариантом для облачных развёртываний. Непосредственно к MIG примыкает и технология конфиденциальных вычислений, которая по словам компании впервые стала доступна не только на CPU. Программно-аппаратное решение позволяет создавать изолированные ВМ, к которым нет доступа у ОС, гипервизора и других ВМ. Поддерживается сквозное шифрование при передаче данных от CPU к ускорителю и обратно, а также между ускорителями.

Память внутри GPU также может быть изолирована, а сам ускоритель оснащается неким аппаратным брандмауэром, который отслеживает трафик на шинах и блокирует несанкционированный доступ даже при наличии у злоумышленника физического доступа к машине. Это опять-таки позволит без опаски использовать H100 в облаке или в рамках колокейшн-размещения для обработки чувствительных данных, в том числе для задач федеративного обучения.

NVIDIA HGX H100

Но главная инновация — это существенное развитие интерконнекта по всем фронтам. Суммарная пропускная способность внешних интерфейсов чипа H100 составляет 4,9 Тбайт/с. Да, у H100 появилась поддержка PCIe 5.0, тоже впервые в мире, как утверждает NVIDIA. Однако ускорители получили не только новую шину NVLink 4.0, которая стала в полтора раза быстрее (900 Гбайт/с), но и совершенно новый коммутатор NVSwitch, который позволяет напрямую объединить между собой до 256 ускорителей! Пропускная способность «умной» фабрики составляет до 70,4 Тбайт/с.

Сама NVIDIA предлагает как новые системы DGX H100 (8 × H100, 2 × BlueField-3, 8 × ConnectX-7), так и SuperPOD-сборку из 32-х DGX, как раз с использованием NVLink и NVSwitch. Партнёры предложат HGX-платформы на 4 или 8 ускорителей. Для дальнейшего масштабирования SuperPOD и связи с внешним миром используются 400G-коммутаторы Quantum-2 (InfiniBand NDR). Сейчас NVIDIA занимается созданием своего следующего суперкомпьютера EOS, который будет состоять из 576 DGX H100 и получит FP64-производительность на уровне 275 Пфлопс, а FP16 — 9 Эфлопс.

Компания надеется, что EOS станет самой быстрой ИИ-машиной в мире. Появится она чуть позже, как и сами ускорители, выход которых запланирован на III квартал 2022 года. NVIDIA представит сразу три версии. Две из них стандартные, в форм-факторах SXM4 (700 Вт) и PCIe-карты (350 Вт). А вот третья — это конвергентный ускоритель H100 CNX со встроенными DPU Connect-X7 класса 400G (подключение PCIe 5.0 к самому ускорителю) и интерфейсом PCIe 4.0 для хоста. Компанию ей составят 400G/800G-коммутаторы Spectrum-4.

Несмотря на то, что позиции классического воздушного охлаждения в мощных серверах ещё достаточно сильны, всё чаще и чаще выпускаются варианты, рассчитанные изначально под охлаждение жидкостное. Особенно это актуально с учётом того, что плотности упаковки вычислительных мощностей растут и отводить нагрев от многочисленных ускорителей становится всё сложнее. Два новых сервера GIGABYTE, G262-ZL0 и G492-ZL2, изначально рассчитаны на подключение к контурам СЖО в ЦОД.

Новинки подходят для формирования HPC-систем, комплексов машинного обучения, аналитики «больших данных» и вообще для любых задач. Оба сервера рассчитаны используют платформу NVIDIA HGX с SXM4-ускорителеями A100 (80 Гбайт). В первой модели высотой 2U таких ускорителя четыре, во второй, более габаритной (4U) — восемь. Используются процессоры AMD EPYC 7003 (Milan), поддерживаются технологии NVLink и NVSwitch (для G492-ZL2).

Дополнительно предусмотрены низкопрофильные слоты расширения: пять у G262-ZL0 и десять у G492-ZL2, кроме того, младшая модель имеет и слот для установки карт OCP 3.0. Заявлена поддержка 400G-адаптеров NVIDIA/Mellanox ConnectX-7. Подсистема хранения данных представлена четырьмя и шестью отсеками U.2 NVMe/SATA соответственно.

СЖО, применённая в новых серверах GIGABYTE, разработана в сотрудничестве с CoolIT Systems. Контуры охлаждения центральных процессоров и графических ускорителей NVIDIA разделены; последние используют фитинги и шланги большего диаметра, поскольку основная тепловая нагрузка придётся именно на ускорители. Соответствует и подсистема питания: это два блока питания мощностью 3 кВт у модели высотой 2U и целых четыре (3+1) таких блока у 4U-модели.

Компания Supermicro анонсировала серверы SuperServer SYS-220GQ-TNAR+ и SuperServer SYS-220GP-TNR на базе Intel Xeon Ice Lake-SP и ускорителей NVIDIA. Устройства предназначены для высокопроизводительных вычислений (НРС), обработки алгоритмов искусственного интеллекта (ИИ) и решения различных облачных задач.

Обе модели выполнены в формате 2U. Они поддерживают установку двух процессоров Intel Xeon Scalable третьего поколения в исполнении Socket P+ (LGA-4189). Могут применяться чипы с показателем TDP до 270 Вт. Первая относится к решениям на платформе NVIDIA HGX A100 (Redstone). Вторая же является более универсальной, поскольку рассчитана на PCIe-ускорители, в том числе начального и среднего уровня.

Здесь и ниже изображения Supermicro

Первая модель — SuperServer SYS-220GQ-TNAR+ — наделена 32 слотами для модулей оперативной памяти DDR4-3200. GPU-часть представлена блоком из четырёх акселераторов NVIDIA A100 (80 Гбайт) с NVLink. Во фронтальной части предусмотрены четыре посадочных места для 2,5" накопителей с функцией «горячей» замены.

Присутствуют два сетевых порта 10GbE. Кроме того, возможна установка 200GbE-адаптеров NVIDIA ConnectX-6 с поддержкой GPUDirect RDMA (в соотношении 1:1 DPU:GPU). За питание отвечают два блока мощностью 3000 Вт каждый.

Модификация SuperServer SYS-220GP-TNR располагает 16 слотами для модулей ОЗУ. Могут применяться PCIe-акселераторы NVIDIA A100, A40 и RTX A6000. В лицевой части находятся 10 отсеков для накопителей стандарта 2,5". В оснащение входят два блока питания на 2600 Вт каждый.

На суперкомпьютерной выставке-конференции ISC 2021 компания NVIDIA представила обновление платформы HGX A100 для OEM-поставщиков, которая теперь включает PCIe-ускорители NVIDIA c 80 Гбайт памяти, InfiniBand NDR и поддержку Magnum IO с GPUDirect Storage.

В основе новинки лежат наиболее продвинутые на сегодняшний день технологии, имеющиеся в распоряжении NVIDIA. В первую очередь, это, конечно, ускорители на базе архитектуры Ampere, оснащённые процессорами A100 с производительностью почти 10 Тфлопс в режиме FP64 и 624 Топс в режиме тензорных вычислений INT8.

HGX A100 предлагает 300-Вт версию ускорителей с PCIe 4.0 x16 и удвоенным объёмом памяти HBM2e (80 Гбайт). Увеличена и пропускная способность (ПСП), в новой версии ускорителя она достигла 2 Тбайт/с. И если по объёму и ПСП новинки догнали SXM-версию A100, то в отношении интерконнекта они всё равно отстают, так как позволяют напрямую объединить посредством NVLink только два ускорителя.

В качестве сетевой среды в новой платформе NVIDIA применена технология InfiniBand NDR со скоростью 400 Гбит/с. Можно сказать, что InfiniBand догнала Ethernet, хотя не столь давно её потолком были 200 Гбит/с, а в плане латентности IB по-прежнему нет равных. Сетевые коммутаторы NVIDIA Quantum 2 поддерживают до 64 портов InfiniBand NDR и вдвое больше для скорости 200 Гбит/с, а также имеют модульную архитектуру, позволяющую при необходимости нарастить количество портов NDR до 2048. Пропускная способность при этом может достигать 1,64 Пбит/с.

Технология NVIDIA SHARP In-Network Computing позволяет компании заявлять о 32-крантом превосходстве над системами предыдущего поколения именно в области сложных задач машинного интеллекта для индустрии и науки. Естественно, все преимущества машинной аналитики используются и внутри самого продукта — технология UFM Cyber-AI позволяет новой платформе исправлять большинство проблем с сетью на лету, что минимизирует время простоя.

Отличным дополнением к новым сетевым возможностями является технология GPUDirect Storage, которая позволяет NVMe-накопителям общаться напрямую с GPU, минуя остальные компоненты системы. В качестве программной прослойки для обслуживания СХД новая платформа получила систему Magnum IO с поддержкой вышеупомянутой технологии, обладающую низкой задержкой ввода-вывода и по максимуму способной использовать InfiniBand NDR.

Три новых ключевых технологии NVIDIA помогут супервычислениям стать ещё более «супер», а суперкомпьютерам следующего поколения — ещё более «умными» и производительными. Достигнуты договорённости с такими крупными компаниями, как Atos, Dell Technologies, HPE, Lenovo, Microsoft Azure и NetApp. Решения NVIDIA используются как в индустрии — в качестве примера можно привести промышленный суперкомпьютер Tesla Automotive, так и в ряде других областей.

В частности, фармакологическая компания Recursion использует наработки NVIDIA в области машинного обучения для поиска новых лекарств, а национальный научно-исследовательский центр энергетики (NERSC) применяет ускорители A100 в суперкомпьютере Perlmutter при разработке новых источников энергии. И в дальнейшем NVIDIA продолжит своё наступление на рынок HPC, благо, она может предложить заказчикам как законченные аппаратные решения, так и облачные сервисы, также использующие новейшие технологии компании.

Компания GIGABYTE Technology представила сервер G262-ZR0, предназначенный для решения задач в области ИИ и аналитики данных, а также для построения систем высокопроизводительных вычислений. Новинка использует платформу NVIDIA HGX A100 4-GPU, объединяющую графические ускорители NVIDIA A100, которые связаны высокоскоростным интерфейсом NVLink.

Общая вычислительная нагрузка возложена на два процессора AMD EPYC 7002 (плата MZ62-HD5), каждый из которых может содержать до 64 ядер. Для модулей оперативной памяти доступны 16 слотов: в системе можно задействовать до 4 Тбайт ОЗУ типа DDR4-3200. Предусмотрена возможность установки четырёх 2,5-дюймовых накопителей U.2 NVMe или SATA, а также двух твердотельных модулей M.2 посредством райзер-карты.

Ещё один слот M.2 есть на материнской плате. Также есть один мезонин OCP 3.0 PCI 4.0 x16 и два слота PCI 4.0 x16 во фронтальной части. Все они берует линии непосредственно у процессоров. Ещё четыре слота PCI 4.0 x16 в задней части подключены посредством коммутаторов Broadcom PEX88096. Все слоты рассчитаны на низкопрофильные карты расширения.

Присутствуют два сетевых порта 1GbE LAN на базе контроллера Intel I350-AM2, а также выделенный сетевой порт управления для BMC Aspeed AST2500. Питание обеспечивают два блока с сертификацией 80 PLUS Platinum мощностью 3000 Вт каждый.

На фронтальную панель, помимо гнёзд для сетевых кабелей, выведены два разъёма USB 3.0, а также интерфейс mini-DP. Сервер выполнен в формате 2‎U с габаритами 448 × 86,4 × 760 мм. Подробные характеристики новинки доступны здесь.

Компания GIGABYTE Technology официально представила сервер G492-ZD0 на базе платформы NVIDIA HGX A100 8-GPU. Новинка предназначена для формирования систем высокопроизводительных вычислений (HPC), а также комплексов для аналитики больших данных и поддержания работы приложений искусственного интеллекта (ИИ).

Сервер выполнен в формате 4‎U на материнской плате MZ52-G40. Допускается установка двух процессоров AMD EPYC 7002, каждый из которых может содержать до 64 вычислительных ядер (до 128 потоков инструкций).

Для модулей оперативной памяти DDR4-3200/2933 доступны 32 слота: суммарный объём ОЗУ может достигать 8 Тбайт. Доступны отсеки для восьми 2,5-дюймовых накопителей U.2 NVMe/SATA с возможностью «горячей» замены.

Новинка располагает восемью разъёмами SXM4 для GPU NVIDIA A100. Кроме того, есть восемь слотов для низкопрофильных карт расширения PCIe 4.0 x16.

Сервер оснащён двумя сетевыми портами 10GbE и дополнительным портом управления 1GbE. Подсистема питания объединяет четыре блока с сертификацией 80 PLUS Platinum мощностью 3000 Вт.