Евросоюз явно отстаёт в гонке экзафлопсных суперкомпьютеров, а у одного из крупнейших проектов, MareNostrum-5, сложная судьба — строительство системы постоянно откладывалось. Не столь давно, наконец-то, процесс возобновился, главным поставщиком стала Atos с её новой платформой BullSequana XH3000, причём в составе машины будут использоваться новые Arm-чипы NVIDIA Grace. Но, как выяснил ресурс The Next Platform, основой суперкомпьютера будут вовсе не они. Да и подрядчик в проекте тоже не один.

Изображение: BSC

Пиковая FP64-производительность составит 314 Пфлопс в HPL, а устоявшаяся — 205 Пфлопс. Однако почти ⅘ из них (163 Пфлопс) обеспечат узлы XH3000 с двумя процессорами Intel Xeon Sapphire Rapids и четырьмя ускорителями NVIDIA H100. В пике они дадут до 270 Пфлопс в FP64, а в вычислениях с пониженной точностью — как раз обещанные 18 Эфлопс. Ещё один кластер будет состоять из узлов Lenovo ThinkSystem SD650 V3, содержащих только CPU Sapphire Rapids, которые суммарно дадут ещё 36 Пфлопс.

Изображение: BSC

Третий кластер получит следующие поколения процессоров Intel Xeon — Emerald Rapids — и ускорителей X^e Rialto Bridge. Но этот раздел совсем невелик — на него придётся всего 2% мощностей MareNostrum-5, т.е. около 4 Пфлопс. Наконец, самую меньшую долю составят спарки NVIDIA Grace, развивать они будут всего около 2 Пфлопс, менее 1% запланированной мощности системы в Linpack. Два вышеописанных кластера описываются как экспериментальные.

А вот сведения о подсистемах хранения данных изначально были опубликованы верные. Систему объединит 400G-сеть InfiniBand NDR (Quantum-2), для хранения «горячих данных» будет применен кластер IBM Elastic Storage Server с файловой системой Spectrum Scale объёмом более 200 Пбайт. Архивное хранилище, тоже от IBM, будет иметь объём 400 Пбайт. Остаётся надеяться, что более задержек не будет, а имеющиеся проблемы с началом массового производства чипов Sapphire Rapids будут успешно решены.

На ISC 2022 NVIDIA рассказала о развитии своей экосистемы HPC-продуктов, которые помимо ускорителей и традиционных сетевых решений теперь включают собственные Arm-чип серии Grace и DPU. В частности, компания совместно с HPE и Лос-Аламосской национальной лабораторией (LANL) анонсировала Arm-суперкомпьютер Venado.

Venado станет второй после анонсированной ещё в прошлом году швейцарской системой ALPS на базе Arm-чипов NVIDIA Grace и первой подобной в США. Причём это будет гибридная машина, сочетающая кластер из узлов, включающих только CPU, и кластер с ускорителями. Разработчики совместно создадут программный стек, позволяющий бесшовно переносить нагрузки между обоими типами узлов. Конкретные характеристики суперкомпьютера пока не раскрываются, но уже сейчас говорится о пиковой ИИ-производительности в 10 Эфлопс (вычисления смешанной точности).

Источник: NVIDIA

Суперкомпьютер Venado (как и ALPS) будет построен на платформе HPE Cray EX, которая становится всё более универсальной — сегодня было объявлено о сотрудничестве HPE с разработчиком европейских HPC-процессоров SiPearl, который только вчера объявил об аналогичном соглашении с NVIDIA. Но HPE теперь не единственный поставщик подобных систем. На ISC 2022 было объявлено о том, что HPC-системы на базе Grace будут также поставлять Atos, Dell Technologies, GIGABYTE, Inspur, Lenovo и Supermicro. Часть из них предложит собственные платформы, часть — решения на базе недавно обновлённой HGX-платформы для OEM-вендоров.

Узел ABOF (Фото: LANL)

Venado — не единственный совместный проект NVIDIA и LANL. Ранее разработчики рассказали о работе над вычислительным хранилищем ABOF (Accelerated Box of Flash), объединяющем NVMe SSD и DPU BlueField-2. На последних возложено обслуживания файловой системы ZFS, а также задачи по компрессии данных, поддержке их целостности и т.д. Но это не единственная функция, которую можно возложить на DPU, о чём NVIDIA говорила неоднократно. DPU позволяют не только ускорить ряд операций, но и задействовать облачный подход при использовании суперкомпьютеров.

Источник: NVIDIA

Именно этого добивается, например, в Техасском центре передовых вычислений (TACC, Texas Advanced Computing Center) для суперкомпьютера Lonestar6. Специалисты из Университета штата Огайо (Ohio State University), Университета Дарема (Durham University) и Мюнхенского технического университета занимаются ускорением работы MPI с помощью DPU, а Университетский колледж Лондона — над повышением эффективности планировщика задач. И это далеко не все проекты.

На весенней конференции GTC 2022 NVIDIA поделилась подробностями о грядущих серверных Arm-процессорах Grace Superchip и гибридах Grace Hopper Superchip, а на Computex 2022 представила первые референсные платформы на базе этих чипов для OEM-производителей и объявила о расширении программы NVIDIA Certified.

Последнее, впрочем, не означает отказ от x86-систем, поскольку программа будет просто расширена. Да и портирование стороннего и собственного ПО займёт некоторое время. Первые несколько десятков моделей серверов от ASUS, Foxconn, GIGABYTE, QCT, Supermicro и Wiwynn появятся в первой половине 2023 года. Представлены они будут в трёх категориях, причём все, за исключением одной, базируются на «сдвоенных» процессорах Grace Superchip, насчитывающих до 144 ядер.

Источник: NVIDIA

Системы серии OVX, представленной ранее, всё так же будут предназначены для цифровых двойников и Omniverse — NVIDIA продолжает наставить на том, что любое современное производство или промышленное предприятие должно быть интеллектуальным. Arm-версия OVA получит неназванные ускорители NVIDIA и DPU Bluefield-3.

Новая платформа NVIDIA CGX очень похожа на OVX — она тоже получит DPU Bluefield-3 и до четырёх ускорителей NVIDIA A16. CGX создана специального для облачных гейминга и работы с графикой.

А вот новое поколение платформы NVIDIA HGX гораздо интереснее. Оно заметно отличается от предыдущих, которые в основном представляли собой различные комбинации базовых плат NVIDIA с четырьмя или восемью ускорителями, вокруг которых OEM-партнёры строили системы в меру своих умений и фантазий. Нынешняя инкарнация NVIDIA HGX всё же несколько более комплексная, поскольку сейчас предлагается два варианта узлов, специально спроектированных для высокоплотных систем и явно ориентированных на высокопроизводительные вычисления (HPC).

Источник: NVIDIA

Первый вариант — это 1U-лезвие (до 84 шт. в стандартной стойке), которое включает один процессор Grace Superchip, до 1 Тбайт LPDDR5x-памяти с пропускной способностью (ПСП) до 1 Тбайт/с и DPU BlueField-3. Иные варианты сетевого подключения оставлены на усмотрение конечного производителя. Заявленный уровень TDP составляет 500 Вт, так что на выбор доступны системы с воздушным и жидкостным охлаждением.

Второй вариант базируется на гибридных чипах Grace Hopper Superchip, объединяющих в себе посредством шины NVLink-C2C процессорную часть с 512 Гбайт LPDDR5x-памяти и ускоритель NVIDIA H100 c 80 Гбайт HBM3-памяти (ПСП до 3,5 Тбайт/с). Помимо DPU BlueField-3 опционально доступен и интерконнект NVLink 4.0, но и здесь вендору оставлена свобода выбора. Уровень TDP для данной платформы составляет 1 кВт, но вот обойтись одним только воздушным охлаждением (а такой вариант есть) при полном заполнении стойки всеми 42-мя 2U-лезвиями будет трудно.

Главным событием GTC 2022 стал анонс новых ускорителей H100 (Hopper), которые станут доступны в III квартале 2022 года. Вслед за ними в первой половине 2023 года появятся давно обещанные CPU Grace и гибридная система Grace Hopper, сочетающие, как понятно из названия, процессоры Grace (ARMv9) и ускорители Hopper.

Как и было сказано ранее, для связи всех компонентов между собой будет использоваться mesh-сеть на базе всё той же шины NVLink 4.0 (900 Гбайт/с) с кеш-когерентностью. А сочетание LPDDR5X (с ECC, конечно) и HBM даст суммарный объём памяти до 600 Гбайт с общей полосой пропускания порядка 2 Тбайт/с. Для Grace Hopper компания подготовит полный стек ПО, благо портированием на Arm она начала заниматься ещё 3 года назад.

NVIDIA Grace (Изображения: NVIDIA)

Двухчиповый процессор Grace Superchip для ИИ- и HPC-нагрузок имеет 144 ядра, результат которых в SPECrate2017_int_base составляет 740, что, по словам компании, в полтора раза выше, чему у пары AMD EPYC, использующихся в DGX A100. И это, честно говоря, не такой уж и впечатляющий результат.

Но NVIDIA утверждает, что новые CPU вдвое лучше по отношению производительности к энергопотреблению, чем «традиционные серверы» — использование LPDDR5X позволяет добиться пропускной способности памяти в 1 Тбайт/с, а вся сборка CPU+RAM будет потреблять менее 500 Вт.

Чипы (или чиплеты, если хотите) в Grace Superchip тоже объединены посредством NVLink, только в данном случае этот интерконнект называется NVLink-C2C (Chip-to-Chip). И его NVIDIA предлагает использовать другим компаниям для создания кастомных сборок, объединяющих необходимые кристаллы, да и сама готова масштабировать и адаптировать свои решения под нужды заказчика.

По словам NVIDIA, NVLink-C2C в 25 раз энергоэффективнее PCIe 5.0, а для его реализации нужна в 90 раз меньшая площадь кремния. Шина предлагает высокую скорость (да-да, всё те же 900 Гбайт/с), низкий уровень задержек, поддержку атомарных операций и совместимость с Arm AMBA CHI, CXL и UCIe.