Компания ASUS анонсировала на выставке Computex 2023 сервер ESC N8-E11 в форм-факторе 7U, предназначенный для работы с генеративным ИИ и большими языковыми моделями. Новинка построена на аппаратной платформе Intel Xeon Sapphire Rapids с возможностью установки двух процессоров с показателем TDP до 350 Вт.

Система располагает 32 слотами для модулей оперативной памяти DDR5-4800/4400 суммарным объёмом до 8 Тбайт. В общей сложности доступны 10 посадочных мест для SFF-накопителей: спереди находятся восемь отсеков для устройств NVMe, сзади — два слота для изделий NVMe/SATA/SAS.

Сервер способен нести на борту до восьми ускорителей NVIDIA HGX H100. В оснащение входят двухпортовый сетевой контроллер 10GbE (Intel X710-AT2) и выделенный сетевой порт управления. Опционально может быть добавлена карта Broadcom MegaRAID 9560-16i или Broadcom MegaRAID 9540-8i. Доступны по два коннектора для твердотельных модулей M.2 PCIe 5.0 x4 и M.2 PCIe 3.0 x2. Во фронтальной части расположены четыре порта USB 3.2 Gen1, гнёзда RJ-45 для сетевых кабелей, интерфейс D-Sub.

Система ESC N8-E11 имеет габариты 885 × 447 × 306,65 мм и весит 99 кг. Питание может быть организовано по схеме 4 + 2 или 3 + 3 с блоками мощностью 3000 Вт, имеющими сертификат 80 PLUS Titanium. Сервер может использоваться в температурном диапазоне от +10 до +35 °C.

Компания NVIDIA в ходе выставки Computex 2023 представила HPC-комплексы Taipei-1 и Israel-1. Первый из названных суперкомпьютеров ориентирован на решение сложных задач в области ИИ и промышленных метавселенных, а второй будет выступать в качестве испытательного полигона для тестирования новых решений.

Основа Taipei-1 — 64 системы NVIDIA DGX H100. Это полностью оптимизированная аппаратная и программная платформа, включающая поддержку новых программных решений NVIDIA для ИИ. Конфигурация узлов включает восемь ускорителей H100, два DPU BlueField-3 и 2 Тбайт памяти.

Кроме того, в состав Taipei-1 войдут 64 системы NVIDIA OVX , которые предназначены для построения крупномасштабных цифровых двойников. Клиентам будет доступен облачный сервис DGX Cloud, а софт NVIDIA Base Command поможет в мониторинге рабочих нагрузок.

Ведущие тайваньские образовательные и научно-исследовательские институты одними из первых получат доступ к Taipei-1 для развития здравоохранения, больших языковых моделей (LLM), климатологии, робототехники, интеллектуального производства и промышленных проектов. Использовать мощности суперкомпьютера, в частности, планирует Национальный тайваньский университет.

Изображение: NVIDIA

В свою очередь, комплекс Israel-1 станет самым мощным ИИ-суперкомпьютером в Израиле. Машина объединит 256 серверов Dell PowerEdge XE9680 на основе NVIDIA HGX H100. В общей сложности будут задействованы 2560 изделий BlueField-3 DPU и 80 коммутаторов Spectrum-4. Общее пиковое быстродействие системы составит 130 Пфлопс, а производительность на ИИ-операциях — до 8 Эфлопс.

Любопытно, что на выставке также удалось обнаружить упоминание пока что не анонсированной машины Taiwania 4, о которой писали зарубежные СМИ. В частности, говорится, что система получит 44 узла со 144-ядерными Arm-чипами Grace, которые будут объединены интеконнектом NVIDIA Quantum-2 InfiniBand NDR. Созданием суперкомпьютера займётся ASUS, а расположится он в тайваньском Национальном центре высокопроизводительных вычислений (NCHC).

Компания Gigabyte и её подразделение Giga Computing в ходе выставки Computex 2023 анонсировали сервер G593-SD0, оптимизированный для машинного обучения и задач генеративного ИИ. Новинка, выполненная в форм-факторе 5U, ориентирована на крупные дата-центры.

В сервере применена материнская плата на наборе логики Intel C741. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. В максимальной конфигурации могут быть задействованы восемь ускорителей NVIDIA HGX H100 (SXM5).

Во фронтальной части расположены восемь отсеков для SFF-накопителей NVMe/SATA/SAS; поддерживаются массивы RAID 0/1/10/5. В общей сложности доступны 12 слотов PCIe 5.0 x16 и один слот PCIe 4.0 x16 для низкопрофильных карт расширения. В оснащение входят контроллер Aspeed AST2600, двухпортовый сетевой адаптер 10GbE (Intel X710-AT2), выделенный сетевой порт управления (спереди и сзади), два разъёма USB 3.2 Gen1 и интерфейс D-Sub.

Источник изображения: Gigabyte Technology

Габариты сервера составляют 447 × 222,25 × 945 мм. Применены система воздушного охлаждения и шесть блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.

Компания Supermicro анонсировала первые, по её словам, на рынке серверы на базе платформы NVIDIA HGX H100, оборудованные системой жидкостного охлаждения. Клиенты смогут выбирать между четырьмя стоечными моделями в разных форм-факторах на процессорах Intel и AMD.

В частности, представлены серверы SYS-821GE-TNHR и AS-8125GS-TNHR типоразмера 8U. В первом случае могут быть установлены два процессора Intel Xeon Sapphire Rapids с TDP до 350 Вт. Поддерживается до 8 Тбайт оперативной памяти DDR5-4800 ECC в виде 32 модулей. Вторая из этих систем рассчитана на два чипа AMD EPYC 9004 (Genoa) с TDP до 400 Вт, а объём ОЗУ стандарта DDR5-4800 ECC может достигать 6 Тбайт (24 слота).

Источник изображений: Supermicro

Названные модели допускают монтаж восьми ускорителей H100 SXM5. Во фронтальной части расположены 24 отсека для SFF-накопителей. Intel-версия может быть опционально оборудована двумя сетевыми портами 10GbE или 25GbE SFP28, а также двумя SSD формата M.2 NVMe. У сервера на платформе AMD есть только один коннектор M.2 NVMe. В обоих случаях задействованы блоки питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium.

Кроме того, дебютировали серверы SYS-421GU-TNXR и SYS-521GU-TNXR в форм-факторе 4U и 5U соответственно. Они могут нести на борту два процессора Xeon Sapphire Rapids, до 8 Тбайт памяти DDR5-4800 ECC (32 слота), два модуля M.2 NVMe/SATA и четыре ускорителя HGX H100 SXM5. Первая из этих систем располагает шестью отсеками для SFF-накопителей NVMe/SATA, вторая — десятью. Предусмотрены два сетевых порта 10GbE. Мощность блоков питания стандарта 80 PLUS Titanium — 3000 Вт. Все новинки рассчитаны на работу в температурном диапазоне от +10 до +35 °C.

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

• 8 ускорителей NVIDIA H100 Hopper.
• Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
• Процессоры Intel Xeon Sapphire Rapids.
• 2 Тбайт оперативной памяти DDR5-4800.
• 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

В Центре вычислительных наук Университета Цукубы (University of Tsukuba; префектура Ибараки, Япония), по сообщению HPC Wire, началась эксплуатация HPC-комплекса Pegasus, спроектированного компанией NEC. Это, судя по всему, один из последних суперкомпьютеров, который получит большой объём памяти Optane Pmem, производство которой было остановлено Intel.

Система объединяет 120 узлов NEC LX 102Bk-6 на основе одного процессора Xeon Platinum 8468 поколения Sapphire Rapids (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт), работающего в тандеме со 128 Гбайт оперативной памяти DDR5-4800, дополненных 2 Тбайт памяти Optane PMem 300 (Crow Pass). Любопытно, что по умолчанию часть Optane-памяти отведена под XFS-том (fsdax), но по желанию пользователи могут выбрать и другой режим работы. Кроме того, в состав каждого из узлов входят один PCIe-ускоритель NVIDIA H100.

Источник изображения: Университет Цукубы

Также каждый узел имеет по два накопителя NVMe SSD на 3,2 Тбайт (7 Гбайт/с), а объединены они 200G-интерконнектом Quantum-2 InfiniBand. Дополняет HPC-комплекс гибридное хранилище на базе DDN ES200NV/ES7990X/SS9012, объединяющее NL-SAS HDD вместимостью 18 Тбайт (7200 об/мин) и 1,92-Тбайт NVMe SSD. Суммарная доступная ёмкость составляет приблизительно 7,1 Пбайт, а скорость обмена данными — порядка 40 Гбайт/с.

Источник изображения: Университет Цукубы

Кроме того, применены три дополнительных узла NEC LX 124Rk-2 с двумя чипами Xeon Platinum 8468, 256 Гбайт памяти DDR5, накопителем NVMe SSD и InfiniBand-подключением. Быстродействие Pegasus теоретически достигает 6,5 Пфлопс для вычислений двойной точности. Использовать мощности нового суперкомпьютера планируется в таких областях, как астрофизика, климатология, биология, здравоохранение, Big Data и ИИ. В Университете Цукубы есть ещё один необычный суперкомпьютер Cygnus, объединяющий ускорители NVIDIA Tesla и Intel FPGA.

AWS и NVIDIA объявили о заключении соглашения о многостороннем сотрудничестве с целью создания самой масштабируемой в мире инфраструктуры искусственного интеллекта (ИИ) по требованию, оптимизированной для обучения всё более сложных больших языковых моделей (LLM) и разработки генеративных приложений ИИ.

Компании займутся развёртыванием инстансов следующего поколения EC2 P5 на базе ускорителей NVIDIA H100 с продвинутыми сетевыми возможностями и возможностями масштабирования в AWS, что позволит достичь производительности 20 Эфлопс. Каждый инстанс P5 оснащён восемью ускорителями NVIDIA H100. P5 станут первыми инстансами с ускорителями, в которых используются адаптеры AWS Elastic Fabric Adapter (EFA) 2-го поколения с низкой задержкой, скоростью передачи данных 3,200 Тбит/с и поддержкой NVIDIA GPUDirect RDMA, что позволит объединить до 20 тыс. ускорителей. Для сравнения — OCI SuperCluster позволяет объединить до 32 768 ускорителей A100).

Источник изображения: NVIDIA

Как отмечено в пресс-релизе NVIDIA, инстансы P5 идеально подходят для обучения и инференса для всё более сложных LLM и моделей компьютерного зрения, лежащих в основе самых требовательных и ресурсоёмких приложений генеративного ИИ. Повышенная производительность инстансов P5 позволяет сократить время обучения моделей машинного обучения (ML) до 6 раз. Ожидается, что инстансы P5 снизят затраты на обучение моделей машинного обучения по сравнению с предыдущим поколением на 40 %.

В результате заказчики получают производительность сравнимую с таковой у локальных HPC-кластеров, но с эластичностью и гибкостью AWS. Кроме того, клиенты смогут использовать портфолои сервисов AWS, включая S3, FSx, SageMaker и т.д. Инстансы P5 станут доступны в ближайшие недели в ограниченной предварительной версии.

В связи с санкционными ограничениями некоторые разновидности сложных микроэлектронных чипов запрещено экспортировать в Китайскую Народную Республику. Однако производители находят выход. В частности, компания NVIDIA анонсировала экспортный вариант ускорителя H100, не нарушающий никаких санкций. Модельный номер у такого варианта изменён на H800.

Введённые правительством США в 2022 году санкции сделали «невыездными» два наиболее продвинутых продукта NVIDIA: A100 и H100. Такие процессоры сегодня являются основой наиболее динамично развивающейся вычислительной отрасли — нейросетевой. Именно на кластерах из таких ускорителей «натаскивают» мощные нейросети вроде ChatGPT и подобных.

Ускоритель Hopper H100 в SXM-исполнении. Источник изображений здесь и далее: NVIDIA

Ещё осенью прошлого года NVIDIA анонсировала A800 — экспортный вариант A100, не попадающий под ограничения за счёт некоторого снижения пропускной способности NVLink, с 600 до 400 Гбайт/с. Сейчас пришло время архитектуры Hopper, которая запущена в массовое производство. По аналогии с флагманом Ampere модернизированный чип получил модельный номер H800. Ограничения в нём реализованы схожим образом: как известно, NVLink в H100 имеет производительность 900 Гбайт/с в базовом SXM-варианте.

H100 также существует в PCIe-варианте

Версия H800 использует примерно половину этого потенциала, что, впрочем, не делает её в Китае менее популярной: новинка уже используется китайскими облачными гигантами, такими, как Alibaba, Baidu и Tencent. Есть ли у H800 другие отличия от H100, не говорится — NVIDIA пока отказывается предоставлять такую информацию. Достоверно известно лишь то, что они полностью соответствуют всем санкционным ограничениям. Интересно, появится ли в будущем вариант H800 NVL на базе NVIDIA H100 NVL.

Компания Supermicro анонсировала полный спектр серверов, оборудованных ускорителями NVIDIA H100 и L4. Системы предназначены для задач HPC, генеративного ИИ, глубокого обучения и других ресурсоёмких приложений, таких как умные чат-боты и визуальный поиск.

Отмечается, что в ассортименте Supermicro присутствуют серверы в форм-факторах 8U, 6U, 5U, 4U, 2U и 1U, а также рабочие станции и системы SuperBlade, которые поддерживают весь модельный ряд новых ускорителей NVIDIA. Для ряда моделей доступно жидкостное охлаждение.

Источник изображений: Supermicro

В частности, Supermicro представила мощную систему SuperServer SYS-821GE-TNHR формата 8U. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт и 32 модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. Сервер может быть оборудован восемью ускорителями NVIDIA H100 SXM5.

Во фронтальной части предусмотрены отсеки для 16 NVMe-накопителей SFF и для восьми изделий SFF SATA. Кроме того, есть два внутренних коннектора M.2 NVMe. Сервер располагает четырьмя блоками питания мощностью 3000 Вт каждый. Может быть развёрнуто воздушное или жидкостное охлаждение. В качестве опции предлагается установка двух сетевых контроллеров 10GbE (Intel X710-AT2).

Supermicro также выпустила шасии в серии X13 SuperBlade. В версии 8U оно вмещает 20 ускорителей NVIDIA H100 PCIe или 40 ускорителей NVIDIA L40. В варианте 6U можно использовать до 10 ускорителей NVIDIA H100 PCIe или до 20 ускорителей NVIDIA L4. Кроме того, Supermicro выпустила систему ИИ-разработки с жидкостным охлаждением (в виде башни или стойки), содержащую два CPU и четыре NVIDIA A100: это решение подходит для офисных и домашних сред.

Частная компания Vultr, предоставляющая услуги облачных вычислений, сообщила о том, что клиентам теперь доступны ускорители NVIDIA H100 для обработки ресурсоёмких приложений, связанных с генеративным ИИ, глубоким обучением, рендерингом видео, HPC-задачами и т. п.

Воспользоваться мощностями платформы NVIDIA HGX H100 заказчики смогут в рамках сервиса IaaS. Данная облачная платформа Vultr также включает другие ускорители NVIDIA, в том числе A100, A40 и A16. Таким образом, как отмечается, корпоративные пользователи могут выбрать наиболее подходящий для себя вариант в зависимости от потребностей.

Кроме того, Vultr объявила о трёхстороннем стратегическом альянсе с платформами обработки данных и машинного обучения Anaconda Inc. и Domino Data Lab. Эта инициатива призвана помочь специалистам по анализу данных и инженерам в области машинного обучения в упрощении и ускорении реализации проектов. Говорится, что в течение всего 60 секунд клиенты смогут развернуть полноценную и безопасную среду Anaconda на платформе Domino MLOps, работающую на инфраструктуре Vultr. Это позволит заказчикам сосредоточиться на инновациях, а не на решении рабочих вопросов.

Источник изображения: Vultr

Ускорители NVIDIA также могут быть интегрированы с широким спектром виртуализированных облачных ресурсов Vultr, серверами bare metal, управляемыми базами данных, блочными и объектными хранилищами и пр. Этот комплексный набор продуктов и услуг способен удовлетворить потребности предприятий любого размера с критически важными проектами в области ИИ и машинного обучения.