Компания ASUS анонсировала на выставке Computex 2023 сервер ESC N8-E11 в форм-факторе 7U, предназначенный для работы с генеративным ИИ и большими языковыми моделями. Новинка построена на аппаратной платформе Intel Xeon Sapphire Rapids с возможностью установки двух процессоров с показателем TDP до 350 Вт.

Система располагает 32 слотами для модулей оперативной памяти DDR5-4800/4400 суммарным объёмом до 8 Тбайт. В общей сложности доступны 10 посадочных мест для SFF-накопителей: спереди находятся восемь отсеков для устройств NVMe, сзади — два слота для изделий NVMe/SATA/SAS.

Сервер способен нести на борту до восьми ускорителей NVIDIA HGX H100. В оснащение входят двухпортовый сетевой контроллер 10GbE (Intel X710-AT2) и выделенный сетевой порт управления. Опционально может быть добавлена карта Broadcom MegaRAID 9560-16i или Broadcom MegaRAID 9540-8i. Доступны по два коннектора для твердотельных модулей M.2 PCIe 5.0 x4 и M.2 PCIe 3.0 x2. Во фронтальной части расположены четыре порта USB 3.2 Gen1, гнёзда RJ-45 для сетевых кабелей, интерфейс D-Sub.

Система ESC N8-E11 имеет габариты 885 × 447 × 306,65 мм и весит 99 кг. Питание может быть организовано по схеме 4 + 2 или 3 + 3 с блоками мощностью 3000 Вт, имеющими сертификат 80 PLUS Titanium. Сервер может использоваться в температурном диапазоне от +10 до +35 °C.

Компания CoreWeave, предоставляющая облачные услуги для решения ресурсоёмких задач, сообщила о расширении раунда финансирования Series B: на этот раз привлечено $200 млн. Деньги пойдут в том числе на развитие инфраструктуры на фоне стремительно растущего рынка генеративного ИИ.

В апреле нынешнего года CoreWeave объявила об инвестиционной программе Series B в размере $221 млн. Этот раунд возглавил фонд Magnetar Capital, предоставивший $111 млн. Кроме того, средства поступили от NVIDIA, бывшего гендиректора GitHub Ната Фридмана (Nat Friedman) и бывшего исполнительного директора Apple Дэниела Гросса (Daniel Gross). На тот момент рыночная стоимость компании оценивалась в $2 млрд.

С привлечением ещё $200 млн общая сумма вложений по программе Series B достигла $421 млн. В целом же на сегодняшний день компания получила от инвесторов $571 млн, из которых порядка $100 млн — от NVIDIA. Как говорилось ранее, CoreWeave направит предоставленные средства на расширение своей специализированной облачной инфраструктуры, введя в строй ещё два дата-центра в США.

Источник изображения: CoreWeave

Отмечается, что бум генеративного ИИ повысил спрос на услуги CoreWeave. Сервисы компании помогают в обучении масштабных моделей и их оптимизации. CoreWeave предлагает решения, специально созданные и оптимизированные для ресурсоёмких рабочих нагрузок ИИ и HPC. Инфраструктура CoreWeave особенно привлекательна для ИИ-стартапов, стремящихся ускорить вывод своих продуктов на коммерческий рынок.

Источник изображения: NVIDIA

Кроме того, по данным CNBC, Microsoft подписала с CoreWeave многолетнее соглашение о сотрудничестве, в рамках которого первая может потратить миллиарды долларов на доступ к инфраструктуре второй. Похожее соглашение Microsoft заключила с Oracle. Как отмечает The Information, сейчас NVIDIA намного более благосклонна к малым и специализированным облачным провайдерам, которые не занимаются разработкой конкурирующих ИИ-ускорителей.

Компания NVIDIA в ходе выставки Computex 2023 представила HPC-комплексы Taipei-1 и Israel-1. Первый из названных суперкомпьютеров ориентирован на решение сложных задач в области ИИ и промышленных метавселенных, а второй будет выступать в качестве испытательного полигона для тестирования новых решений.

Основа Taipei-1 — 64 системы NVIDIA DGX H100. Это полностью оптимизированная аппаратная и программная платформа, включающая поддержку новых программных решений NVIDIA для ИИ. Конфигурация узлов включает восемь ускорителей H100, два DPU BlueField-3 и 2 Тбайт памяти.

Кроме того, в состав Taipei-1 войдут 64 системы NVIDIA OVX , которые предназначены для построения крупномасштабных цифровых двойников. Клиентам будет доступен облачный сервис DGX Cloud, а софт NVIDIA Base Command поможет в мониторинге рабочих нагрузок.

Ведущие тайваньские образовательные и научно-исследовательские институты одними из первых получат доступ к Taipei-1 для развития здравоохранения, больших языковых моделей (LLM), климатологии, робототехники, интеллектуального производства и промышленных проектов. Использовать мощности суперкомпьютера, в частности, планирует Национальный тайваньский университет.

Изображение: NVIDIA

В свою очередь, комплекс Israel-1 станет самым мощным ИИ-суперкомпьютером в Израиле. Машина объединит 256 серверов Dell PowerEdge XE9680 на основе NVIDIA HGX H100. В общей сложности будут задействованы 2560 изделий BlueField-3 DPU и 80 коммутаторов Spectrum-4. Общее пиковое быстродействие системы составит 130 Пфлопс, а производительность на ИИ-операциях — до 8 Эфлопс.

Любопытно, что на выставке также удалось обнаружить упоминание пока что не анонсированной машины Taiwania 4, о которой писали зарубежные СМИ. В частности, говорится, что система получит 44 узла со 144-ядерными Arm-чипами Grace, которые будут объединены интеконнектом NVIDIA Quantum-2 InfiniBand NDR. Созданием суперкомпьютера займётся ASUS, а расположится он в тайваньском Национальном центре высокопроизводительных вычислений (NCHC).

Компания ASUS в рамках выставки Computex 2023 анонсировала сервер RS720QN-E11-RS24U типоразмера 2U с высокой плотностью компоновки элементов. Новинка использует передовую модульную архитектуру NVIDIA MGX, которая позволяет комбинировать CPU, GPU и DPU в нужном сочетании для решения определённых задач в области ИИ и НРС.

Сервер несёт на борту процессор NVIDIA Grace CPU Superchip, насчитывающий 144 ядра Arm. Чип функционирует в тандеме с оперативной памятью LPDDR5 объёмом 256/512 Гбайт. Во фронтальной части расположены 24 отсека для SFF-накопителей NVMe. Кроме того, возможна установка SSD-модулей М.2 22110 с интерфейсом PCIe 5.0 х4.

Модель RS720QN-E11-RS24U располагает двумя сетевыми портами 1GbE (контроллер Intel I350) и выделенным сетевым портом управления. Питание обеспечивают блоки мощностью 3600 Вт с сертификатом 80 PLUS Titanium. Сервер имеет габариты 800 × 444 × 88,15 мм. В системе охлаждения задействованы вентиляторы с возможностью горячей замены.

Компания TrendForce опубликовала прогноз по глобальному рынку серверов для решения ИИ-задач на ближайшие годы. Аналитики полагают, что спрос на такие системы будет стремительно расти, что объясняется развитием больших языковых моделей (LLM), внедрением передовых сервисов генеративного ИИ и решением других ресурсоёмких задач с применением нейросетей.

Статистика TrendForce учитывает отгрузки ИИ-серверов, оборудованных GPU, FPGA или ASIC. По оценкам, в 2022 году суммарный объём поставок таких машин составил приблизительно 855 тыс. штук, поднявшись в годовом исчислении на 8,5 %. В 2023-м, как ожидается, продажи достигнут примерно 1,2 млн единиц. Если этот прогноз оправдается, рост по отношению к прошлому году составит 38,4%.

В 2024 году, считают эксперты TrendForce, отрасль покажет прибавку на уровне 27,1 % — до 1,5 млн штук. В 2025 и 2026 годах прогнозируется увеличение продаж на 26,0 % и 25,0 % соответственно — до 1,9 млн и 2,4 млн единиц. Таким образом, в период с 2022-го по 2026 год величина CAGR (среднегодовой темп роста в сложных процентах) ожидается на уровне 22,0 %.

Источник изображения: pixabay.com

Исследование TrendForce показывает, что ускорители разработки NVIDIA в настоящее время доминируют на рынке ИИ-серверов с долей около 60–70%. Далее идут специализированные чипы ASIC, на которые приходится более 20 %. Успех NVIDIA, по мнению аналитиков, объясняется несколькими факторами. В частности, такие изделия как A100 и A800 пользуются высоким спросом и у американских, и у китайских провайдеров. В дальнейшем ожидается рост востребованности более новых ускорителей H100 и H800.

Кроме того, NVIDIA реализует гибкую ценовую политику, предлагая значительные скидки крупным заказчикам. В то же время наблюдается заметный рост спроса на облачные серверы ИИ, оснащённые 4–8 GPU, и периферийные ИИ-системы с 2–4 GPU. На этом фоне TrendForce прогнозирует, что ежегодный рост поставок ИИ-серверов на базе A100 и H100 составит около 50 %.

Компания Supermicro официально анонсировала сервер ARS-221GL-NR, построенный на новейшей модульной архитектуре NVIDIA MGX. Решение ориентировано на корпоративных заказчиков, реализующих проекты в области НРС, ИИ, метавселенных и пр.

Сервер выполнен в форм-факторе 2U с габаритами 438,4 × 900 × 88 мм. Применена материнская плата Super G1SMH для процессоров NVIDIA Grace CPU Superchip, насчитывающих 144 ядра Arm. Возможна установка до четырёх ускорителей NVIDIA H100.

Источник изображения: Supermicro

Система несёт на борту до 480 Гбайт памяти LPDDR5X-4800. В комплектацию может быть включён адаптер 10GbE NVIDIA ConnectX-7 или Bluefield-3 DPU. Предусмотрены 16 отсеков для накопителей E1.S NVMe с возможностью горячей замены.

В общей сложности есть семь слотов расширения PCIe 5.0 x16 FHFL. Упомянут аналоговый интерфейс D-Sub. Питание обеспечивают блоки мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C. Сервер оборудован системой воздушного охлаждения с шестью вентиляторами, рассчитанными на продолжительную работу под высокими нагрузками.

Компания Supermicro также сообщила о намерении применять в своих продуктах Ethernet-платформу NVIDIA Spectrum-X. Она обеспечивает возможность обслуживания до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) одним коммутатором.

Компания Gigabyte и её подразделение Giga Computing в ходе выставки Computex 2023 анонсировали сервер G593-SD0, оптимизированный для машинного обучения и задач генеративного ИИ. Новинка, выполненная в форм-факторе 5U, ориентирована на крупные дата-центры.

В сервере применена материнская плата на наборе логики Intel C741. Допускается установка двух процессоров Intel Xeon Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей оперативной памяти DDR5-4800 суммарным объёмом до 8 Тбайт. В максимальной конфигурации могут быть задействованы восемь ускорителей NVIDIA HGX H100 (SXM5).

Во фронтальной части расположены восемь отсеков для SFF-накопителей NVMe/SATA/SAS; поддерживаются массивы RAID 0/1/10/5. В общей сложности доступны 12 слотов PCIe 5.0 x16 и один слот PCIe 4.0 x16 для низкопрофильных карт расширения. В оснащение входят контроллер Aspeed AST2600, двухпортовый сетевой адаптер 10GbE (Intel X710-AT2), выделенный сетевой порт управления (спереди и сзади), два разъёма USB 3.2 Gen1 и интерфейс D-Sub.

Источник изображения: Gigabyte Technology

Габариты сервера составляют 447 × 222,25 × 945 мм. Применены система воздушного охлаждения и шесть блоков питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Диапазон рабочих температур — от +10 до +35 °C.

Компании NVIDIA и SoftBank в рамках выставки Computex 2023 объявили о совместной работе над передовой платформой для генеративного ИИ и приложений 5G/6G. Проект предусматривает формирование дата-центров нового поколения с высокими показателями производительности и энергетической эффективности.

Платформа будет использовать новую эталонную архитектуру NVIDIA MGX, предназначенную для быстрого создания ИИ-систем на базе CPU, GPU и DPU. Основой серверов послужит суперчип GH200 Grace Hopper, уже запущенный в массовое производство.

Новые ЦОД обеспечат более эффективное использование площадей. Говорится о низких задержках и значительной экономии электроэнергии по сравнению с традиционными дата-центрами. SoftBank изучает возможность создания приложений 5G для автономного вождения, ИИ-производств, дополненной и виртуальной реальности, компьютерного зрения и цифровых двойников.

Источник изображения: NVIDIA

Говорится, что GH200 Grace Hopper и BlueField-3 DPU ускорят программно-определяемые сети 5G vRAN, а также приложения для генеративного ИИ. При этом коммутаторы NVIDIA Spectrum Ethernet совместно с BlueField-3 обеспечат высокоточную синхронизацию передачи данных для 5G. Партнёры отмечают, что специализированные 1U-серверы на базе MGX позволят организовывать 5G-сети с самой высокой в отрасли пропускной способностью нисходящей линии — 36 Гбит/с.

Благодаря софту NVIDIA Aerial для высокопроизводительных программно-определяемых облачных сетей 5G новые решения позволят операторам динамически распределять вычислительные ресурсы и дадут 2,5-кратный выигрыш в энергоэффективности по сравнению с конкурирующими продуктами.

Компания NVIDIA в ходе выставки Computex 2023 анонсировала передовую Ethernet-платформу Spectrum-X для облачных провайдеров: система поможет в масштабировании сервисов генеративного ИИ. Решение уже доступно гиперскейлерам и операторам крупных дата-центров. Платформа предусматривает использование коммутаторов на базе ASIC NVIDIA Spectrum-4 (51,2 Тбит/с) и 400GbE DPU NVIDIA BlueField-3.

Отмечается, что BlueField-3 сочетает в себе большие вычислительные ресурсы, высокоскоростное сетевое соединение и обширные возможности программирования, что даёт возможность создавать программно-определяемые решения с аппаратным ускорением для самых требовательных задач. В результате, платформа Spectrum-X позволяет добиться 1,7-кратного увеличения производительности ИИ-нагрузок и повышения энергоэффективности по сравнению с другими решениями.

Источник изображений: NVIDIA

Для Spectrum-X заявлена возможность использования до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) на базе одного коммутатора или до 16 000 портов в случае архитектуры Spine-Leaf. В набор сопутствующего ПО входят SDK-комплекты для SDKCumulus Linux, SONiC и NetQ, а также фреймворк NVIDIA DOCA. С применением решений NVIDIA Mellanox LinkX возможно формирование сквозной 400GbE-фабрики, оптимизированной для облачных ИИ-сервисов.

Платформа Spectrum-X, в частности, будет применена в составе суперкомпьютера Israel-1, который NVIDIA строит в своём израильском дата-центре. Комплекс объединит серверы Dell PowerEdge XE9680 на основе NVIDIA HGX H100 (восемь GPU), изделия BlueField-3 DPU и коммутаторы Spectrum-4.

Компания NVIDIA анонсировала вычислительную платформу нового типа DGX GH200 AI Supercomputer для генеративного ИИ, обработки огромных массивов данных и рекомендательных систем. HPC-платформа станет доступна корпоративным заказчикам и организациям в конце 2023 года. Платформа представляет собой готовый ПАК и включает, в частности, наборы ПО NVIDIA AI Enterprise и Base Command.

Для платформы предусмотрено использование 256 суперчипов NVIDIA GH200 Grace Hopper, объединённых при помощи NVLink Switch System. Каждый суперчип содержит в одном модуле Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100. Задействован интерконнект NVLink-C2C (Chip-to-Chip), который, как заявляет NVIDIA, значительно быстрее и энергоэффективнее, нежели PCIe 5.0. В результате, скорость обмена данными между CPU и GPU возрастает семикратно, а затраты энергии сокращаются примерно в пять раз. Пропускная способность достигает 900 Гбайт/с.

Источник изображений: NVIDIA

Технология NVLink Switch позволяет всем ускорителям в составе системы функционировать в качестве единого целого. Таким образом обеспечивается производительность на уровне 1 Эфлопс (~ 9 Пфлопс FP64), а суммарный объём памяти достигает 144 Тбайт — это почти в 500 раз больше, чем в одной системе NVIDIA DGX A100. Архитектура DGX GH200 AI Supercomputer позволяет добиться 10-кратного увеличения общей пропускной способности по сравнению с HPC-платформой предыдущего поколения.

Ожидается, что Google Cloud, Meta* и Microsoft одними из первых получат доступ к суперкомпьютеру DGX GH200, чтобы оценить его возможности для генеративных рабочих нагрузок ИИ. В перспективе собственные проекты на базе DGX GH200 смогут реализовывать крупнейшие провайдеры облачных услуг и гиперскейлеры. Для собственных нужд NVIDIA до конца 2023 года построит суперкомпьютер Helios, который посредством Quantum-2 InfiniBand объединит сразу четыре DGX GH200.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».