Материалы по тегу: dpu

21.07.2023 [23:10], Алексей Степин

Microsoft предлагает протестировать DPU MANA с Azure Boost

Крупные облачные провайдеры давно осознали пользу, которую могут принести DPU и активно применяют подобного рода решения. В частности, AWS давно использует платформу Nitro, Google разработала DPU при поддержке Intel, а Microsoft активно готовит к запуску собственную платформу под названием MANA.

Основой MANA является кастомный чип SoC, разработанный специально с учётом обеспечения высокой пропускной способности, стабильности подключения и низкой латентности. DPU на его основе обеспечивает пропускную способность до 200 Гбит/с, а также поддерживает подключение удалённого хранилища данных на скоростях до 10 Гбайт/с при производительности до 400 тыс. IOPS. Отметим, что ранее AMD заявила о появлении DPU Pensando в облаке Azure, а сама Microsoft в прошлом году поглотила разработчика DPU Fungible.

 Изображение: Microsoft

Изображение: Microsoft

MANA является частью услуги Azure Boost и берёт на себя управление всеми аспектами виртуализации, включая работу с сетью и данными, а также функции управления хост-системой. Перенос этих функций на отдельную платформу не просто улучшает производительность и масштабируемость, но и обеспечивает дополнительный слой безопасности. MANA уже задействованы в инфраструктуре Azure и подтвердили высочайшую скорость при работе с внешними хранилищами данных для инстансов Ebsv5, а также отличную пропускную способность и низкую латентность сетевого канала для всех инстансов семейств Ev5 и Dv5.

MANA поддерживает Windows и Linux, а для более тонкой работы с аппаратной частью ускорителя можно задействовать DPDK. В части информационной безопасности следует отметить наличие криптоядра, соответствующего стандартам FIPS 140. В настоящее время сервис Azure Boost доступен в качестве превью. Компания приглашает к сотрудничеству партнёров и клиентов с высокими запросами к характеристикам сетевого канала и хранилищ.

Постоянный URL: http://www.servernews.ru/1090334
22.06.2023 [17:04], Алексей Степин

NVIDIA AX800: ИИ-сервер для 5G в форм-факторе PCIe-карты

В форм-факторе плат расширения PCIe существует множество устройств, включая, к примеру, маршрутизаторы. Но NVIDIA AX800 выводит это понятие на новый уровень — здесь плата расширения являет собой полноценный высокопроизводительный сервер. Плата включает DPU BlueField-3, который располагает 16 ядрами Cortex Arm-A78, дополненных 32 Гбайт RAM, а также ускоритель A100 (80 Гбайт). Новинкая является наследницей карты A100X, но с гораздо более производительным DPU.

 Источник изображений здесь и далее: NVIDIA

Источник изображений здесь и далее: NVIDIA

На борту также имеется eMMC объёмом 40 Гбайт, два 200GbEпорта (QSFP56). Плата выполнена в форм-факторе FHFL, имеет пассивное охлаждение и предельный теплопакет 350 Вт. Дополнительно предусмотрен порт 1GbE для удалённого управления для BMC ASPEED AST2600, так что речь действительно идёт о полноценном сервере. На PCB имеются гребёнки разъёмов NVLink — данное решение может работать не в одиночку, а в составе высокоплотного многопроцессорного сервера.

NVIDIA AX800 позволяет построить полностью ускоряемый стек 5G vRAN

NVIDIA позиционирует новинку как решение для систем 5G vRAN, но также она может найти место и в высокоплотных системах периферийных системах для ИИ-задач. В качестве программной платформы предлагается Aerial 5G vRAN. Плата ускоряет обработку L1/L2-трафика 5G и способна предложить до 36,56 и 4,794 Гбит/с нисходящей и восходящей пропускной способности (4T4R). Платформа поддерживает масштабирование от 2T2R до 64T64R (massive MIMO). А поддержка MIG позволяет гибко перераспределять нагрузки ИИ и 5G.

Постоянный URL: http://www.servernews.ru/1088789
18.06.2023 [21:42], Алексей Степин

Kalray подготовила DPU Coolidge 2 третьего поколения

Компания Kalray, один из разработчиков сетевых сопроцессоров (DPU), сообщила о реализации в кремнии чипов Coolidge 2, которые относятся к третьему поколению фирменной архитектуры MPPA. Предыдущие решения компании успели прописаться в СХД Viking и Wistron, а также в облаке Scaleway. Компания позиционирует Coolidge 2 в качестве решения для всевозможных ИИ-систем, которые переживают сейчас бурный расцвет.

 Архитектура Kalray Coolidge. Источник здесь и далее: Kalray

Архитектура Kalray Coolidge. Источник здесь и далее: Kalray

Впрочем, данных о третьем поколении MPPA немного. В новостях компания сообщает лишь о существенной оптимизации всех компонентов чипа и заявляет, что такая оптимизация позволила ускорить процессор практически на порядок. Первые опытные партии Coolidge 2 будут доступны уже этим летом. Это важное событие для европейского рынка HPC и ИИ-вычислений, поскольку Kalray — единственный достаточно крупный игрок в этом регионе, предлагающий собственное энергоэффективное, но при этом производительное DPU-решение. В настоящее время уже начаты опытные работы по созданию чипа MPPA четвёртого поколения.

 Структура мультипроцессорных ядер в Coolidge

Структура мультипроцессорных ядер в Coolidge

Дела у Kalray идут неплохо, особенно на фоне некоторой депрессивности IT-рынка в целом. В 2022 году компания приобрела активы Arcapix Holdings в области технологий хранения данных, что позволило ей создать законченный пул DPU-решений. За прошедший год количество сотрудников Kalray возросло на 74 %; ещё на 20 % оно должно вырасти в этом году.

Постоянный URL: http://www.servernews.ru/1088577
29.05.2023 [07:30], Сергей Карасёв

NVIDIA представила модульную архитектуру MGX для создания ИИ-систем на базе CPU, GPU и DPU

Компания NVIDIA на выставке Computex 2023 представила архитектуру MGX, которая открывает перед разработчиками серверного оборудования новые возможности для построения HPC-систем, платформ для ИИ и метавселенных. Утверждается, что MGX закладывает основу для быстрого создания более 100 вариантов серверов при относительно небольших затратах.

Концепция MGX предусматривает, что разработчики на первом этапе проектирования выбирают базовую системную архитектуру для своего шасси. Далее добавляются CPU, GPU и DPU в той или иной конфигурации для решения определённых задач.

Таким образом, на базе MGX может быть построена серверная система для уникальных рабочих нагрузок в области наук о данных, больших языковых моделей (LLM), периферийных вычислений, обработки графики и видеоматериалов и пр. Говорится также, что благодаря гибридной конфигурации на одной машине могут выполняться задачи разных типов, например, и обучение ИИ-моделей, и поддержание работы ИИ-сервисов.

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

Одними из первых системы на архитектуре MGX выведут на рынок компании Supermicro и QCT. Первая предложит решение ARS-221GL-NR с NVIDIA Grace, а вторая — сервер S74G-2U на базе NVIDIA GH200 Grace Hopper. Эти платформы дебютируют в августе нынешнего года. Позднее появятся MGX-платформы ASRock Rack, ASUS, Gigabyte, Pegatron и других производителей.

Архитектура MGX совместима с нынешним и будущим оборудованием NVIDIA, включая H100, L40, L4, Grace, GH200 Grace Hopper, BlueField-3 DPU и ConnectX-7. Поддерживаются различные форм-факторы систем: 1U, 2U и 4U. Возможно применение воздушного и жидкостного охлаждения.

Постоянный URL: http://www.servernews.ru/1087473
11.05.2023 [01:38], Владимир Мироненко

ИИ-суперкомпьютер для богатых: теперь в облаке Google Cloud можно получить сразу 26 тыс. ускорителей NVIDIA H100

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

  • 8 ускорителей NVIDIA H100 Hopper.
  • Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
  • Процессоры Intel Xeon Sapphire Rapids.
  • 2 Тбайт оперативной памяти DDR5-4800.
  • 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

 Изображение: Google

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

Постоянный URL: http://www.servernews.ru/1086514
03.05.2023 [18:13], Сергей Карасёв

В не слишком удачном квартальном отчёте AMD отметила, что в облаке Microsoft Azure появились DPU Pensando, а серверные решения помогут ей заработать во втором полугодии

Компания AMD, по сообщению ресурса The Register, нашла крупного заказчика для DPU (Data Processing Unit) семейства Pensando: им стало облако Microsoft Azure. Доступ к этим специализированным ускорителям теперь предоставляется клиентам по модели «как услуга». Это тем более любопытно, что Microsoft недавно поглотила разработчика DPU Fungible.

О поставках DPU Pensando в интересах Microsoft сообщила президент и исполнительный директор AMD Лиза Су (Lisa Su) в ходе оглашения финансовых показателей за I квартал 2023 года. Ускорители применяются в составе недавно анонсированной службы Microsoft Accelerated Connections. Гиперскейлеры зачастую используют DPU, но делают это для поддержания работы собственных сервисов. В случае Azure доступ к таким ускорителям предоставляется сторонним заказчикам.

 Источник изображения: AMD

Источник изображения: AMD

В финансовом отчёте AMD говорится, что выручка по итогам I четверти 2023-го составила $5,35 млрд. Это примерно на 9 % меньше результата годичной давности, равнявшегося $5,89 млрд. Компания понесла чистые убытки в размере $139 млн, или 9 центов в пересчёте на одну ценную бумагу. Для сравнения: в I квартале 2022 года AMD продемонстрировала чистую прибыль на уровне $786 млн, или 56 центов на акцию.

 Источник изображения: AMD

Источник изображения: AMD

Выручка подразделения ЦОД за год практически не изменилась: она составила $1,30 млрд против $1,29 млрд в I четверти 2022-го. При этом операционная прибыль рухнула в годовом исчислении на 65 % — с $427 млн до $148 млн. По направлению встраиваемых систем квартальная выручка за год взлетела на 163 % — с $595 млн до $1,56 млрд. Операционная прибыль в этой группе поднялась на 188 %, достигнув $798 млн.

По словам госпожи Су, AMD ожидает, что спрос на серверы во втором квартале 2023 года «остается смешанным». При этом компания рассматривает в качестве потенциальных областей роста ЦОД-сегмент и рынок встраиваемых систем. Увеличению продаж должно способствовать бурное развитие технологий ИИ. Компания ожидает, что на рынке будут востребованы процессоры Genoa и Bergamo, а также ускорители MI300 и решения Xilinx.

Постоянный URL: http://www.servernews.ru/1086129
21.03.2023 [21:43], Сергей Карасёв

Облако Oracle взяло на вооружение DPU NVIDIA BlueField-3

Компания NVIDIA объявила о том, что облачная инфраструктура Oracle Cloud Infrastructure (OCI) начала внедрение DPU NVIDIA BlueField для высокопроизводительных вычислений. Это позволит снять нагрузку с CPU и повысить общую эффективность ЦОД. Кроме того, новинка нашла место в инфраструктуре Baidu, JD, Tencent, CoreWeave и Microsoft Azure.

Речь идёт о применении 400Gbe-модулей BlueField-3. Благодаря возможности обеспечить разгрузку, ускорение и изоляцию широкого спектра процессов в работе сети, СХД и решений по безопасности, DPU BlueField позволяют создать безопасную и ускоренную инфраструктуру для решения различных задач в любой среде — от облака и дата-центра до периферийных устройств. Именно эти DPU явяются одним из ключевых компонентов платформы NVIDIA DGX Cloud в OCI.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Благодаря BlueField-3, как отмечается, ресурсы CPU в дата-центрах могут быть перенаправлены на обработку бизнес-приложений. BlueField-3 трансформируют традиционные среды облачных вычислений в ускоренную, энергоэффективную и безопасную инфраструктуру для обработки ресурсоёмких рабочих нагрузок генеративного ИИ. Тесты показывают снижение энергопотребления до 24 % на серверах с DPU BlueField по сравнению с традиционными системами.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

«DPU NVIDIA BlueField-3 являются ключевым компонентом нашей стратегии по созданию современной устойчивой облачной инфраструктуры с высочайшей производительностью», — отметил Клэй Магуирк (Clay Magouyrk), исполнительный вице-президент Oracle Cloud Infrastructure. Программный фреймворк NVIDIA DOCA позволяет разработчикам создавать инфраструктуры нового поколения для дата-центров, обеспечивая высокопроизводительные, программно-определяемые облачные сервисы с ускорением на основе DPU и высоким уровнем безопасности по модели Zero Trust.

Постоянный URL: http://www.servernews.ru/1083718
12.03.2023 [14:18], Владимир Мироненко

100GbE и выше: рост популярности ИИ-ботов подстегнёт продажи SmartNIC/DPU

Растущая популярность генеративного ИИ и поддержка интеллектуальных функций платформами виртуализации, такими как VMware vSphere, будут способствовать росту продаж боле скоростных сетевых адаптеров Ethernet, считают в аналитической фирме Dell'Oro Group.

Согласно прогнозу Dell'Oro Group, к концу 2023 года сетевые адаптеры Ethernet со скоростью 100 Гбит/с или выше будут приносить почти половину всех доходов в этом сегменте, даже несмотря на то, что их доля в продажах сетевых карт составляет менее 20 %. Аналитики утверждают, что бум машинного обучения, отчасти вызванный ажиотажем вокруг ChatGPT, Midjourney и других моделей генеративного ИИ, будет стимулировать спрос на оборудование, обеспечивающее более быструю работу сети.

По словам аналитика, поскольку рабочие нагрузки AI/ML часто распределяются между несколькими узлами или даже между несколькими стойками, для них обычно требуется более высокая пропускная способность. Например, ИИ/HPC-платформа NVIDIA DGX H100 оснащена восемью 400G-адаптерами, по одному на каждый из её ускорителей H100.

 Источник изображения: NVIDIA

Источник изображения: NVIDIA

Ожидается, что в этом году SmartNIC будут применяться в большем количестве решений благодаря более широкому распространению программных платформ, способных использовать их преимущества. «Я думаю, что в этом году мы можем получить больше поддержки DPU и SmartNIC. Проекты вроде Project Monterey приносят много преимуществ», — отмечают в Dell'Oro Group.

Dell'Oro прогнозирует, что в 2023 году выручка на рынке NIC достигнет двузначного роста, несмотря ожидаемое сокращение поставок на 9 % в годовом исчислении. По словам аналитиков, из-за снижения спроса провайдеры отдают предпочтение оборудованию более высокого класса с более скоростными интерфейсами на 100GbE, 200GbE или даже 400GbE и соответствующей функциональностью, которая обеспечивает более высокую среднюю цену.

При этом у дорогих NIC стоимость обработки бита, как правило, ниже. Это означает, что сервер с поддержкой более высокой скорости передачи данных может оказаться дешевле нескольких серверов с установленными более дешёвыми и соответственно более медленными NIC. Аппаратное ускорение в SmartNIC также может позволить клиентам обойтись процессорами более низкого уровня, поскольку в этом случае часть задач адаптер забирает у CPU. Кроме того, поскольку большинство компаний покупают NIC в составе более крупной системы, они могут получить дополнительную экономию в виде скидки если не на сетевую карту, то на DRAM или SSD/HDD.

Постоянный URL: http://www.servernews.ru/1083272
28.01.2023 [21:20], Алексей Степин

Ускоритель Pliops XDP получил новые возможности: XDP-RAIDplus, XDP-AccelDB и XDP-AccelKV

Компания Pliops, разработавшая собственный вариант DPU-ускорителя XDP, объявила о расширении его функциональности. Нововведения должны повысить производительность NVMe SSD, продлить им жизнь и ускорить процесс восстановления в случае сбоя. Анонс Pliops говорит о новых службах XDP-RAIDplus, XDP-AccelDB и XDP-AccelKV, назначение которых понятно из названия.

XDP-RAIDplus предназначена для максимизации скорости ввода-вывода накопителей с интерфейсом NVMe, а также позволяет создавать защищённые массивы без потери эффективной ёмкости. Заявляется о 26,6 % прироста по объёму при использовании 6 дисков ёмкостью 15 Тбайт в сравнении с обычным RAID5. При этом в случае сбоя ускоритель перестраивает массив только в части, затронутой отказавшим и заменённым накопителем, а не целиком, что ускоряет процесс перестройки на 65 %, при этом меньше страдает производительность и минимизируется время простоя. Благодаря сочетанию этих функций стоимость владения флеш-массивом может снижаться на величину до 50 %.

 Преимущества XDP-RAIDplus в сравнении с классическими решениями. Источник: Pliops

Преимущества XDP-RAIDplus в сравнении с классическими решениями. Источник: Pliops

Функция XDP-AccelDB представляет собой движок-ускоритель для СУБД (MySQL/MariaDB, MongoDB) и программно определяемых хранилищ. Движок поддерживает атомарную запись, умную буферизацию и выравнивание данных, что позволяет говорить о 3,2-кратном увеличении количества транзакций за единицу времени, а также о трёхкратном снижении латентности. Наконец, XDP-AccelKV — ускоритель Key-Value хранилищ, предназначенный для решений типа RocksDB или WiredTiger. В сравнении с полностью программными решениями он, как утверждается, способен повысить производительность на порядок.

Постоянный URL: http://www.servernews.ru/1080987
17.01.2023 [21:25], Сергей Карасёв

Стартап Fungible, на днях поглощённый Microsoft, обвинили в обмане акционеров, а его руководство — в необоснованном обогащении

Акционер и бывший сотрудник Fungible Навин Гупта (Naveen Gupta), как сообщает ресурс Blocks & Files, подал иск против компании в связи с «возможными правонарушениями и неисполнением фидуциарных обязанностей». Поводом для разбирательства послужила сделка по продаже Fungible корпорации Microsoft. Слухи о продаже появились в середине декабря 2022 года, но официально в приобретении Microsoft призналась в начале января.

Сумма сделки не уточняется: по неофициальной информации она составила приблизительно $190 млн, при этом сама компания за всё время существования получила более 300$ млн инвестиций. Однако сама сделка оказалась не столь прозрачной, фактически она завершила ликвидацию и «скрытый» раунд финансирования. Гупта сообщил, что ни ему, ни другим акционерам не была предоставлена возможность участвовать в раунде финансирования серии D (формально последним публичным был раунд C). Утверждается, что к процессу допускались только те лица, которые знали о переговорах между Fungible и Microsoft.

 Источник изображения: Fungible

Источник изображения: Fungible

В результате, как считает истец, руководители и некоторые избранные акционеры получили от сделки неоправданно высокий доход. Дело будет рассмотрено в Канцлерском суде Делавэра. Навин Гупта намерен добиться разрешения на получение доступа к бухгалтерским книгам и другим документам Fungible, связанным со сделкой с Microsoft, включая список акционеров с июня 2022 года, заявления совета директоров и пр. Гупта был сотрудником Fungible в течение четырёх лет, имея опционы, благодаря которым стал держателем обыкновенных акций класса А.

Он заявляет, что некоторые лица могли нажиться на своих конвертируемых векселях и привилегированных акциях в серии D за счёт держателей обыкновенных акций. По сути, речь идёт о том, что руководство Fungible обогатилось в ходе необъявленного раунда финансирования с преференциями по ликвидации. Многие люди в Fungible мирились с тем, что им годами недоплачивали в надежде заработать впоследствии на акциях, как это нередко бывает в стартапах, а в итоге остались с пакетами почти бесполезных и практически ничего не стоящих ограниченных акций.

Постоянный URL: http://www.servernews.ru/1080419
Система Orphus