Российский разработчик и производитель вычислительной техники YADRO (ООО «КНС групп») анонсировал свой первый высокопроизводительный коммутатор Kornfeld для дата-центров. Устройство поддерживает обработку трафика L2 и L3, а коммутируемая ёмкость достигает 3,2 Тбит/с.

Новинка выполнена в форм-факторе 1U. В основу положен неназванный ASIC с пакетным буфером объёмом 32 Мбайт, процессор Intel Xeon D-1712TR поколения Ice Lake (4C/8T; 2,0–3,1 ГГц; 40 Вт). Установлены два модулям оперативной памяти DDR4 SO-DIMM по 8 Гбайт каждый и M.2 SSD ёмкостью 120 Гбайт.

Коммутатор оборудован 48 портами 10/25GbE SFP28 и восемью портами 25/40/100GbE QSFP28. Для управления служат разъёмы RJ-45 (1GbE и последовательный порт) и два коннектора SFP+ 1/10GbE. Имеется также порт USB Type-A.

Источник изображения: YADRO

Устройство поддерживает традиционный набор протоколов, включая OSPF, BGP, ECMP, VRRP, MLAG и интерфейсы управления SSH, SNMP, REST API. Поддерживаются протоколы аутентификации TACACS+ и RADIUS, сети VLAN (802.1Q), агрегация LACP, а также LLDP. Коммутатор получил загрузчик ONIE и фирменную NOS Kornfeld.

Новинка имеет размеры 434 × 536 × 44 мм и весит примерно 10 кг. Установлены два блока питания мощностью 800 Вт с возможностью резервирования. За охлаждение отвечают шесть вентиляторов с функцией горячей замены. Диапазон рабочих температур — от +10 до +35 °C. Коммутатор производится на заводе полного цикла «Ядро Фаб Дубна» и соответствуют всем требованиям к отечественному оборудованию согласно ПП878 (ТОРП).

«Kornfeld — это полностью наша разработка, начиная от аппаратной платформы и заканчивая программным обеспечением. Мы стремились создать продукт с оптимальным сочетанием функциональности, производительности и надёжности, который бы максимально подходил для высоконагруженных ЦОД и удовлетворял потребности клиентов в различных сценариях использования, — отмечает директор по продуктам компании YADRO.

Компания QNAP Systems анонсировала управляемый L2-коммутатор QSW-M7308R-4X, предназначенный для использования в составе платформ виртуализации, систем ИИ, инфраструктур хранения и обработки больших данных и пр. Новинка имеет половинную ширину, благодаря чему два таких устройства могут монтироваться в стандартную серверную стойку бок о бок.

Коммутатор заключён в корпус с габаритами 207 × 248,8 × 43,3 мм и весит 1,78 кг. Во фронтальной части расположены четыре порта 100GbE QSFP28 и восемь портов 25GbE SFP28. Сзади находятся порт управления и консольный порт с гнёздами RJ-45.

Источник изображения: QNAP

Устройство может быть подключено к сетевому хранилищу QNAP стандарта 25GbE или к NAS, оборудованному картой 100GbE. Реализована поддержка стандартов IEEE 802.3x Full-Duplex Flow Control, 802.1Q VLAN Tagging, 802.1w RSTP, 802.3ad LACP, 802.1AB LLDP, 802.1p Class of Service и др. Коммутационная способность достигает 1200 Гбит/с.

Коммутатор QSW-M7308R-4X оборудован внутренним блоком питания. Максимальное энергопотребление составляет 100 Вт. В системе охлаждения применены два вентилятора с ШИМ-управлением. Диапазон рабочих температур — от 0 до +40 °C. На устройство предоставляется двухлетняя гарантия.

Растущая популярность генеративного ИИ и поддержка интеллектуальных функций платформами виртуализации, такими как VMware vSphere, будут способствовать росту продаж боле скоростных сетевых адаптеров Ethernet, считают в аналитической фирме Dell'Oro Group.

Согласно прогнозу Dell'Oro Group, к концу 2023 года сетевые адаптеры Ethernet со скоростью 100 Гбит/с или выше будут приносить почти половину всех доходов в этом сегменте, даже несмотря на то, что их доля в продажах сетевых карт составляет менее 20 %. Аналитики утверждают, что бум машинного обучения, отчасти вызванный ажиотажем вокруг ChatGPT, Midjourney и других моделей генеративного ИИ, будет стимулировать спрос на оборудование, обеспечивающее более быструю работу сети.

По словам аналитика, поскольку рабочие нагрузки AI/ML часто распределяются между несколькими узлами или даже между несколькими стойками, для них обычно требуется более высокая пропускная способность. Например, ИИ/HPC-платформа NVIDIA DGX H100 оснащена восемью 400G-адаптерами, по одному на каждый из её ускорителей H100.

Источник изображения: NVIDIA

Ожидается, что в этом году SmartNIC будут применяться в большем количестве решений благодаря более широкому распространению программных платформ, способных использовать их преимущества. «Я думаю, что в этом году мы можем получить больше поддержки DPU и SmartNIC. Проекты вроде Project Monterey приносят много преимуществ», — отмечают в Dell'Oro Group.

Dell'Oro прогнозирует, что в 2023 году выручка на рынке NIC достигнет двузначного роста, несмотря ожидаемое сокращение поставок на 9 % в годовом исчислении. По словам аналитиков, из-за снижения спроса провайдеры отдают предпочтение оборудованию более высокого класса с более скоростными интерфейсами на 100GbE, 200GbE или даже 400GbE и соответствующей функциональностью, которая обеспечивает более высокую среднюю цену.

При этом у дорогих NIC стоимость обработки бита, как правило, ниже. Это означает, что сервер с поддержкой более высокой скорости передачи данных может оказаться дешевле нескольких серверов с установленными более дешёвыми и соответственно более медленными NIC. Аппаратное ускорение в SmartNIC также может позволить клиентам обойтись процессорами более низкого уровня, поскольку в этом случае часть задач адаптер забирает у CPU. Кроме того, поскольку большинство компаний покупают NIC в составе более крупной системы, они могут получить дополнительную экономию в виде скидки если не на сетевую карту, то на DRAM или SSD/HDD.

Сети на основе InfiniBand традиционно используются в HPC-системах для связи в единое целое вычислительных узлов. Обычно речь идёт об организации сети в одном помещении, либо здании ЦОД, но иногда возникает нужда в высокоскоростной связи между кампусами, расположенными на расстоянии до десятков километров. Для решения этой задачи предназначена новое решение NVIDIA MetroX-3 XC.

Сама платформа была разработана ещё в бытность Mellanox независимой компанией, но платформа MetroX-2 была ограничена двумя внешними линками со скоростью 100 Гбит/с, работающими на дальности до 40 км, и россыпью локальных 200G-портов. Новая итерация платформы получила два внешних 100G-порта и два локальных 400G-порта. Используются новые модули со спектральным уплотнением каналов (DWDM). Физическая реализация использует 4 порта QSFP112 для данных и 2 аналогичных порта для управляющих целей.

Схема работы MetroX-3 (Источник: NVIDIA)

Разумеется, функционирует MetroX-3 XC в рамках экосистемы NVIDIA InfiniBand: она призвана работать совместно с коммутаторами Quantum-2, сетевыми адаптерами ConnectX-7 и DPU BlueField. Доступно два варианта, MTQ8400-HS2R и MTQ8400-HS2RC; последний отличается наличием шифрования сетевого трафика. Новая платформа связи MetroX совместима с фреймворком Holoscan HPC и может служить для соединения систем NVIDIA IGX, DGX и HGX.

Компания QNAP Systems анонсировала сетевую карту расширения QXG-100G2SF-CX6, предназначенную для использования в рабочих станциях и серверах на базе Windows или Linux. Кроме того, новинка может устанавливаться в определённые модели NAS QNAP: это устройства TS-h2490FU, TDS-h2489FU и TS-h1290FX.

Карта выполнена на контроллере NVIDIA/Mellanox ConnectX-6 Dx. Для установки требуется слот PCIe 4.0 x16 (говорится о совместимости с PCIe 3.0 x16). Решение имеет низкопрофильное исполнение, но в комплект поставки включена монтажная планка полной высоты.

Источник изображений: QNAP

Изделие оборудовано двумя портами QSFP28 100GbE. Могут быть также использованы режимы 1/10/25/40/50GbE. Упомянута поддержка SR-IOV, iSER, NVGRE, VXLAN, Geneve, RDMA. Кроме того, реализовано аппаратное ускорение шифрования данных. Карта расширения оборудована системой активного охлаждения с радиатором и вентилятором. Продажи изделия уже начались: приобрести его можно по ориентировочной цене $1200.

Согласно данным исследовательского центра Dell'Oro, SmartNIC будут одним из драйверов роста рынка Ethernet-адаптеров, объём которого, по его прогнозу, достигнет к 2026 году $5 млрд. Скорость подключения продолжит расти и на порты с поддержкой скорости 100 Гбит/с и выше будет приходиться почти половина поставок.

В отчёте Dell'Oro «Ethernet Adapter & Smart NIC 5-Year Forecast» за июль 2022 года сообщается, что на SmartNIC будет приходиться растущая доля рынка Ethernet-адаптеров, особенно это относится к гиперескейлерам и сегменту высокопроизводительных приложений. По словам директора по исследованиям Dell'Oro Барона Фунга (Baron Fung), к 2026 году доля SmartNIC составит 38 % всего рынка контроллеров и адаптеров Ethernet.

«SmartNIC заменят традиционные сетевые адаптеры для большей части облачной инфраструктуры гиперскейлеров для задач общего назначения и высокопроизводительных рабочих нагрузок», — сказал Фунг, отметив также перспективность использования SmartNIC облачными провайдерами второго эшелона, в корпоративных ЦОД и на телекоммуникационном рынке. SmartNIC позволяют разгрузить хост-систему, переложив на них часть задач, однако они всё ещё дороги, а сети на их основе сложны в реализации.

Изображение: AMD

Доходы от продаж SmartNIC, по прогнозам Dell'Oro, будут расти в течение ближайших пяти лет со среднегодовым темпом роста (CAGR) в 21 %, в то время как для традиционных сетевых адаптеров этот показатель составит 5 %. В Dell'Oro также ожидают, что стоимость высокоскоростных портов будет снижаться, поэтому пять лет около 44 % поставок будут приходиться на порты 100GbE+. Так, в США в течение следующих пяти лет в инфраструктуре основных гиперскейлеров — Amazon, Google, Meta✴ и Microsoft — будут преобладать порты 100GbE и 200GbE.

Концепция периферийных вычислений сравнительно молода и до недавнего времени зачастую её реализации были вынуждены обходиться стандартными процессорами, разработанными для применения в серверах, или даже в обычных ПК и ноутбуках. Intel, достаточно давно имеющая в своём арсенале серию процессоров Xeon D, обновила модельный ряд этих CPU, которые теперь специально предназначены для использования на периферии.

Изображения: Intel

Анонс выглядит очень своевременно, поскольку по оценкам Intel, к 2025 году более 50% всех данных будет обрабатываться вне традиционных ЦОД. Новые серии процессоров Xeon D-1700 и D-2700 обладают рядом свойств, востребованных именно на периферии — особенно на периферии нового поколения.

Новинки имеют следующие особенности:

• Интегрированный 100GbE-контроллер (до 8 портов) с поддержкой RDMA iWARP и RoCE v2;
• Интегрированный коммутатор и обработчик пакетов у Xeon D-2700;
• До 32 линий PCI Express 4.0;
• Поддержка Intel QAT, SGX и TME;
• Поддержка AVX-512, в том числе VNNI/DL Boost;
• Поддержка технологий TSN/TCC, критичных для систем реального времени.

Последний пункт ранее был реализован в процессорах серий Atom x6000E, Xeon W-1100E и некоторых процессорах Core 11-го поколения. Вкратце это технология, позволяющая координировать вычисления с точностью менее 200 мкс в режиме TCC за счёт точной синхронизации таймингов внутри платформы. И здесь у Xeon D, как у высокоинтегрированной SoC, есть преимущество в реализации подобного класса точности. Помогает этому и наличие специального планировщика для общего кеша L3, позволяющего добиться более консистентного доступа к кешу и памяти.

Это незаменимая возможность для систем, обслуживающих сверхточные промышленные процессы, тем более что Intel предлагает хорошо документированный набор API и средств разработки для извлечения из режима TCC всех возможностей. Важной также выглядит наличие поддержки пакета технологий Intel QuickAssist (QAT) для ускорения задач (де-)шифрования и (де-)компрессии.

Третье поколение QAT, доступное, правда, только в Xeon D-2700, в отличие от второго (и это случай D-1700), связано в новых SoC непосредственно с контроллером Ethernet и встроенным программируемым коммутатором. В частности, поддерживается, и IPSec-шифрование на лету (inline) на полной скорости, и классификация (QoS) трафика. Также реализована поддержка новых алгоритмов, таких, как Chacha20-Poly1305 и SM3/4, имеется собственный движок для публичных ключей, улучшены алгоритмы компрессии.

Но QAT может работать и совместно с CPU (lookaside-разгрузка), а можно и вовсе обойтись без него, воспользовавшись AES-NI. Поддержке безопасности помогает и полноценная поддержка защищённых вычислительных анклавов SGX, существенно ограничивающая векторы атак как со стороны ОС и программного обеспечения, так и со стороны гипервизора виртуальных машин. Это важно, поскольку на периферии уровень угрозы обычно выше, чем в контролируемом окружении в ЦОД, но для использования SGX требуется модификация ПО.

В целом, «ядерная» часть новых Xeon-D — это всё та же архитектура Ice Lake-SP. Так что Intel в очередной раз напомнила про поддержку DL Boost/VNNI для работы с форматами пониженной точности и возможности эффективного выполнения инференс-нагрузок — новинки почти в 2,5 раза превосходят Xeon D-1600. Есть и прочие стандартные для платформы функции вроде PFR или SST. Из важных дополнений можно отметить поддержку Intel Slim BootLoader.

Масштабируемость у новой платформы простирается от 2 до 10 (D-1700) или 20 (D-2700) ядер, а TDP составляет 25–90 и 65–129 Вт соответственно. В зависимости от модели поддерживается работа в расширенном диапазоне температур (до -40 °C). У обоих вариантов упаковка BGA, но с чуть отличными размерами — 45 × 45 мм против 45 × 52,5 мм. На этом различия не заканчиваются. У младших Xeon D-1700 поддержка памяти ограничена тремя каналами DDR4-2933, а вот у D-2700 четыре полноценных канала DDR4-3200.

Однако возможности работы с Optane PMem обе модели лишены, несмотря на то, что контроллер памяти их поддерживать должен. Представитель Intel отметил, что если будет спрос со стороны заказчиков, то возможен выпуск вариантов CPU с поддержкой PMem. Дело в том, что прошлые поколения Xeon-D использовались и для создания СХД, а наличие 100GbE-контроллера с RDMA делает новинки не менее интересными для этого сегмента.

Кроме того, есть и поддержка NTB, да и VROC с VMD вряд ли исчезли. Для подключения периферии у D-2700 доступно 32 линии PCIe 4.0, а у D-1700 — 16. У обоих серий CPU также есть 24 линии HSIO, которые на усмотрение производителя можно использовать для PCIe 3.0, SATA или USB 3.0. Впрочем, пока Intel предлагает использовать всё это разнообразие интерфейсов для подключения ускорителей и различных адаптеров.

Поскольку в качестве одной из основных задач для новых процессоров компания видит их работу в качестве контроллеров программно-определяемых сетей, включая 5G, она разработала для этой цели референсную платформу. В ней предусматривается отдельный модуль COM-HPC с процессором и DIMM-модулями, что позволяет легко модернизировать систему. А базовая плата предусматривает наличие радиотрансиверов, что актуально для сценария vRAN.

Поскольку речь идёт не столько о процессорах, сколько о полноценной платформе, Intel серьезное внимание уделила программной поддержке, причём, в основе лежат решения с открытым программным кодом. Это позволит заказчикам систем на базе новых Xeon D разворачивать новые точки и комплексы периферийных вычислений быстрее и проще. Многие производители серверного аппаратного обеспечения уже готовы представить свои решения на базе Xeon D-1700 и 2700.

Весной Intel анонсировала свои первые DPU (Data Processing Unit), которые она предпочитает называть IPU (Infrastructure Processing Unit), утверждая, что такое именования является более корректным. Впрочем, цели у этого класса устройств, как их не называй, одинаковые — перенос части функций CPU по обслуживанию ряда подсистем на выделенные аппаратные блоки и ускорители.

Классическая архитектура серверных систем такова, что при работе с сетью, хранилищем, безопасностью значительная часть нагрузки ложится на плечи центральных процессоров. Это далеко не всегда приемлемо — такая нагрузка может отъедать существенную часть ресурсов CPU, которые могли бы быть использованы более рационально, особенно в современных средах с активным использованием виртуализации, контейнеризации и микросервисов.

Для решения этой проблемы и были созданы DPU, которые эволюционировали из SmartNIC, бравших на себя «тяжёлые» задачи по обработке трафика и данных. DPU имеют на борту солидный пул вычислительных возможностей, что позволяет на некоторых из них запускать даже гипервизор. Однако Intel IPU имеют свои особенности, отличающие их и от SmartNIC, и от виденных ранее DPU.

Новый класс сопроцессоров Intel должен взять на себя все заботы по обслуживанию инфраструктуры во всех её проявлениях, будь то работа с сетью, с подсистемами хранения данных или удалённое управление. При этом и DPU, и IPU в отличие от SmartNIC полностью независим от хост-системы. Полное разделение инфраструктуры и гостевых задач обеспечивает дополнительную прослойку безопасности, поскольку аппаратный Root of Trust включён в IPU.

Это не единственное преимущество нового подхода. Компания приводит статистику Facebook✴, из которой видно, что иногда более 50% процессорных тактов серверы тратят на «обслуживание самих себя». Все эти такты могут быть пущены в дело, если за это обслуживание возьмётся IPU. Кроме того, новый класс сетевых ускорителей открывает дорогу к бездисковой серверной инфраструктуре: виртуальные диски создаются и обслуживаются также чипом IPU.

Первый чип в новом семействе IPU, получивший имя Mount Evans, создавался в сотрудничестве с крупными облачными провайдерами. Поэтому в нём широко используется кремний специального назначения (ASIC), обеспечивающий, однако, и нужную степень гибкости, За основу взяты ядра общего назначения Arm Neoverse N1 (до 16 шт.), дополненные тремя банками памяти LPDRR4 и различными ускорителями.

Сетевая часть представлена 200GbE-интерфейсом с выделенным P4-программируемым движком для обработки сетевых пакетов и управления QoS. Дополняет его выделенный IPSec-движок, способный на лету шифровать весь трафик без потери скорости. Естественно, есть поддержка RDMA (RoCEv2) и разгрузки NVMe-oF, причём отличительной чертой является возможность создавать для хоста виртуальные NVMe-накопители — всё благодаря контроллеру, который был позаимствован у Optane SSD.

Дополняют этот комплекс ускорители (де-)компресии и шифрования данных на лету. Они базируются на технологиях Intel QAT и, в частности, предложат поддержку современного алгоритма сжатия Zstandard. Наконец, у IPU будет выделенный блок для независимого внешнего управления. Работать с устройством можно будет посредством привычных SPDK и DPDK. Один IPU Mount Evans может обслуживать до четырёх процессоров. В целом, новинку можно назвать интересной и более доступной альтернативной AWS Nitro.

Также Intel представила платформу Oak Springs Canyon с двумя 100GbE-интерфейсами, которая сочетает процессоры Xeon-D и FPGA семейства Agilex. Каждому чипу которых полагается по 16 Гбайт собственной памяти DDR4. Платформа может использоваться для ускорения Open vSwitch и NVMe-oF с поддержкой RDMA/RocE, имеет аппаратные криптодвижки т.д. Наличие FPGA позволяет выполнять специфичные для конкретного заказчика задачи, но вместе с тем совместимость с x86 существенно упрощает разработку ПО для этой платформы. В дополнение к SPDK и DPDK доступны и инструменты OFS.

Наконец, компания показала и референсную плаформу для разработчиков Intel N6000 Acceleration Development Platform (Arrow Creek). Она несколько отличается от других IPU и относится скорее к SmartNIC, посколько сочетает FPGA Agilex, CPLD Max10 и сетевые контроллеры Intel Ethernet 800 (2 × 100GbE). Дополняет их аппаратный Root of Trust, а также PTP-блок.

Работать с устройством можно также с помощью DPDK и OFS, да и функциональность во многом совпадает с Oak Springs Canyon. Но это всё же платформа для разработки конечных решений ODM-партнёрами Intel, которые могут с её помощью имплементировать какие-то специфические протоколы или функции с ускорением на FPGA, например, SRv6 или Juniper Contrail.

IPU могут стать частью высокоинтегрированной ЦОД-платформы Intel, и на этом поле она будет соревноваться в первую очередь с NVIDIA, которая активно продвигает DPU BluefIeld, а вскоре обзаведётся ещё и собственным процессором. Из ближайших интересных анонсов, вероятно, стоит ждать поддержку Project Monterey, о которой уже заявили NVIDIA и Pensando.