Компания Dell'Oro Group обнародовала результаты исследования глобального рынка коммутаторов для дата-центров в последней четверти 2022 года. Сообщается, что отрасль пятый квартал подряд демонстрирует рост на двузначные числа процентов, что отражает продолжающееся развитие облачных провайдеров и площадок гиперскейлеров.

В IV квартале 2022-го поставки ЦОД-коммутаторов поднялись на 15 % в годовом исчислении, установив новый рекорд. По итогам минувшего года в целом также зафиксированы рекордные показатели. Рост выручки наблюдался во всех регионах, кроме Китая, где падение в последней четверти 2020 года составило почти 20 %. До этого отрицательная динамика в КНР наблюдалась только в I квартале 2020-го, что объяснялось ограничениями в связи с пандемией COVID-19. Но тогда спад был незначительным, и за ним последовало быстрое восстановление.

Ключевой вклад в рост выручки внесла компания Arista Networks, получившая крупный заказ от Meta*. За Arista следует Juniper. Доля выручки Arista в течение IV квартала прошлого года выросла почти на 7 %, а по итогам 2022-го в целом превысила 20 %. Годовые поставки устройств класса 200G/400G достигли почти 10 млн портов, что составляет более 10 % от общего объёма продаж. В денежном выражении на такие решения пришлось почти 20 % выручки. Спрос на продукты 200G/400G остаётся высоким среди гиперскейлеров — Google, Amazon, Microsoft и Meta*.

Изображение: Meta/OCP

«На поставщиков облачных услуг пришлось более 80 % роста продаж в течение квартала. Хотя эти сильные показатели соответствовали нашим ожиданиям, значительное снижение в Китае стало неожиданностью. Спад в КНР можно объяснить различными факторами, в том числе сокращением расходов крупных китайских поставщиков облачных услуг, таких как Alibaba и Tencent, ограничениями в связи с COVID-19 и влиянием обменных курсов валют», — отмечает Dell'Oro Group.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Отчёт, обнародованный компанией Dell’Oro Group, говорит о том, что в III квартале 2022 года выручка от поставок коммутаторов для ЦОД в глобальном масштабе поднялась на 20 % по сравнению с результатом за тот же период 2021-го. Это самый существенный рост в уходящем году.

Рынки Северной Америки, Китая и Азиатско-Тихоокеанского региона продемонстрировали увеличение продаж на двузначные числа процентов, тогда как в регионе EMEA, в который входят Европа, включая Россию, Ближний Восток и Африка, зафиксирован спад. Такая картина объясняется наблюдающимися ограничениями в цепочках поставок, а также снижением спроса в силу макроэкономических вызовов и роста цен на энергоносители.

Основной рост на рынке коммутаторов для дата-центров обеспечили облака и гиперскейлеры. В результате, продажи устройств класса 200G/400G достигли почти 2 млн портов. На долю коммутаторов класса 200G и выше приходится лишь 10 % мировых поставок, но они обеспечили 20 % выручки в III квартале 2022-го.

Источник изображения: Dell’Oro Group

Эксперты прогнозируют, что 200G/400G-решения будут по-прежнему пользоваться спросом среди облачных провайдеров и гиперскейлеров в 2023 году, несмотря на ухудшение макроэкономической ситуации. Однако основной объём продаж по-прежнему приходится на оборудование 25 Гбит/с и 100 Гбит/с, а не 200 Гбит/с или 400 Гбит/с.

Отмечается, что значительный рост продаж коммутаторов для ЦОД в III квартале — это побочный эффект длительного невыполнения заказов, размещённых в прошлом году. За последние месяцы сроки поставки коммутаторов значительно сократились: с более чем года до 30–40 недель. Дефицит, как ожидается, должен исчезнуть к середине следующего года. 

На конференция Hot Chips 34 AMD представила новую платформу 400G Adaptive Exotic SmartNIC. В самой концепции формально нет ничего нового, поскольку DPU уже снискали популярность в среде гиперскейлеров, но вариант AMD сочетает достоинства не двух, а трёх миров: классического ASIC, программируемой логики на базе FPGA и Arm-процессора общего назначения.

На деле процессор (PSX) новинки AMD устроен ещё интереснее: он делится на два домена. В первом домене имеется шестнадцать ядер Arm Cortex-A78, организованных в четыре кластера по четыре ядра. Сюда же входят аппаратные движки для ускорения TLS 1.3. Второй домен состоит из четырёх ядер Arm Cortex-R52 и различных контроллеров низкоскоростных шин, таких как UART, USB 2.0, I2C/I3C, SPI, MIO и прочих.

Изображения: AMD (via ServeTheHome)

Посредством высокоскоростной программируемой внутренней шины блок PSX соединён с другими компонентами: модулем взаимодействия с хост-системой (CPM5N), подсистемой памяти, сетевым модулем HNICX и блоком программируемой логики. CPM5N реализует поддержку PCIe 5.0/CXL 2.0, причём доступен режим работы в качестве корневого (root) комплекса PCIe. Тут же находится настраиваемый DMA-движок.

Блок фиксированных сетевых функций представляет собой классический ASIC, обслуживающий пару портов 200GbE. Подсистема памяти представлена 8 каналами DDR5/LPDDR5 с поддержкой 32-бит DDR5-5600 ECC или 160-бит LPDDR5-6400, но говорится и совместимости с другими вариантами памяти, в то числе SCM. Здесь же имеется блок шифрования содержимого памяти с поддержкой стандартов AES-GCM/AES-XTS.

400G Adaptive Exotic SmartNIC имеет развитую поддержку VirtIO и OVS. Также поддерживается виртуализация NVMe-устройств, тоже с шифрованием. Особое внимание AMD уделила тесному взаимодействию всех частей Adaptive Exotic SmartNIC: наличие выделенных линков между блоками хост-контроллера, PSX и FPGA обеспечивает работу на полной скорости в средах, действительно требующих прокачки данных на скоростях в районе 400 Гбит/с.

Благодаря наличию FPGA-части 400G новинка можно легко адаптировать к новым требованиям со стороны заказчиков. В частности, решения на базе ПЛИС Xilinx активно поставляются в Китай, где требования к шифрованию существенно отличаются от предъявляемых к аппаратному обеспечению в Европе или США, но наличие блока FPGA позволяет решить эту проблему. У Intel уже есть в сём-то похожая платформа, но более скромная по техническим характеристикам — Oak Springs Canyon (C6000X).

Согласно данным исследовательского центра Dell'Oro, SmartNIC будут одним из драйверов роста рынка Ethernet-адаптеров, объём которого, по его прогнозу, достигнет к 2026 году $5 млрд. Скорость подключения продолжит расти и на порты с поддержкой скорости 100 Гбит/с и выше будет приходиться почти половина поставок.

В отчёте Dell'Oro «Ethernet Adapter & Smart NIC 5-Year Forecast» за июль 2022 года сообщается, что на SmartNIC будет приходиться растущая доля рынка Ethernet-адаптеров, особенно это относится к гиперескейлерам и сегменту высокопроизводительных приложений. По словам директора по исследованиям Dell'Oro Барона Фунга (Baron Fung), к 2026 году доля SmartNIC составит 38 % всего рынка контроллеров и адаптеров Ethernet.

«SmartNIC заменят традиционные сетевые адаптеры для большей части облачной инфраструктуры гиперскейлеров для задач общего назначения и высокопроизводительных рабочих нагрузок», — сказал Фунг, отметив также перспективность использования SmartNIC облачными провайдерами второго эшелона, в корпоративных ЦОД и на телекоммуникационном рынке. SmartNIC позволяют разгрузить хост-систему, переложив на них часть задач, однако они всё ещё дороги, а сети на их основе сложны в реализации.

Изображение: AMD

Доходы от продаж SmartNIC, по прогнозам Dell'Oro, будут расти в течение ближайших пяти лет со среднегодовым темпом роста (CAGR) в 21 %, в то время как для традиционных сетевых адаптеров этот показатель составит 5 %. В Dell'Oro также ожидают, что стоимость высокоскоростных портов будет снижаться, поэтому пять лет около 44 % поставок будут приходиться на порты 100GbE+. Так, в США в течение следующих пяти лет в инфраструктуре основных гиперскейлеров — Amazon, Google, Meta* и Microsoft — будут преобладать порты 100GbE и 200GbE.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания Dell’Oro проанализировала ситуацию на мировом рынке адаптеров и контроллеров Ethernet, а также сделала прогноз на следующий год. По оценкам, в третьем квартале текущего года отгрузки оборудования в пересчёте на количество Ethernet-портов сократились на 7 % по сравнению с результатом за тот же период прошлого года. Наблюдающаяся ситуация объясняется дефицитом ряда компонентов и нарушением работы цепочек поставок.

Отмечается, что в отдельных случаях выполнение новых заказов в обозначенном сегменте затягивается на 52 недели (т.е. фактически год). Но в то же время поставки Ethernet-контроллеров достигли рекордного уровня. Эксперты связывают это с увеличением складских запасов у поставщиков серверов, которые ожидают высокий спрос в корпоративном и облачном сегментах. Суммарная выручка от реализации контроллеров и адаптеров Ethernet по итогам текущего года, как прогнозируется, поднимется на 27 % по сравнению с 2020-м.

Источник изображения: pixabay.com / Bru-nO

Крупные облачные провайдеры переходят на порты 100/200GbE. В следующем году отгрузки оборудования по числу портов, по мнению аналитиков, пойдут вверх: рост ожидается на двузначные числа процентов. Отмечается, что в сегменте «умных» адаптеров основная масса поставок приходится на собственные решения гиперскейлеров, таких как Amazon и Microsoft. Такие изделия также выпускают Marvell, Intel, Xilinx, Nvidia, Napatech, Pensando, Fungible, Ethernity и Broadcom.

Весной Intel анонсировала свои первые DPU (Data Processing Unit), которые она предпочитает называть IPU (Infrastructure Processing Unit), утверждая, что такое именования является более корректным. Впрочем, цели у этого класса устройств, как их не называй, одинаковые — перенос части функций CPU по обслуживанию ряда подсистем на выделенные аппаратные блоки и ускорители.

Классическая архитектура серверных систем такова, что при работе с сетью, хранилищем, безопасностью значительная часть нагрузки ложится на плечи центральных процессоров. Это далеко не всегда приемлемо — такая нагрузка может отъедать существенную часть ресурсов CPU, которые могли бы быть использованы более рационально, особенно в современных средах с активным использованием виртуализации, контейнеризации и микросервисов.

Для решения этой проблемы и были созданы DPU, которые эволюционировали из SmartNIC, бравших на себя «тяжёлые» задачи по обработке трафика и данных. DPU имеют на борту солидный пул вычислительных возможностей, что позволяет на некоторых из них запускать даже гипервизор. Однако Intel IPU имеют свои особенности, отличающие их и от SmartNIC, и от виденных ранее DPU.

Новый класс сопроцессоров Intel должен взять на себя все заботы по обслуживанию инфраструктуры во всех её проявлениях, будь то работа с сетью, с подсистемами хранения данных или удалённое управление. При этом и DPU, и IPU в отличие от SmartNIC полностью независим от хост-системы. Полное разделение инфраструктуры и гостевых задач обеспечивает дополнительную прослойку безопасности, поскольку аппаратный Root of Trust включён в IPU.

Это не единственное преимущество нового подхода. Компания приводит статистику Facebook*, из которой видно, что иногда более 50% процессорных тактов серверы тратят на «обслуживание самих себя». Все эти такты могут быть пущены в дело, если за это обслуживание возьмётся IPU. Кроме того, новый класс сетевых ускорителей открывает дорогу к бездисковой серверной инфраструктуре: виртуальные диски создаются и обслуживаются также чипом IPU.

Первый чип в новом семействе IPU, получивший имя Mount Evans, создавался в сотрудничестве с крупными облачными провайдерами. Поэтому в нём широко используется кремний специального назначения (ASIC), обеспечивающий, однако, и нужную степень гибкости, За основу взяты ядра общего назначения Arm Neoverse N1 (до 16 шт.), дополненные тремя банками памяти LPDRR4 и различными ускорителями.

Сетевая часть представлена 200GbE-интерфейсом с выделенным P4-программируемым движком для обработки сетевых пакетов и управления QoS. Дополняет его выделенный IPSec-движок, способный на лету шифровать весь трафик без потери скорости. Естественно, есть поддержка RDMA (RoCEv2) и разгрузки NVMe-oF, причём отличительной чертой является возможность создавать для хоста виртуальные NVMe-накопители — всё благодаря контроллеру, который был позаимствован у Optane SSD.

Дополняют этот комплекс ускорители (де-)компресии и шифрования данных на лету. Они базируются на технологиях Intel QAT и, в частности, предложат поддержку современного алгоритма сжатия Zstandard. Наконец, у IPU будет выделенный блок для независимого внешнего управления. Работать с устройством можно будет посредством привычных SPDK и DPDK. Один IPU Mount Evans может обслуживать до четырёх процессоров. В целом, новинку можно назвать интересной и более доступной альтернативной AWS Nitro.

Также Intel представила платформу Oak Springs Canyon с двумя 100GbE-интерфейсами, которая сочетает процессоры Xeon-D и FPGA семейства Agilex. Каждому чипу которых полагается по 16 Гбайт собственной памяти DDR4. Платформа может использоваться для ускорения Open vSwitch и NVMe-oF с поддержкой RDMA/RocE, имеет аппаратные криптодвижки т.д. Наличие FPGA позволяет выполнять специфичные для конкретного заказчика задачи, но вместе с тем совместимость с x86 существенно упрощает разработку ПО для этой платформы. В дополнение к SPDK и DPDK доступны и инструменты OFS.

Наконец, компания показала и референсную плаформу для разработчиков Intel N6000 Acceleration Development Platform (Arrow Creek). Она несколько отличается от других IPU и относится скорее к SmartNIC, посколько сочетает FPGA Agilex, CPLD Max10 и сетевые контроллеры Intel Ethernet 800 (2 × 100GbE). Дополняет их аппаратный Root of Trust, а также PTP-блок.

Работать с устройством можно также с помощью DPDK и OFS, да и функциональность во многом совпадает с Oak Springs Canyon. Но это всё же платформа для разработки конечных решений ODM-партнёрами Intel, которые могут с её помощью имплементировать какие-то специфические протоколы или функции с ускорением на FPGA, например, SRv6 или Juniper Contrail.

IPU могут стать частью высокоинтегрированной ЦОД-платформы Intel, и на этом поле она будет соревноваться в первую очередь с NVIDIA, которая активно продвигает DPU BluefIeld, а вскоре обзаведётся ещё и собственным процессором. Из ближайших интересных анонсов, вероятно, стоит ждать поддержку Project Monterey, о которой уже заявили NVIDIA и Pensando.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Процессоры — важная часть платформы, но сегодня не менее важны коммуникационные возможности, в частности, сетевые процессоры, которые должны соответствовать всё возрастающим скоростям соединения. Одновременно с анонсом процессоров Xeon Scalable третьего поколения (Ice Lake-SP) компания Intel представила и сопутствующие им сетевые адаптеры E810-2CQDA2, способные справиться с потоком данных до 200 Гбит/с.

Сама сетевая платформа Intel E810 уже не нова, первые модели адаптеров на базе нового ASIC были анонсированы ещё в третьем квартале 2020 года, однако до сегодняшнего дня их скоростные возможности были ограничены планкой 100 Гбит/с. E810-2CQDA2 — первый в серии адаптер, поддерживающий PCI Express 4.0 и способный воспользоваться преимуществами этого стандарта, полноценно «переваривая» 200 Гбит/с. Конкуренты аналогичные решения начали анонсировать ещё в 2019 году.

Технически это полноразмерная плата расширения с интерфейсом PCIe 4.0 и двумя портами QSFP28, каждый из которых может работать как в режиме 100 Гбит/с, так и разделяться на 8 портов со скоростью 25 Гбит/с. Физически новый адаптер может функционировать как две независимые сетевые карты уровня 100GbE, поддерживающие как RoCE v2, так и iWARP, что делает новинку универсальным решением для рынка облачных систем нового поколения.

Важной характеристикой платформы E810 является технология ADQ (Application Device Queues). В современных сетевых приложениях очень важна предсказуемая производительность, и Intel E810 обеспечивает её за счёт организации выделенных очередей на уровне приложений. Технология ADQ позволяет более тонко дирижировать трафиком, а также снижает время отклика.

Intel E810-2CQDA2 поддерживает множество вариантов подключения

Новые сетевые адаптеры Intel E810 также могут похвастаться более совершенным и гибким движком фильтрации пакетов, поддержкой протокола прецизионного времени IEEE 1588 PTP и реализацией концепции «нулевого доверия» (Zero Trust), обеспечивающей повышенный уровень безопасности. Но, в целом, E810 является эволюцией серии Intel E800.

Модель E810-2CQDA2 универсальна и поддерживает подключение самых различных трансиверов QSFP28 и даже SFP+, а также пассивных медных кабелей. Новый адаптер Intel можно назвать подходящим для развёртывания новых телекоммуникационных узлов, включая периферийные службы. Максимальный уровень энергопотребления E810-2CQDA2 заявлен на уровне 33,5 Ватт (с оптическими модулями), что для двухпортовой карты класса 100GbE не так много.

Компания Mellanox, один из признанных лидеров в разработке интеллектуальных сетевых процессоров, анонсировала свои новые решения в сериях ConnectX и BlueField.

Сетевые адаптеры ConnectX-6 Dx доступны уже на момент анонса, а вот решений BlueField-2 придётся подождать; впрочем, их поставки также начнутся в ближайшее время.

В качестве главной особенности новинок Mellanox называет продвинутые средства обеспечения ИТ-безопасности. Оба чипа нацелены на создание распределенной сетевой инфраструктуры с нулевым доверием (zero trust), они располагают средствами ускорения IPSec и TLS. Также полностью поддерживается RDMA over Converged Ethernet. Доступны скорости до 200 Гбит/с.

За счёт аппаратного управления политиками безопасности и аппаратной же инспекции пакетов новые ConnectX-6 Dx могут быть существенно эффективнее классических сетевых адаптеров. Сама компания называет цифры вплоть до 100х. Адаптеры BlueField-2 ещё более продвинуты — они поддерживают микросегментацию, глубокую инспекцию пакетов и умеют определять вредоносные приложения.

Чтобы справиться с растущим спросом на потребление информации, в течение следующих лет центры обработки данных будут модернизировать свои сети. Прежде всего, это волоконно-оптические каналы, скорость которых должна расти, а потребление, в пересчёте на единицу переданных данных, снижаться.

Необходимого результата поможет добиться новая разработка Imec.

SiGe BiCMOS ЦАП (Imec)

Бельгийский исследовательский центр Imec совместно с Гентским университетом для демонстрации на конференции ISSCC2020 представили первый в своём роде высокоскоростной кремниевый аналоговый временной перемежитель (интерливер) сигнала, решение для временного уплотнения импульсов. Разработка обеспечивает скорость передачи сигналов в канале до 100 ГБод (200 Гбит/с) при потребляемой мощности всего 700 мВт с использованием модуляции PAM-4 (амплитудно-импульсная модуляция с 4-уровневым кодированием).

Будущие линии оптической связи должны быть недорогими, ёмкими и иметь низкое потребление энергии. Согласно современным представлениям, добиться высочайших скоростей можно только с помощью оптических трансиверов на полупроводниках на основе фосфида индия (InP).

К сожалению, техпроцессы с использованием этого соединения достаточно затратные и подвержены высокому уровню брака при массовом производстве. Хорошо освоенные промышленностью техпроцессы КМОП отлично масштабируются, но сильно ограничивают полосу пропускания. Например, ЦАП в рамках техпроцессов КМОП с трудом преодолевает 50-ГГц барьер.

Учёные из Imec и Университета Гента смогли достичь внушительной пропускной способности ЦАП (цифро-аналоговых преобразователей) с помощью кремний-германиевого БиКМОП техпроцесса (SiGe BiCMOS). Они создали 55-нм чип, который объединил выходы четырех ЦАП.

С помощью технологии чередования во времени четырех потоков по 25 Гбод получилось создать решение с общей ёмкостью канала 100 Гбод. Это эквивалентно одному ЦАП, работающему со скоростью 100 гига-выборок в секунду. Используя модуляцию PAM-4, скорость передачи сигнала достигает 200 Гбит/с. Потребление, как сказано выше, осталось сравнительно низким ― на уровне 700 мВт, хотя частота дискретизации выросла значительно.

Поскольку технология SiGe BiCMOS может быть реализована при большом объеме производства с допустимым уровнем брака, центры обработки данных могут получить новые оптические трансиверы с превосходными характеристиками уже в обозримом будущем.

Растущие скорости сетей требуют от сетевых адаптеров всё большего «разума» и компании-разработчики таких решений отвечают на вызовы технологии и рынка.

Компания Napatech, разработчик реконфигурируемых вычислительных платформ, объявила о доступности новых программируемых сетевых адаптеров Link.

Как правило, «умные» сетевые адаптеры делятся на три категории — ASIC, FPGA (ПЛИС) и «процессорные». Новые решения Napatech относятся ко второму типу, наиболее дорогостоящему, но и демонстрирующему наилучшие результаты в плане производительности на специфических задачах. Программируются такие карты также весьма сложно, но благодаря поддержке стандарта Xilinx Vivaldo эта задача облегчается. Базируются новинки на высокопроизводительной ПЛИС-платформе Xilinx Viretx UltraScale+.

Архитектура новинки

Анонсированная модель, Link NT200A02, базируется на дизайне модуля XCVU5P, но будут доступны и более производительные варианты на базе XCVU7P или XCVU9P. Доступен соответствующий комплект разработчика.

Плата имеет два разъёма QSFP28 с поддержкой скоростей от 1 до 100 Гбит/с и обычный разъём RJ45 (1000Base-T). Поддерживается работа в режиме PCIe x16 3.0, имеется начальная поддержка PCIe 4.0 (в режиме 2×8). Несколько Link NT200A02 могут общаться друг с другом посредством специальной системы межсоединений с пропускной способностью 675 Гбит/с. Кроме того, есть отдельный интерфейс для синхронизации времени с наносекундной точностью.

Доступна версия с пассивным охлаждением

Позиционируется новый продукт в качестве решений для сетевых систем, требующих высокой вычислительной производительности или критичных ко времени отклика: машинного зрения, кодирования видео в реальном времени, высокочастотной торговли, шифрования/дешифровки трафика, обработки данных, получаемых со спутников и других подобного рода задач.

Link NT200A02 имеет сертификацию PCI-SIG, гарантирующую совместную работу в единой системе восьми и более таких карт, что, по мнению компании, позволяет получить вычислительную мощность уровня небольшого кластера в объёмах одного сервера. Мощная ПЛИС означает высокий тепловой пакет, и он у новинки действительно достигает 120 Ватт. Доступны варианты как с собственной активной системой охлаждения, так и оснащённые только пассивным радиатором и полагающиеся на систему охлаждения сервера.