Растущие объемы сетевого трафика, широкое распространение медиа-сервисов и видеоконференций, новые облачные услуги — всё это требует и нового сетевого «железа», способного справляться с повышающейся нагрузкой. И если не так давно для ASIC высшего класса нормой стал считаться показатель 25,6 Тбит/с, то сейчас вендоры осваивают следующий уровень производительности. Первенство в этой гонке принадлежит NVIDIA с её чипами Spectrum-4, но сейчас в игру вступила Broadcom.

Компания представила пятое поколение «сетевого кремния» в серии StrataXGS Tomahawk, тоже способное осуществлять коммутацию на скоростях до 51,2 Тбит/с — 5-нм чип Tomahawk 5 (BCM78900). Появление ASIC такого класса существенно облегчает жизнь разработчикам HPС-систем для задач машинного обучения, поскольку позволит объединить в единый комплекс больше узлов без «наценки» на латентность в конфигурациях 64х800GbE, 128х400GbE или 256х100GbE. Поддерживается RoCEv2 и другие протоколы RDMA, виртуализация и сегментация сетей, VxLAN и прочие современные технологии.

Источник: Broadcom

Несколько ограничивают возможности новинки SerDes-блоки Peregrine (PAM4/106 Гбит/с). Каждые 8 таких блоков собраны в трансиверное ядро, всего ядер в новом чипе 64, что ограничивает эффективную производительность на порт именно цифрой 800 Гбит/с. Достоинством Tomahawk 5 станет его экономичность: использование 5-нм техпроцесса позволило довести удельное энергопотребление до цифры менее 1 Вт на 100 Гбит/с, то есть речь идёт о потреблении в районе 500 Вт для полной конфигурации. Цифра немалая, но всё же позволяющая сохранить воздушное охлаждение. Кроме того, новый ASIC снабжён шестью Arm-блоками для настраиваемой потоковой телеметрии.

Следует отметить, что реальной потребности в таких скоростях пока очень немного: лишь 15 % (в деньгах) рынка Ethernet-устройств приходится на 400G-оборудование, но Broadcom считает, что постоянный рост аппетитов гиперскейлеров должен довести этот показатель до более чем 50 % уже к 2026 году. В случае же Tomahawk 5 пока речь идёт о первых поставках самих чипов, которые OEM-производителям ещё предстоит интегрировать в свои продукты. Они должны появиться на рынке в следующем году.

Пропускная способность современных сетей растёт ударными темпами — скорости в районе 400 Гбит/с на порт уже становятся обыденностью. Соответственно растут и требования к системам, обеспечивающим сетевую безопасность. Компания Fortinet представила новую серию межсетевых экранов FortiGate 4800F, способную предложить скорость обработки трафика до 2,4 Тбит/с, которая требуется 5G-операторам, дата-центрам гиперскейлеров и другим крупным заказчикам.

Источник: Fortinet

Речь, конечно, идёт о «чистой» пропускной способности, и по ряду показателей, если верить производителю, новые устройства не имеют себе равных в индустрии. В более практических цифрах это выражается в 55 Гбит/с в режиме инспекции SSL (TLS 1.3) и до 70 Гбит/с в режиме защиты (до 75 Гбит/с NGFW). Заявленная скорость работы с VPN составляет до 800 Гбит/с. Для достижения таких показателей используется сразу 16 фирменных ASIC NP7.

Чип Fortinet NP7: один из самых производительных в индустрии. Источник: Fortinet

Новые модели экранов, 4800F и 4801F, оснащены широкими возможностями подключения и могут предоставить 8 портов 400GbE (QSFP-DD), 12 портов 200GbE (QSFP56/28), 12 портов 50GbE (SFP56/28), а также два порта управления 10GbE (RJ-45). Надежность по питанию гарантируют сразу четыре блока с резервированием и функцией горячей замены. Впрочем, в 4U-шасси для них места хватает.

FortiGate 4800F в сравнении с соперниками. Источник: Fortinet

Со всем этим поможет справиться фирменная служба FortiGuard с элементами машинного обучения, способная обнаруживать угрозы «нулевого дня» и распознавать неизвестные потенциальные угрозы до того, как они смогут нанести вред. Кроме того, новинка может обслуживать сразу несколько различных сегментов, если для одного из них её возможности окажутся слишком велики.

Производители аппаратного обеспечения в последнее время особенно активно анонсируют продукты, разработанные для экосистемы CXL. Пока это, в основном, модули памяти, накопители или контроллеры для самого интерконнекта CXL, но компания BittWare, дочернее предприятие Molex, представила нечто иное — по ряду параметров первые в своём роде ускорители с поддержкой CXL, пусть пока и опциональной.

Объединяет серию новинок то, что построены они на базе FPGA Intel Agilex. Всего представлено три новых модели: IA-860m, IA-640i и IA-440i. Возглавляет семейство ускоритель IA-860m, использующий самую мощную ПЛИС Agilex AGM 039, оснащённую собственным банком памяти HBM2e объёмом 16 Гбайт, но версия с поддержкой CXL может комплектоваться уже 32 Гбайт такой памяти. Помимо этого, ускоритель имеет два канала DDR5 для DIMM-модулей и три QSFP-DD (до 400GbE).

Источник: BittWare

Эта модель предназначена для сценариев, требующих высокой пропускной способности одновременно от сетевых каналов и подсистемы памяти. Интересной особенностью является наличие внутренних портов расширения MCIO, каждый из которых представляет собой по два корневых комплекса PCIe 4.0 x4.

Блок-схема IA-860m. Источник: BittWare

Модель IA-640i проще, что видно даже по более скромной однослотовой пассивной системе охлаждения. Здесь устанавливается ПЛИС Intel Agilex AGI 019 или AGI 023, 400GbE-порт QSFP-DD только один, интерфейс MCIO тоже один, памяти HBM нет, а DDR4 заменила DDR5. Поддержка CXL также опциональна, как и в старшей версии, она пока ограничена версией 1.1. Фактически при желании можно просто докупить соответствующий IP-блок.

Блок-схема IA-640i. Источник: BittWare

Наконец, версия IA-440i предназначена для использования в компактных серверах, она имеет низкопрофильный конструктив, остальные же её характеристики практически аналогичны IA-640i, за исключением того, что из внутренних интерфейсов у этой модели остался только USB. Все ускорители сопровождаются набором фирменного ПО: драйверами, SDK BittWare, библиотеками и утилитами мониторинга. Новинки поддерживают стандарт Intel oneAPI.

Блок-схема IA-440i. Источник: BittWare

Возможности, предоставляемые новыми ускорителями, ограничены только физическими возможностями набортных логических матриц и фантазией разработчиков. Они могут стать основой для инференс-систем, ускорителей работы с базами данных, «вычислительных накопителей», поддержки сетей 5G, обработки потоков данных с массивов различных датчиков в «умной» промышленности и для многого другого.

Первые поставки младших моделей запланированы на заключительный квартал этого года с последующим выходом на массовое производство в I квартале 2024 года. А вот первых IA-860m следует ждать не раньше II квартала следующего года, тогда как массовые поставки, согласно опубликованным планам, стартуют лишь годом позже, во II квартале 2024 года.

Взрывной рост объёмов сетевого трафика, вызванный широким внедрением удалённых рабочих мест, HD-видеоконференций и устройств класса IoT, включая «умную индустрию», требует и соответствующего роста пропускной способности сетевых каналов, а значит, и более скоростных устройств коммутации. Компания Cisco ответила на вызов времени пополнением серии коммутаторов Nexus 9000, которые получили поддержку 400GbE и 800GbE.

Данная серия относится к флагманским, в неё входят как модульные коммутаторы, допускающие гибкую конфигурацию, так и устройства с фиксированной конфигурацией. Компания обновила оба варианта: представлены две новые модульные модели Nexus 9800 и 9400, а также модели в серии Nexus 9300. Позднее на этот год компания намечает внедрение DPU, способных справляться с линейным трафиком на скорости 400 Гбит/с на каждом порту, а также шины PCI Express 5.0.

Источник изображений: Cisco (via ServeTheHome)

Новое модульное шасси Cisco Nexus 9800, которое является наследником серии 8800, подняло планку суммарной коммутационной способности с 57 до 115 Тбит/с. Оно может вмещать четыре или восемь линейных карт, два модуля супервизора и и несколько модулей питания. На данный момент поддерживаются опции 100GbE и 400GbE, а в ближайшем будущем появится и модули 800GbE.

Каждый слот может обслуживать до 36 портов 400GbE QSFP-DD с потребляемой мощностью 32 Вт на порт; для 100GbE (максимум 48 портов на слот) этот показатель равен 7,5 Вт на порт. Поддержка MACSec заявлена для всех портов. Конфигурация модулей супервизора не разглашается, ранее компания использовала процессоры Intel Broadwell-DE, но не исключено, что в новых моделях флагманских коммутаторов она перешла на более современные решения.

Шасси Nexus 9400 более компактно, оно имеет высоту всего 4U. В модуле супервизора применён четырёхъядерный Xeon D-1500, а сама платформа полагается на 25,6-Тбит/с ASIC Cisco. Всего можно установить восемь модулей и получить до 64 портов 400GbE или до 128 портов 100GbE/200GbE. Заявлена поддержка MACSec для 400GbE-портов.

Серия Nexus 9300 пополнилась моделями N9K-C9364D-GX2A (64 порта 400GbE) и N9K-C9348D-GX2A (48 портов 400GbE) высотой 2U. Они базируются на ASIС с производительностью 25,6 и 19,2 Тбит/с соответственно. По какой-то причине поддержка MACSec на всех портах реализована только в 48-портовой модели. Третья модель, N9K-C9332D-GX2B, имеет только 32 порта 400GbE и использует ASIC класса 12,8 Тбит/с, но при этом она имеет высоту всего 1U.

Таким образом, можно сказать, что стандарт 200GbE, ставший доступным благодаря внедрению PCI Express 4.0, оказался достаточно короткоживущим: рынок крупных ЦОД, провайдеров и владельцев крупномасштабных облачных систем очень активно переходит с привычных 100 Гбит/с на порт на вчетверо более высокую скорость, и не за горами внедрение и 800G-портов. Во всяком случае, поддержка этого стандарта имеется в планах Cisco относительно дальнейшего развития серии Nexus 9800.

Cisco ещё год назад отмечала резкий рост спроса на 400G-решения. Вместе с тем проблемы в цепочке поставок компонентов не позволяют полностью удовлетворить спрос. По состоянию на начало этого года объём невыполненных заказов достиг почти $14 млрд. А в последнем квартале Cisco эта цифра выросла уже до $15 млрд, причём компания недосчиталась $300 млн из-за невозможности получить блоки питания в Китае. Невозможность поставок оборудования также влияет на продажи ПО. К слову, теперь Cisco намерена внедрять облачное управление для практических всех новых устройства в рамках платформу Nexus Cloud.

На мероприятии Vision 2022 компания Intel продолжает рассказывать о текущих и грядущих новинках, и на этот раз речь пойдет о так называемых об IPU (или DPU терминах других производителей). Новые планы Intel простираются до 2026 года и включают в себя создание ускорителей, рассчитанных на работу в сетях 400GbE и 800GbE.

Первое поколение IPU (100/200GbE) Mount Evans использует ASIC и ядра Arm Neoverse N1. Mount Evans разрабатывается совместно с Google и Microsoft. Есть и серия Oak Springs Canyon, в которой компания применила Xeon D и FPGA Agilex. На смену им в будущем придут Mount Morgan (ASIC) и Hot Springs Canyon (FPGA). Оба варианта ожидаются в 2023–24 гг. и позволят Intel освоить скорость 400 Гбит/с. Добраться до 800 Гбит/с планируется в 2025–2026 гг., и тоже при помощи ASIC и FPGA. О развитии «обычных» SmartNIC на базе FPGA компании рассказывать пока не стала.

Изображение: Intel

Для разработки предлагается использовать открытый фреймворк Infrastructure Programmer Development Kit (IPDK), который можно использовать для IPU/DPU, коммутаторов и даже обычных CPU. В ближайшее время IPU Intel будут «сопровождать» коммутаторы на базе Tofino 3, которые тоже поддерживаются IPDK, что позволит создать сквозную цепочку работы с сетевым трафиком. И наличие развитой программной экосистемы может сыграть решающую роль, поскольку занять свою нишу пытается целый ряд компаний: AMD (Pensando и Xilinx), Chelsio, Fungible, Kalray, Marvell, Nebulon, NVIDIA.

Cornelis Networks, созданная выходцами из Intel для дальнейшего развития интерконнекта Omni-Path (OPA), получила контракт на исследования и разработки с Национальным управлением ядерной безопасности Министерства энергетики (NNSA) США стоимостью $18 млн. Cornelis сообщила, что выделенных средств в совокупности с другими инвестициями вполне достаточно для создания программного-аппаратных решений OPA-400 (400 Гбит/с), которые должны появиться уже в следующем году.

В рамках проекта Next-Generation High Performance Computing Network (NG-HPCN) Cornelis и NNSA займутся разработкой и производством технологий интерконнекта следующего поколения для поддержки научных и инженерных рабочих нагрузок NNSA, а также высокопроизводительных вычислений (HPC). Курировать проект будет Ливерморская национальная лаборатория Лоуренса (LLNL) при участии ещё двух лабораторий NNSA — Лос-Аламосской (LANL) и Сандийской (SNL) национальных лабораторий.

Изображение: NHR

Напомним, что Intel отказалась от развития Omni-Path в 2019 году. Годом позже было объявлено, что все наработки по OPA переходят к Cornelis Networks, которая анонсировала 100-Гбит/с решения под брендом Omni-Path Express (OPX). OPX является несколько доработанной версией OPA-100. в частности, появилась поддержка фреймворка Open Fabrics Interface (OFI), разработанного альянсом OpenFabrics Alliance (OFA). OPX-решения станут массово доступны в течение ближайших недель.

А вот поколение OPA-200 (200 Гбит/с) компания решила пропустить, сосредоточившись на развитии OPA-400. Полученные от NNSA средства пойдут на развитие открытой (open source) программной платформы, ускорение моделирования будущих сетей на базе OPA-400 и разработка коммутационной инфраструктуры для OPA-400. Конкурировать Cornelis придётся в первую очередь с NVIDIA, которая ещё в позапрошлом году анонсировала 400-Гбит/с решения InfiniBand NDR.

Контракт с Cornelis финансируется из бюджета программы Advanced Simulation Computing (ASC) NNSA в рамках инвестиционного портфеля инициативы Exascale Computing Initiative (ECI). В рамках данной программы шести поставщикам технологий (в том числе и Intel, создавшей Omni-Path) были выделены средства на развития решений для экзафлопсных вычислений в США. Конечная цель Cornelis в рамках контракта с NNSA — подготовка нового поколения интерконнекта для будущих суперкомпьютеров экзафлопсного класса.

Компания Chelsio Communications анонсировала седьмое поколение своих сетевых процессоров Terminator с поддержкой 400GbE. От предшественников T7 отличает более развитая вычислительная часть общего назначения, включающая в себя до 8 ядер Arm Cortex-A72, так что их уже можно назвать DPU. Всего представлено пять вариантов 5 чипов (T7, N7, D7, S74 и S72), которые различаются между собой набором движков и ускорителей. Референсная платформа T7 будет доступна в мае, первых же адаптеров на базе новых DPU следует ожидать в III квартале 2022 года.

Для задач сжатия, дедупликации или криптографии есть отдельные сопроцессоры. Никуда не делся и привычный для серии Unified Wire встроенный L2-коммутатор. Для подключения к хосту T7 теперь использует шину PCIe 5.0 x16, причём он же содержит и root-комплекс. Более того, имеется и набортный коммутатор+мост PCIe 4.0, и NVMe-интерфейс, и даже поддержка эмуляции NVMe. Всё это, к примеру, позволяет легко и быстро создать NVMe-oF хранилище или мост NVMe-NVMe для компрессии и шифрования данных на лету. Новинка предлагает ускорение работы RoCEv2 и iWARP, FCoE и NVMe/TCP, iSCSI и iSER, а также RAID5/6. Сетевая часть поддерживает разгрузку Open vSwitch и Virt-IO.

Блок-схема старшего варианта T7 (Изображения: Chelsio Communcations)

Впрочем, поддержки P4 тут нет — Chelsio продолжает использовать собственные движки для обработки трафика. Но наработки, сделанные для серий T5 и T6, будет проще перенести на новое поколение чипов. Кроме того, появилась и практически обязательная нынче «глубокая» телеметрия всего проходящего через DPU трафика для повышения управляемости и его защиты. Если и этого окажется мало, то к T7 (и D7) можно напрямую подключить FPGA, а набортную память расширить банками DDR4/5. В пресс-релизе также отмечается, что T7 сможет стать достойной заменой InfiniBand в HРC-системах.

Вариант D7 наиболее близок к T7, но предлагает только 200GbE-подключение, лишён некоторых функций и второстепенных интерфейсов, да и в целом рассчитан на создание СХД. N7, напротив, лишён Arm-ядер и всех функций для работы с хранилищами, нет у него и PCIe-коммутатора и моста. Предлагает он только 200GbE-интерфейсы. Наконец, чипы серии S7 лишены целого ряда второстепенных функций и предоставляют только 100/200GbE-подключение. Они относятся скорее к SmartNIC, поскольку начисто лишены Arm-ядер и некоторых функций. Но зато они и недороги.

Кроме того, в седьмом поколении Termintator появилась возможность обойтись без набортной DRAM с сохранением всей функциональности. Так что использование памяти хоста позволит дополнительно снизить стоимость конечных решений, которые будут создавать OEM-производители. Сами чипы производятся с использованием техпроцесса TSMC 12-нм FFC, так что даже у старшей версии чипов типовое энергопотребление не превышает 22 Вт.

Компания Edgecore Networks, специализирующаяся на разработке сетевых продуктов, использующих открытое ПО, представила новый высокопроизводительный 1U-коммутатор, предназначенный для гиперскейлеров и облачных провайдеров. Новая модель DCS240 относится к spine-коммутаторам и располагает 32-мя 400bE-портами QSFP56-DD. В основе платформы лежит чипсет Broadcom BCM56880 (Trident 4, до 12,8 Тбит/с).

Изображение: Edgecore Networks

Коммутатор Edgecore DCS240 оснащён двумя блоками питания мощностью 1300 Вт каждый, а также шестью (5+1) — все с поддержкой горячей замены. Верхний ряд портов допускает использование мощных трансиверов 400G ZR/ZR+ (20 Вт), что позволяет расширить зону действия сети. По умолчанию на коммутатор загружено окружение ONIE для установки полноценной ОС, например, SONiC.

Предполагается, что новая модель может быть использована в связке с коммутаторами Edgecore DSC204 на базе чипсета Trident 3, которые предлагают 32 порта 100GbE (QSFP28). Такая связка получается экономичной и поддерживающей быстрое и удобное масштабирование инфраструктуры ЦОД, уже использующего 100G-сети без потерь в производительности.

Концепция ускорителя для работы с данными, выделенного DPU, продолжает набирать популярность. В последнее время целый ряд компаний представил свои решения. А на днях очередь дошла до крупного разработчика микроэлектроники, компании Marvell, которая анонсировала DPU серии Octeon 10.

Новые сопроцессоры построены на основе наиболее совершенного 5-нм техпроцесса TSMC и должны на равных сражаться с такими соперниками, как ускорители NVIDIA BlueField. Сама Marvell известна разработкой собственных вычислительных ядер, однако в Octeon 10 от этого подхода компания отошла, вернувшись к лицензированию ядер ARM — в основу новой серии чипов легли ядра Neoverse N2.

В основе данной архитектуры лежит набор команд ARM v9, появившийся не так уж давно. В сравнении с решениями на базе ARM v8.x эта архитектура может обеспечивать до 40% прироста в производительности, в том числе, за счёт поддержки 128-битных векторных расширений SVE2 и развитой подсистемы кешей. Процессорные ядра в Octeon 10 располагают по 1 и 2 Мбайт кешей второго и третьего уровня на каждое ядро.

В составе новой SoC также присутствуют блоки ускорения сетевых задач и криптографические акселераторы. Кроме этого, кремний Octeon 10 получил и сетевой коммутатор, обеспечивающий работу 16 портов Ethernet со скоростью 50 Гбит/с. «Прокормить» столь требовательную «семью» непросто, но в плане подсистем ввода-вывода новые DPU также отвечают современным реалиям: они рассчитаны на работу с памятью DDR5-5200 и поддерживают интерфейс PCI Express 5.0, блоки SerDes относятся к поколению 56G.

Отдельного упоминания заслуживает движок векторной обработки пакетов (Vector Packet Processing Engine), способный объединять в единую серию сетевые пакеты и «переваривать» их одновременно, как векторные данные. Такой подход позволяет серьёзно снизить латентность, что для DPU очень важно. Имеются в составе Octeon 10 и средства для работы с алгоритмами машинного обучения, причём каждый «тайл», поддерживающий INT8 и FP16, имеет свой объём SRAM.

Пока семейство Octeon 10 представлено четырьмя моделями, младшая из которых может содержать до 8 ядер Neoverse N2, а старшая — до 36 таких ядер, причём о масштабировании подсистемы памяти разработчики также подумали и число контроллеров DDR5 в новых чипах варьируется от 2 до 12. Несмотря на столь солидные характеристики, теплопакеты удалось удержать в разумных рамках, и даже у наиболее мощной версии DPU400 TDP составляет всего 60 Ватт.

В настоящее время Marvell Octeon 10 уже находится в производстве, первые же партии новых чипов должны поступить к заказчикам во второй половине этого года. Столь многогранные DPU должны найти применение в самых разных сценариях, от поддержания инфраструктуры 5G RAN до работы в составе облачных систем, а также в высокопроизводительных маршрутизаторах.

Идея «сопроцессора данных», озвученная всерьёз в 2020 году компанией Fungible, продолжает активно развиваться и прокладывать себе дорогу в жизнь. На конференции GTC 2021 корпорация NVIDIA анонсировала новое поколение «умных» сетевых карт BlueField-3, способное работать на скорости 400 Гбит/с.

Изначально серия ускорителей BlueField разрабатывалась компанией Mellanox, и одной из целей создания столь продвинутых сетевых адаптеров стала реализация концепции «нулевого доверия» (zero trust) для сетевой инфраструктуры ЦОД нового поколения. Адаптеры BlueField-2 были анонсированы в начале прошлого года. Они поддерживали два 100GbE-порта, микросегментацию, и могли осуществлять глубокую инспекцию пакетов полностью автономно, без нагрузки на серверные ЦП. Шифрование TLS/IPSEC такие карты могли выполнять на полной скорости, не создавая узких мест в сети.

Кристалл BlueField-3 не уступает в сложности современным многоядерным ЦП — 22 млрд транзисторов

Но на сегодня 100 и даже 200 Гбит/с уже не является пределом мечтаний — провайдеры и разработчики ЦОД активно осваивают скорости 400 и 800 Гбит/с. Столь скоростные сети требуют нового уровня производительности от DPU, и NVIDIA вскоре сможет предложить такой уровень: на конференции GTC 2021 анонсировано новое, третье поколение карт BlueField.

Если BlueField-2 могла похвастаться массивом из восьми ядер ARM Cortex-A72, объединённых когерентной сетью, то BlueField-3 располагает уже шестнадцатью ядрами Cortex-A78 и в четыре раза более мощными блоками криптографии и DPI. Совокупно речь идёт о росте производительности на порядок, что позволяет новинке работать без задержек на скорости 400 Гбит/с — и это первый в индустрии адаптер класса 400GbE со столь продвинутыми возможностями, поддерживающий, к тому же, стандарт PCI Express 5.0. Известно, что столь быстрым сетевым решениям PCIe 5.0 действительно необходим.

С точки зрения поддерживаемых возможностей BlueField-3 обратно совместим с BlueField-2, что позволит использовать уже имеющиеся наработки в области программного обеспечения для DPU. Одновременно с анонсом нового DPU компания представила и открытую программную платформу DOCA, упрощающую разработку ПО для таких сопроцессоров, поскольку они теперь занимаются не просто обработкой сетевого трафика, а оркестрацией работы серверов, приложений и микросервисов в рамках всего дата-центра.

В настоящее время NVIDIA сотрудничает с такими крупными поставщиками серверных решений, как Dell EMC, Inspur, Lenovo и Supermicro, со стороны разработчиков ПО интерес к BlueField проявляют Canonical, VMWare, Red Hat, Fortinet, NetApp и ряд других компаний. О массовом производстве BlueField-3 речи пока не идёт, поставка малыми партиями ожидается в первом квартале 2022 года, но карты BlueField-2 доступны уже сейчас. А в 2024 году появятся BlueField-4 с портами 800 Гбит/с.