Компания NVIDIA в ходе выставки Computex 2023 анонсировала передовую Ethernet-платформу Spectrum-X для облачных провайдеров: система поможет в масштабировании сервисов генеративного ИИ. Решение уже доступно гиперскейлерам и операторам крупных дата-центров. Платформа предусматривает использование коммутаторов на базе ASIC NVIDIA Spectrum-4 (51,2 Тбит/с) и 400GbE DPU NVIDIA BlueField-3.

Отмечается, что BlueField-3 сочетает в себе большие вычислительные ресурсы, высокоскоростное сетевое соединение и обширные возможности программирования, что даёт возможность создавать программно-определяемые решения с аппаратным ускорением для самых требовательных задач. В результате, платформа Spectrum-X позволяет добиться 1,7-кратного увеличения производительности ИИ-нагрузок и повышения энергоэффективности по сравнению с другими решениями.

Источник изображений: NVIDIA

Для Spectrum-X заявлена возможность использования до 256 портов 200GbE (или 64 × 800GbE, или 128 × 400GbE) на базе одного коммутатора или до 16 000 портов в случае архитектуры Spine-Leaf. В набор сопутствующего ПО входят SDK-комплекты для SDKCumulus Linux, SONiC и NetQ, а также фреймворк NVIDIA DOCA. С применением решений NVIDIA Mellanox LinkX возможно формирование сквозной 400GbE-фабрики, оптимизированной для облачных ИИ-сервисов.

Платформа Spectrum-X, в частности, будет применена в составе суперкомпьютера Israel-1, который NVIDIA строит в своём израильском дата-центре. Комплекс объединит серверы Dell PowerEdge XE9680 на основе NVIDIA HGX H100 (восемь GPU), изделия BlueField-3 DPU и коммутаторы Spectrum-4.

Сегодня, 22 мая 2023 года, исполняется ровно 50 лет с момента изобретения Ethernet — сетевой технологии, без которой невозможно представить современное IT-пространство. Именно Ethernet является одним из самых распространённых стандартов локальных вычислительных сетей, соединяя миллионы компьютеров по всему миру.

Отцом Ethernet является Роберт Меткалф (Robert Metcalfe) — американский инженер и учёный в области информатики. С 1972-го он работал в Xerox PARC над созданием персонального компьютера и лазерного принтера. В конце того же года Меткалф представил сеть со скоростью передачи данных на уровне 3 Мбит/c — систему Alto Aloha Network: именно она в дальнейшем получила название Ethernet. Документацию по проекту Ethernet Боб Меткалф опубликовал 22 мая 1973 года — этот день и считается датой рождения сетевой технологии, которая легла в основу интернета.

Источник изображения: MIT

Меткалф говорит, что очень хорошо помнит тот день в 1973-м: «Я сидел в здании 34 (в Xerox PARC) за пишущей машинкой Selectric, печатая сводку своих мыслей о том, как должны работать сети, а затем набросал диаграммы».

В марте 2023 года Ассоциация вычислительной техники (ACM), старейшая и наиболее крупная международная организация в компьютерной области, присудила Роберту Меткалфу премию Тьюринга в размере $1 млн за изобретение и коммерциализацию Ethernet. В прошлом году ушёл из жизни Дэвид Боггс, также внёсший огромный вклад в развитие Ethernet. 77-летний Меткалф отмечает, что у него остались тёплые воспоминания об их сотрудничестве. После совместного изобретения и работы над стандартизацией Ethernet Меткалф коммерциализировал технологию в 3Com — компании, которую он основал в 1979 году.

Пропускная способность сетей Ethernet постоянно увеличивается. В настоящее время среди гиперскейлеров набирает обороты технология 400GbE. Есть и 800GbE-решения. По словам Меткалфа, скорости Ethernet нет предела. К примеру, уже ведутся работы над сетями с пропускной способностью 1,6 Тбит/с.

Компания Broadcom, один из ведущих поставщиков «кремния» для сетевых решений, анонсировала новый сетевой процессор Jerico3-AI, который ориентирован на ИИ-системы. Более того, Broadcom считает подход NVIDIA к «интеллектуальным сетевым решениям» с использованием InfiniBand неверным и даже вредным для кластерных ИИ-систем.

Ethernet-коммутаторы компании можно разделить три ветви: наиболее высокопроизводительные чипы Tomahawk, ориентированная на дополнительные возможности ветвь Trident и, наконец, серия Jericho, отличающаяся наибольшей гибкостью в программировании и располагающая более ёмкими буферами. Чип Jericho3-AI BCM88890 — новинка в последней категории, относящаяся к классу 28,8 Тбит/с. Новый коммутатор имеет 144 линка SerDes (106Gbps, PAM4) и может работать в конфигурации 18×800GbE, 36×400GbE или 72×200GbE.

Источник здесь и далее: Broadcom (via ServeTheHome)

В своей презентации Broadcom раскритиковала традиционный подход NVIDIA и других крупных игроков на сетевом рынке, заявив о том, что прямое наращивание пропускной способности и снижение латентности кластерной сети якобы является тупиковой ветвью развития. Вместо этого фабрика на базе Jericho3-AI, по словам компании, позволяет сделать так, чтобы процесс обучения нейросети как можно меньше времени тратил не сетевые операции.

Новый коммутатор обеспечивает идеальную балансировку загрузки, гарантирующую отсутствие заторов, и автоматическое переключение отказавшего соединения на резервное менее, чем за 10-нс, а также позволяет создавать большие «плоские» сети (до 32 тыс. портов 800GbE), характерные для ИИ-кластеров. Каждый ускоритель может получить 800G-подключение, а суммарная производительность фабрики на базе новых коммутаторов может достигать 26 Пбит/с.

Broadcom утверждает, что сеть Ethernet на базе Jericho3-AI превосходит аналогичную по классу сеть NVIDIA InfiniBand в тестах с использованием NCCL. При этом новый коммутатор не содержит никаких вычислительных мощностей общего назначения — он проще, а за счёт использования стандарта Ethernet сети на его основе универсальны, что также снижает стоимость владения инфраструктурой.

Высокая степень интегрированности обеспечит и большую экономичность, а значит, решения на базе нового коммутатора Broadcom окажутся и более дружелюбны к экологии. Новые чипы уже доступны избранным клиентам Broadcom.

Компания Dell'Oro Group обнародовала результаты исследования глобального рынка коммутаторов для дата-центров в последней четверти 2022 года. Сообщается, что отрасль пятый квартал подряд демонстрирует рост на двузначные числа процентов, что отражает продолжающееся развитие облачных провайдеров и площадок гиперскейлеров.

В IV квартале 2022-го поставки ЦОД-коммутаторов поднялись на 15 % в годовом исчислении, установив новый рекорд. По итогам минувшего года в целом также зафиксированы рекордные показатели. Рост выручки наблюдался во всех регионах, кроме Китая, где падение в последней четверти 2020 года составило почти 20 %. До этого отрицательная динамика в КНР наблюдалась только в I квартале 2020-го, что объяснялось ограничениями в связи с пандемией COVID-19. Но тогда спад был незначительным, и за ним последовало быстрое восстановление.

Ключевой вклад в рост выручки внесла компания Arista Networks, получившая крупный заказ от Meta✴. За Arista следует Juniper. Доля выручки Arista в течение IV квартала прошлого года выросла почти на 7 %, а по итогам 2022-го в целом превысила 20 %. Годовые поставки устройств класса 200G/400G достигли почти 10 млн портов, что составляет более 10 % от общего объёма продаж. В денежном выражении на такие решения пришлось почти 20 % выручки. Спрос на продукты 200G/400G остаётся высоким среди гиперскейлеров — Google, Amazon, Microsoft и Meta✴.

Изображение: Meta/OCP

«На поставщиков облачных услуг пришлось более 80 % роста продаж в течение квартала. Хотя эти сильные показатели соответствовали нашим ожиданиям, значительное снижение в Китае стало неожиданностью. Спад в КНР можно объяснить различными факторами, в том числе сокращением расходов крупных китайских поставщиков облачных услуг, таких как Alibaba и Tencent, ограничениями в связи с COVID-19 и влиянием обменных курсов валют», — отмечает Dell'Oro Group.

Растущая популярность генеративного ИИ и поддержка интеллектуальных функций платформами виртуализации, такими как VMware vSphere, будут способствовать росту продаж боле скоростных сетевых адаптеров Ethernet, считают в аналитической фирме Dell'Oro Group.

Согласно прогнозу Dell'Oro Group, к концу 2023 года сетевые адаптеры Ethernet со скоростью 100 Гбит/с или выше будут приносить почти половину всех доходов в этом сегменте, даже несмотря на то, что их доля в продажах сетевых карт составляет менее 20 %. Аналитики утверждают, что бум машинного обучения, отчасти вызванный ажиотажем вокруг ChatGPT, Midjourney и других моделей генеративного ИИ, будет стимулировать спрос на оборудование, обеспечивающее более быструю работу сети.

По словам аналитика, поскольку рабочие нагрузки AI/ML часто распределяются между несколькими узлами или даже между несколькими стойками, для них обычно требуется более высокая пропускная способность. Например, ИИ/HPC-платформа NVIDIA DGX H100 оснащена восемью 400G-адаптерами, по одному на каждый из её ускорителей H100.

Источник изображения: NVIDIA

Ожидается, что в этом году SmartNIC будут применяться в большем количестве решений благодаря более широкому распространению программных платформ, способных использовать их преимущества. «Я думаю, что в этом году мы можем получить больше поддержки DPU и SmartNIC. Проекты вроде Project Monterey приносят много преимуществ», — отмечают в Dell'Oro Group.

Dell'Oro прогнозирует, что в 2023 году выручка на рынке NIC достигнет двузначного роста, несмотря ожидаемое сокращение поставок на 9 % в годовом исчислении. По словам аналитиков, из-за снижения спроса провайдеры отдают предпочтение оборудованию более высокого класса с более скоростными интерфейсами на 100GbE, 200GbE или даже 400GbE и соответствующей функциональностью, которая обеспечивает более высокую среднюю цену.

При этом у дорогих NIC стоимость обработки бита, как правило, ниже. Это означает, что сервер с поддержкой более высокой скорости передачи данных может оказаться дешевле нескольких серверов с установленными более дешёвыми и соответственно более медленными NIC. Аппаратное ускорение в SmartNIC также может позволить клиентам обойтись процессорами более низкого уровня, поскольку в этом случае часть задач адаптер забирает у CPU. Кроме того, поскольку большинство компаний покупают NIC в составе более крупной системы, они могут получить дополнительную экономию в виде скидки если не на сетевую карту, то на DRAM или SSD/HDD.

Не столь давно производители микроэлектроники праздновали выпуск первых чипов для коммутаторов с пропускной способностью 25,6 Тбит/с. Но в эпоху массового распространения 400GbE и начала внедрения 800GbE этого может оказаться недостаточно. Ряд ведущих производителей микрочипов объявил о выпуске нового поколения сетевых ASIC с пиковой способностью коммутации 51,2 Тбит/с. К их числу теперь относится Marvell с чипом Teralynx 10 и оптической платформой Nova.

Источник изображений здесь и далее: Marvell

Чип Teralynx 10 изначально спроектирован, как основа для инфраструктуры класса 800GbE. Чип содержит 512 блоков SerDes со скоростью передачи данных 112 Гбит/с и может быть сконфигурирован как 32 × 1,6 Тбит/с или 64 ×  800 Гбит/с. Впрочем, поддерживаются и менее скоростные конфигурации портов. В новом чипе имеется отдельный встроенный Arm-сопроцессор, а также блок безопасного удалённого управления с интерфейсами PCIe 3.0 x4 и 10GbE.

Блок-схема Teralynx 10

Новая платформа Teralynx ведёт своё происхождение от разработок компании Innovium, приобретённой Marvell в августе 2021 года и даже в новой, высокопроизводительной итерации сохраняет совместимость на уровне ПО. Так, полностью поддерживаются продвинутые функции телеметрии и предиктивной аналитики Teralynx Flashlight.

Также компания анонсировала первое в индустрии поколение гибридной платформы Nova, предназначенной для сетей класса 1,6 Тбит/с (16 × 100G ↔ 8 × 200G). Новые DSP (PAM4) предлагают именно такие оптические трансиверы в форм-факторе OSFP-XD, а 5-нм техпроцесс и использование интегрированной фотоники позволили снизить энергопотребление DSP до менее 28 Вт. Поставки новых чипов должны начаться уже во II квартале.

Компании Cisco пришлось пересмотреть конструкцию популярной панели Room Navigator for Table, предназначенной для управления умным домом и видеоконференцсвязи. Как сообщает портал NetworkWorld, виной тому стали пользователи, выводившие из строя Ethernet-порт, перетаскивая устройство за кабель. В результате гаджет выходил из строя в течение нескольких месяцев, а официальному ремонту вся конструкция не подлежит.

Источник изображения: Cisco

В случае поломки у Webex Room Navigator либо начнутся проблемы с питанием, либо с сетевым соединением, или с тем и другим, поскольку используется PoE-подключение. Если Ethernet-порт сломается или выпадет из устройства, потребуется полная замена подставки. Для того чтобы проверить, затронула ли устройство выявленная проблема, необходимо ввести серийный номер для проверки с помощью инструмента Serial Number Validation Tool.

Источник изображения: Cisco

Cisco предложила пользователям заменить подставку устройства, поскольку новая конструкция обеспечивает более надёжное крепление. Пользователям новой версии с отверстием в подставке, расположенным чуть в стороне от порта, никаких действий не требуется. Те же, кто приобрёл оборудование раньше, могут заменить его, заполнив специальную форму на сайте — Неизвестно, будет ли организовано взаимодействие с российскими покупателями, поскольку ещё в прошлом году компания объявила об отказе в продлении лицензий и приостановке работы в России и Беларуси.

Компания International Data Corporation (IDC) представила квартальные результаты исследования мирового рынка сетевого оборудования корпоративного класса. Аналитики берут в рассмотрение коммутаторы Ethernet разного уровня и маршрутизаторы, в том числе для сервис-провайдеров.

В период с апреля по июнь включительно продажи коммутаторов составили $8,5 млрд, увеличившись на 14,6 % по сравнению со II кварталом 2021-го. В сегменте маршрутизаторов зафиксирован рост на уровне 6,3 %, а итоговый результат составил $4,2 млрд.

IDC разделяет сектор коммутаторов на две категории: устройства для центров обработки данных и прочие корпоративные решения. Во втором сегменте квартальная выручка поднялась на 5,8 %, но количество реализованных портов в годовом исчислении упало на 0,4 %. В сегменте дата-центров зафиксирован рост выручки на 26,9 %; количество поставленных портов поднялось на 11,7 %.

Источник изображения: IDC

Выручка по направлению коммутаторов 200GbE/400GbE подскочила в квартальном исчислении на 67,4 %, а количество портов выросло на 89,5 %. В сегменте 100GbE продажи поднялись на 28,3 %, количество портов — на 23,4 %. На решения 100GbE пришлось 26,2 % от общей выручки. Продукты 25/50 GbE показали рост продаж на 22,1 %, число портов прибавило 5,4 %. В сегменте 1GbE отмечено увеличение продаж на 2,6 %, количество портов поднялось на 1,6 %. Решения 10GbE принесли на 1,3 % меньше выручки в годовом исчислении, а количество портов поднялось на 2,1 %. В сегменте 2.5/5GbE выручка прибавила 41,2 %, число портов — 58,7 %.

С географической точки зрения в Китае продажи год к году поднялись на 9,3 %, в Соединённых Штатах — на 23,3 %, в Западной Европе — на 14,8 %. В Центральной и Восточной Европе рынок сократился на 12,5 %, а в России продажи рухнули на 89,2 %. В рейтинг ведущих поставщиков коммутаторов Ethernet входят Cisco, Huawei, Arista Networks, H3C и HPE с долями соответственно 43,3 %, 10,6 %, 10,1 %, 6,3 % и 5,5 %.

В секторе маршрутизаторов продажи в Китае просели на 1,8 %, в Центральной и Восточной Европе — на 25,2 %. В Западной Европе зафиксирован рост на 4,2 %. Около 73,8 % всей выручки пришлось на изделия для сервис-провайдеров, рост здесь составил 2,2 %. Оставшуюся часть средств принесли маршрутизаторы корпоративного уровня; прибавка — 20,2 % в годовом исчислении.

Согласно данным исследовательского центра Dell'Oro, SmartNIC будут одним из драйверов роста рынка Ethernet-адаптеров, объём которого, по его прогнозу, достигнет к 2026 году $5 млрд. Скорость подключения продолжит расти и на порты с поддержкой скорости 100 Гбит/с и выше будет приходиться почти половина поставок.

В отчёте Dell'Oro «Ethernet Adapter & Smart NIC 5-Year Forecast» за июль 2022 года сообщается, что на SmartNIC будет приходиться растущая доля рынка Ethernet-адаптеров, особенно это относится к гиперескейлерам и сегменту высокопроизводительных приложений. По словам директора по исследованиям Dell'Oro Барона Фунга (Baron Fung), к 2026 году доля SmartNIC составит 38 % всего рынка контроллеров и адаптеров Ethernet.

«SmartNIC заменят традиционные сетевые адаптеры для большей части облачной инфраструктуры гиперскейлеров для задач общего назначения и высокопроизводительных рабочих нагрузок», — сказал Фунг, отметив также перспективность использования SmartNIC облачными провайдерами второго эшелона, в корпоративных ЦОД и на телекоммуникационном рынке. SmartNIC позволяют разгрузить хост-систему, переложив на них часть задач, однако они всё ещё дороги, а сети на их основе сложны в реализации.

Изображение: AMD

Доходы от продаж SmartNIC, по прогнозам Dell'Oro, будут расти в течение ближайших пяти лет со среднегодовым темпом роста (CAGR) в 21 %, в то время как для традиционных сетевых адаптеров этот показатель составит 5 %. В Dell'Oro также ожидают, что стоимость высокоскоростных портов будет снижаться, поэтому пять лет около 44 % поставок будут приходиться на порты 100GbE+. Так, в США в течение следующих пяти лет в инфраструктуре основных гиперскейлеров — Amazon, Google, Meta✴ и Microsoft — будут преобладать порты 100GbE и 200GbE.

Компания International Data Corporation (IDC) опубликовала результаты исследования мирового рынка сетевого оборудования корпоративного класса в первой четверти текущего года. Учитываются поставки коммутаторов Ethernet разного уровня и маршрутизаторов, в том числе для сервис-провайдеров.

В период с января по март включительно выручка от реализации Ethernet-коммутаторов достигла $7,6 млрд. Это на 12,7 % больше результата годичной давности. Отмечается, что выручка по направлению коммутаторов 200GbE/400GbE подскочила на 35,6 % по сравнению с четвёртым кварталом 2021-го, а количество реализованных портов взлетело на 78,6 %.

Источник изображения: IDC

IDC разделяет сегмент коммутаторов на две категории: устройства для центров обработки данных и прочие корпоративные решения. На второй сегмент пришлось 53,7 % от общего размера выручки, рост здесь составил 6,4 %, а количество реализованных портов в годовом исчислении увеличилось на 4,7 %. В секторе дата-центров зафиксирован рост на 20,8 %; количество поставленных портов поднялось на 3,7 %.

В рейтинг ведущих поставщиков коммутаторов Ethernet входят Cisco, Huawei, Arista Networks, H3C и HPE с долями соответственно 45,4 %, 7,5 %, 9,3 %, 5,6 % и 6,0 %. Что касается маршрутизаторов корпоративного класса, то выручка от их поставок в первом квартале текущего года составила $3,6 млрд. Рост по отношению к первой четверти 2021-го — приблизительно 3,5 %.