В Сети появились сообщения о том, что основатель Mellanox Эяль Вальдман (Eyal Waldman, на фото ниже) вошёл в совет директоров Pliops, израильского стартапа в области технологий хранения данных. Ожидается, что он будет способствовать работе Pliops, оказывая помощь в масштабировании её технологию для новых вариантов использования.

В его обязанности будет входить предоставление консультаций по финансовым вопросам, персоналу и общей стратегии, а также общение с ключевыми клиентами и партнёрами Pliops.

«Pliops — одна из тех компаний, которые способны добиться огромного влияния. Это переломный момент для ЦОД, и я с нетерпением жду возможности поработать с командой Pliops в ходе внедрения её технологии», — сказал Вальдман, бывший генеральный директор компании Mellanox, которая была приобретена в прошлом году NVIDIA за $6,9 млрд. Он покинул NVIDIA в ноябре.

По словам Вальдмана, «Pliops решает самые сложные проблемы, которые волнуют архитекторов центров обработки данных, а именно: противоречивые тенденции стремительного роста объёмов данных, хранящихся на быстрых флеш-носителях, которые в конечном итоге ограничены недостаточными вычислительными ресурсами».

На сегодняшний день Pliops получила $40 млн инвестиций. Компания занимается созданием сопроцессора хранения данных (storage processing unit, SPU), который считается подкатегорией нового класса сопроцессоров для обработки данных (data processing unit, DPU). Первоначально компания планировала запуск продукта на середину 2019 года, но сейчас направила образцы SPU ряду клиентов. Как ожидается, они появятся на рынке в первом квартале 2021 года.

Опыт работы Вальдмана в Mellanox, а также связи и ноу-хау могут помочь Pliops в обостряющейся конкурентной борьбе. В частности, Pliops придётся бороться с VMware и NVIDIA, реализующими проект Project Monterey DPU. На этой неделе NVIDIA также сообщила о планах добавить функции контроллера хранилища в Bluefield.

Кроме того, Pliops SPU похож на концепцию другого стартапа, Nebulon и его SPU, который имеет облачно-управляемую и определяемую архитектуру программного обеспечения (defined software architecture). Nebulon заявила, что привлекла HPE и Supermicro в качестве OEM-партнёров.

Вместе с обновлёнными ускорителями A100 и продуктами на его основе NVIDIA анонсировала и решения на базе стандарта InfiniBand NDR который, как и положено, удваивает пропускную способность одной линии до 100 Гбит/с. Новые адаптеры и DPU NVIDIA получат порты 400 Гбит/c, а коммутаторы — 64 порта 400 Гбит/с или 128 портов 200 Гбит/c, способных обработать 66,5 млрд пакетов в секунду. Модульные коммутаторы позволят получить до 2048 портов с суммарной пропускной способностью 1,64 Пбит/с.

Кроме того, повышена масштабируемость сети, которая способна объединить более миллиона GPU всего с тремя «прыжками» (hops) между любыми из них. А с ростом числа узлов снижаются и стоимость владения, и энергопотребление, что будет важно для суперкомпьютеров экзафплосного класса. Компания отдельно отмечает, что для InfiniBand NDR удалось сохранить возможность использования пассивных медных кабелей на коротких расстояниях (до 1,5 м).

Помимо увеличения пропускной способности, вчетверо повышена производительность MPI, за что отвечают отдельные аппаратные движки. А ИИ-приложения могут получить дополнительное ускорение благодаря технологии Mellanox SHARP (Scalable Hierarchical Aggregation and Reduction Protocol). DPU же за счёт наличия ядер общего назначения могут взять на себя часть обработки данных и попутно отвечать за безопасность, изоляцию, мониторинг и управление инфраструктурой. Вообще NVIDIA говорит о распределённом CPU, «живущем» в сети, который эффективно дополняет ускорители компании.

Однако у InfiniBand NDR, как и у конкурирующего стандарта 400GbE, есть и обратная сторона медали. Для новых адаптеров требуются или 16 линий PCIe 5.0, или 32 линии PCIe 4.0. PCIe 5.0 будет доступен ещё нескоро, а линии PCIe 4.0 в современных системах жаждут не только адаптеры, но и накопители, и собственно ускорители. Использование PCIe-свитчей может снизить эффективность обмена данными, так что, вероятно, интереснее всего было бы увидеть DPU с root-комплексами, да покрупнее. Первые продукты на базе нового стандарта должны появиться в втором квартале 2021 года.

NVIDIA представила два новых решения: BlueField-2X DPU, которое объединякт на одной печатной плате процессорные ядра Arm, графический ускоритель и сетевой адаптер Mellanox, а также BlueField-2 без GPU на борту. Изначально BlueField разрабатывался Mellanox, но последняя стала частью NVIDIA, а разработки перешли по наследству. Так что же интересного и нового в этих двух решениях?

NVIDIA BlueField-2X

Начнем с безопасности: архитектура DPU позволяет использовать так называемый Next-Generation Firewall, поддерживает IDS/IPS, микро-сегментацию и защиту от DDOS. И всё это непосредственно в адаптере — ненужный трафик просто не попадает в систему. Естественно, традиционные опции разгрузки и программирования тоже никуда не делись: адаптер обеспечивает скорость передачи данных Ethernet и InfiniBand до 200 Гбит/с, разгружая ядра центрального процессора.

А благодаря NVMe over Fabric (NVMe-oF) Storage Direct, шифрованию, сжатию и дедупликации, NVIDIA BlueField-2 DPU позволяет создать высокопроизводительную сеть хранения данных с низкими задержками. Сегодня же, к слову, компания объявила об открытии раннего доступа разработчикам к GPUDirect Storage.

Для упрощения разработки компания выпустила пакет программного обеспечения (SDK) NVIDIA DOCA, который позволяет разработчикам создавать высокопроизводительные облачные сервисы с использованием DPU и стандартных API, включая Data Plane Development Kit (DPDK) и P4 для сетей и безопасности, а также Storage Perfomance Development Kit (SPDK) для систем хранения.

NVIDIA BlueField-2 основана на ConnectX-6 Dx с программируемыми ядрами Arm (8 ядер Cortex-A72) и двумя ядрами VLIW, дополнительно на плате установлено 8 или 16 Гбайт памяти DDR-4. BlueField-2 может оснащаться двумя портами со скоростями до 100 Гбит/с или одним портом со скоростью до 200 Гбит/с, при этом на карте присутствует выделенный порт 1 Гбит/с для управления. NVIDIA BlueField-2 выпускается в следующих форматах: HHHL, FHHL, OCP 3.0 SFF.

NVIDIA BlueField-2

NVIDIA BlueField-2X отличается от своего младшего собрата тем, что на плате размещен графический ускоритель на базе Ampere. Это решение предназначено для рабочих нагрузок ИИ, может применяться для вычислений и видеоаналитики на периферии. Столь высокая интеграция делает новинки отличной основой для платформ периферийных вычислений, включая собственную разработку NVIDIA EGX.

По датам выхода пока информация не точная: обе карты планируется выпустить в 2021 году. Однако, этими двумя решениями планы NVIDIA не ограничиваются: объявлены следующие поколения карт BlueField-3 и BlueField-4, которые выйдут до 2023 года. Подобные решения должны существенно изменить подходы к проектированию инфраструктуры центров обработки данных.

Среди списка технологических сегментов, рост которых вызван пандемией, есть и сегмент программируемых адаптеров Ethernet, которые используют поставщики облачных услуг, поскольку последние стремятся удовлетворить потребности в полосе пропускания, создаваемые сотрудниками, работающими вне офиса.

Бум серверов и адаптеров Ethernet также ускорил развертывание программируемых NIC: подразделение NVIDIA Mellanox сообщило о 96-процентном росте квартальной выручки по сравнению с прошлым годом. Рыночный трекер Omdia сообщает, что доходы от адаптеров NVIDIA Networking (ранее Mellanox Technologies) в первом квартале 2020 года составили $136 млн, что больше, чем когда-либо зарегистрированные доходы любого из поставщиков адаптеров Ethernet.

Стремительный рост числа развертываний серверов в центрах обработки данных повысил спрос и на программируемые адаптеры Ethernet, что позволило поставщикам облачных услуг увеличить средний доход на порт. Broadcom, Xilinx и Marvell Technology сообщили о повышении спроса на адаптеры 25GbE — на них приходится примерно 35% от общего количества портов в дата-центрах.

Программируемые адаптеры Ethernet позволяют разгрузить центральный процессор, предоставляя при этом функции виртуальной коммутации и шифрования. В этом случае на одном сервере можно разместить больше виртуальных машин или контейнеров, что позволяет увеличить доход с сервера для поставщиков облачных услуг.

По прогнозам аналитиков Omdia выручка от поставки сетевых адаптеров в 2020 году вырастет на 20%, причем к 2024 году рост выручки будет только ускоряться за счет поставок серверов и внедрения высокоскоростных программируемых адаптеров. Если прогнозы Omdia верны, то к 2024 году рынок программируемых сетевых адаптеров достигнет 2,3 миллиарда долларов. Подобные решения будут включать FPGA, SoC или иные блоки, которые могут взять на себя обработку трафика определённых приложений.

Подразделение NVIDIA Mellanox извлекло максимальную прибыль от инвестиций в центры обработки данных и предприятий в программируемые адаптеры Ethernet 25, 100 и 200 Гбит/с. Ждем ответа от Intel, которая занимает вторую строчку в рейтинге Omda. Компания более года назад анонсировала 100GbE-адаптеры Intel 800, поставки которых задержались.

Сегодня началась конференция ISC High Performance 2020. К сожалению, в этом году мероприятие приходится проводить в онлайн-формате — победа над COVID-19 ещё не одержана. Но уже анонсирован ряд любопытных решений. Одно из них — новая платформа UFM Cyber-AI, разработанная NVIDIA при участии её нового подразделения Mellanox.

Эта платформа ставит своей целью минимизировать возможные простои в центрах обработки данных из-за проблем с аппаратной частью, сетями, либо информационной безопасностью.

Любой современный ЦОД, суперкомпьютер или кластер представляют собой совокупность большого количества стандартных «строительных блоков», обычно в классическом стоечном формате. Все эти «кубики», включающие в себя вычислительные узлы, системы хранения данных, сетевые коммутаторы, а также подсистемы питания и охлаждения, соединены между собой и работают как единое целое.

Эксплуатация такой системы стоит приличных денег и в интересах её владельца обеспечить максимальное время полезной работы при минимальном времени простоя из-за отказов тех или иных компонентов. По данным ITIC, стоимость часа простоя легко может обойтись более чем в $300 тысяч. Но при таком количестве компонентов не всегда помогает даже дублирование и горячая замена комплектующих. С этим-то и предлагает бороться NVIDIA с помощью современных технологий машинного интеллекта.

Поведение систем, входящих в комплекс ЦОД, подчиняется определённым закономерностям и при должном уровне накопления данных солидную часть потенциальных проблем можно предсказать, а значит, и предотвратить — например, путём опережающей замены того или иного блока. Именно такого рода предсказаниям и должна заниматься система UFM Cyber-AI, созданная на основе разработок Mellanox.

Сама технология не нова, принципы, заложенные в ней, применялись Mellanox в сетевых решениях на базе InfiniBand, очень популярного в мире суперкомпьютеров интерконнекта. Платформа UFM Cyber-AI является расширением UFM Enterprise. За сбор информации отвечает третий компонент, UFM Telemetry. Вместе они отслеживают все имеющие значение параметры, от температур и изменений конфигурации в системе до поведения сетевой части — уровня трафика, загруженности и т.п. Выявляются закономерности, отмечаются моменты проседания производительности и прочие отклонения.

Процесс работы и панели мониторинга и управления комплекса NVIDIA UFM

На основе профиля поведения ЦОД UFM Cyber-AI может предсказывать грядущие проблемы, а значит, их можно избежать и исправить ситуацию, не останавливая работу систем. От этого выигрывают все: владельцы избегают потерь при простое, снижается стоимость эксплуатации, пользователи не страдают от того, что их задачи внезапно перестают выполняться.

UFM — это программно-аппаратный комплекс, аналитика Cyber-AI выполняется на отдельных серверах. Платформа UFM поддерживает интеграцию с уже имеющимися в ЦОД средствами мониторинга и управления, включая Slurm и Platform LFM, также имеется интеграция с OpenStack, Azure Cloud и VMWare. Более подробные описания есть на сайте NVIDIA.

Помимо ускорителей NVIDIA A100 и систем одноимённых систем DGX на их основе компания сегодня официально представила новую разработку принадлежащей ей Mellanox — «умный» сетевой контроллер ConnectX-6 Lx, дополняющий анонсированный в конце февраля ConnectX-6 Dx.

По аналогии с серией ConnectX-4 новый процессор с суффиксом Lx представляет собой несколько упрощённый вариант старшей модели. Если ConnectX-6 Dx рассчитан на работу в сетях со скоростями 100 и 200 Гбит/с, то ConnectX-6 Lx ориентирован на сети 25/50GbE.

Популярность сетей класса 25GbE в последнее время серьёзно растёт, поскольку растут и нагрузки в различных сценариях, от бизнес-приложений и организации удалённых рабочих мест до задач машинного интеллекта и аналитики реального времени. Именно ответом на этот запрос рынка и является анонсConnectX-6 Lx : это основа массовых и доступных по цене, но при этом достаточно производительных, сетевых адаптеров.

Технически чипы ConnectX-6 Lx относится к 11 поколению сетевых процессоров Mellanox и могут обслуживать либо один порт 50GbE, либо два порта 25GbE. В качестве системного интерфейса используется 8 линий PCIe 3.0/4.0. Имеется аппаратная реализация RDMA, латентность не превышает 0,8 мкс. Также поддерживаются технологии NVMe over Fabrics и GPUDirect.

Уделено серьёзное внимание вопросам безопасности: в чипе аппаратно реализован блок Root of Trust и ускоритель шифрования IPSec, а также функция Stateful Packet Inspection, полезная для организации коммутации. ConnectX-6 Lx поддерживает аппаратное ускорение обработки и коммутации пакетов ASAP2 и технологии SR-IOV/VirtIO для работы в виртуализованных и контейнерных средах.

В настоящее время образцы ConnectX-6 Lx уже доступны, массовые поставки должны начаться в третьем квартале текущего года. На базе нового процессора будут выпускаться сетевые адаптеры в различных форм-факторах, включая низкопрофильный PCIe и OCP 3.0 с интерфейсами SFP28 или QSFP28.

Прошло лишь несколько дней с момента закрытия сделки по покупке Mellanox, а компания NVIDIA уже сообщает о новом поглощении. Под её контроль должна перейти основанная в 2010 году компания Cumulus Networks, которая специализируется на разработке программного обеспечения с открытым исходным кодом для сетевого оборудования.

Сетевые коммутаторы, использующие операционную систему Cumulus Linux, можно найти в составе более чем сотни аппаратных платформ.

Источник изображения: NVIDIA

Количество клиентов Cumulus приближается к двум тысячам, её решения используются примерно третью компаний, входящих в рейтинг Fortune 100. Аппаратные решения Mellanox тоже используют программные разработки Cumulus, эти компании сотрудничают с 2016 года. Сумма сделки не называется, но она наверняка превысит те $134 млн, что Cumulus Networks смогла привлечь с 2010 года на своё развитие.

Использование управляющего программного управления с открытым исходным кодом даёт клиентам гораздо больше инструментов для гибкой конфигурации сетевого оборудования под собственные нужды. Проблема в том, что не все компании готовы этим заниматься.

Интеграция программных решений Cumulus в экосистему NVIDIA с учётом присутствия в ней аппаратных платформ Mellanox позволит создать комплексный продукт, который NVIDIA будет продвигать на серверном рынке. Её выручка на этом направлении уже приблизилась к $1 млрд за квартал, это второй по величине источник доходов NVIDIA после игрового сегмента. Бизнес компании последовательно усиливается за счёт приобретения профильных активов, расширяется охват рынка.

Компания Mellanox, один из ведущих производителей сетевых решений, объявила о начале поставок новых коммутаторов серии SN4000, базирующихся на новом чипе Spectrum-3. Сетевой процессор Mellanox Spectrum-3 представляет собой ASIC с общей пропускной способностью 12,8 Тбит/с. Он оптимизирован с учётом применения в облачных системах, системах машинного обучения и сетевых систем хранения данных.

Платформа SN4000 получилась гибкой: в зависимости от модели коммутатор может иметь 32 порта 400GbE, 64 порта 200GbE или до 128 портов со скоростями 100, 50, 25 или 10 Гбит/с.

В Spectrum-3 реализована поддержка туннелирования и виртуализации сетей, фирменная технология обработки пакетов FlexFlow и продвинутая система телеметрии WJH (What Just Happened), работающая в реальном времени. На уровне SDK чип совместим с предыдущими решениями Mellanox Spectrum и Spectrum-2.

Чип поддерживает до 200 тысяч записей в таблице трансляции (NAT) и до миллиона путей роутинга. Количество VXLAN-тоннелей может превышать 500 тысяч. Полностью реализована поддержка RDMA over Converged Ethernet c аппаратным ускорением, позволяющим избежать снижения качества обслуживания. По словам представителей Mellanox, по совокупности характеристик Spectrum-3 на сегодня является лучшим сетевым процессором класса 12,8 Тбит/с.

Всего в новой серии коммутаторов на данный момент представлено четыре устройства — SN4700 с 32 портами 400GbE, SN4600 c 64 портами 200GbE, SN4800, располагающий 128 портами 100GbE и выполненный в «лезвийном» формате, а также SN4210 с 8 магистральными портами 400GbE и 48 портами 100GbE. Поддерживается целый спектр сетевых операционных систем: Mellanox Onyx, SONiC, Cumulus и DENT.

Компания Mellanox, один из признанных лидеров в разработке интеллектуальных сетевых процессоров, анонсировала свои новые решения в сериях ConnectX и BlueField.

Сетевые адаптеры ConnectX-6 Dx доступны уже на момент анонса, а вот решений BlueField-2 придётся подождать; впрочем, их поставки также начнутся в ближайшее время.

В качестве главной особенности новинок Mellanox называет продвинутые средства обеспечения ИТ-безопасности. Оба чипа нацелены на создание распределенной сетевой инфраструктуры с нулевым доверием (zero trust), они располагают средствами ускорения IPSec и TLS. Также полностью поддерживается RDMA over Converged Ethernet. Доступны скорости до 200 Гбит/с.

За счёт аппаратного управления политиками безопасности и аппаратной же инспекции пакетов новые ConnectX-6 Dx могут быть существенно эффективнее классических сетевых адаптеров. Сама компания называет цифры вплоть до 100х. Адаптеры BlueField-2 ещё более продвинуты — они поддерживают микросегментацию, глубокую инспекцию пакетов и умеют определять вредоносные приложения.

В марте текущего года корпорация NVIDIA подписала соглашение о намерениях купить активы израильской компании Mellanox Technologies по $125 за одну акцию, что в денежном эквиваленте соответствовало сумме около $6,9 млрд. Было заявлено, что сделка будет финансироваться из собственных средств NVIDIA без привлечения заёмного капитала, а завершить её компания планировала до конца текущего календарного года. На тот случай, если довести задуманное до конца не удастся — при наличии препятствий со стороны антимонопольных органов, например, NVIDIA предусмотрела неустойку в размере $350 млн, которую она обязалась выплатить Mellanox.

В июне этого года предстоящее поглощение было одобрено собранием акционеров Mellanox, а к текущей дате уже получены одобрения со стороны антимонопольных органов США и Мексики. Власти Евросоюза и КНР до сих пор рассматривают условия этой сделки, но на этой неделе NVIDIA выразила уверенность, что процесс согласования идёт уверенными темпами, и разрешение может быть получено до конца текущего календарного года. В тексте квартального отчёта по форме 10-Q, тем не менее, содержится пояснение, что сохраняется вероятность завершения сделки только в начале следующего календарного года.

Активы Mellanox нужны NVIDIA для укрепления своих позиций в серверном сегменте, особенно в суперкомпьютерном секторе. Третий квартал Mellanox Technologies завершила с рекордной выручкой, и подобная динамика косвенно указывает, что NVIDIA делает верную ставку, рассчитывая купить активы этого разработчика скоростных интерфейсов. Ранее в этом году Mellanox выпустила сетевые карты с интерфейсом PCI Express 4.0, поэтому под крылом NVIDIA у неё появится возможность одарить материнскую компанию всей актуальной инфраструктурой.

В квартальном отчёте NVIDIA содержится и упоминание об исковых заявлениях, которые были поданы против неё после озвучивания условий по предстоящей сделке с Mellanox. Не все акционеры последней сочли, что активы компании оценены по достоинству, а потому начали защищать свои интересы в суде. Правда, как заявила NVIDIA в своей квартальной отчётности, к 14 октября текущего года истцы отозвали свои претензии, и теперь на этом направлении ничто не мешает компании двигаться к поглощению Mellanox на объявленных ранее условиях.