GRAID Technology продолжает развитие своих RAID-ускорителей на базе GPU для формирования NVMe(-oF)-хранилищ — компания анонсировала новый адаптер GRAID SupremeRAID SR-1010, использующий видеокарту NVIDIA RTX A2000, младшего представителя семейства Ampere. От обычной RTX A2000 плата GRAID отличается только отсутствием видеовыходов, поскольку в данном случае они не нужны.

Как и прежде, SSD и ускоритель подключаются к одной и той же PCIe-шине, а виртуальный драйвер перенаправляет всю «тяжёлую» нагрузку по обслуживанию массива накопителей на GPU. Пропускной способности PCIe 4.0 достаточно для обслуживания 32-х NVMe SSD в 4-х группах с линейными скоростями до 110 Гбайт/с при чтении и 22 Гбайт/с при записи. Для случайных операций заявлена пиковая скорость 19 млн IOPS и 1,5 млн IOPS соответственно.

Изображения: Graid

Это, как отмечают создатели, существенно больше того, что могут предложить лучшие аппаратные RAID-контроллеры с поддержкой NVMe в режимах RAID 5/6. Неудивительно, поскольку производительность чипа NVIDIA GA106 (3328 ядер CUDA) заведомо выше любых процессоров на борту классических RAID-адаптеров. Решение использует программный стек GRAID Technology, который компания представила вместе со своим первым продуктом, SupremeRAID SR-1000 на базе NVIDIA T1000.

Принципиальная схема технологии SupremeRAID

SupremeRAID SR-1010 поддерживает формирование массивов RAID0/1/5/6/10. Фирменное ПО совместимо с популярными дистрибутивами Linux, но может также работать и в среде Windows Server 2019/2022. Энергопотребление ускорителя составляет 70 Вт. Старт продаж SupremeRAID SR-1010 начнётся 1 мая. Приобрести новинку можно у самой компании или её OEM-партнёров.

IBM анонсировала новые All-Flash СХД серии FlashSystem, использующие фирменные программные технологии защиты данных CyberVault, в основе которых лежат разработки, применяемые ранее в мейнфреймах серии Z, а также FlashCore-модули третьего поколения. Новинки станут доступны в начале марта.

Младшая 1U-модель FlashSystem 5200, которая была представлена ранее и пришла на смену моделям 5015 и 5035, в базовом варианте использует всего 12 NVMe-накопителей. Однако новое (уже третье) поколение FlashCore-модулей позволяет получить до 1,1 Пбайт эффективной ёмкости. Хранилище масштабируется до 748 накопителей и поддерживает кластеризацию. Контроллеры используют па паре 8-ядерных Intel Xeon Skylake и кеш ёмкостью до 512 Гбайт.

IBM FlashSystem 5200 (Изображения: IBM)

Более мощная 2U-модель FlashSystem 7300 получила четыре 10-ядерных процессора Cascade Lake и кеш объёмом до 1,5 Тбайт. В базовом варианте она позволяет установить уже до 24 NVMe-модулей, а всего можно задействовать до 392 накопителей. FS7300 отличается поддержкой полок расширения с любыми стандартными вариантами LFF/SFF-накопителей SAS-3, причём допустимы смешанные конфигурации.

IBM FlashSystem 7300

Благодаря поддержке кластеризации комплекс 7300 может обслуживть суммарно 1568 накопителей. Сетевая часть в базовом варианте представлена восемью 10GbE-портами (iSCSI), однако доступны более скоростные варианты в виде 25/100GbE (до 12 шт.) и FC16/32 (до 24 шт.), в том числе с RDMA и FC-NVMe. С помощью FS7300 можно организовать сквозное NVMe-подключение для хостов.

IBM FlashSystem 9500

Наконец, старшая СХД FlashSystem 9500 получила четыре 24-ядерных процессора Intel Xeon Ice Lake и кеш объёмом до 3 Тбайт, а также поддержку SCM-модулей (до 1,6 Тбайт) и PCIe 4.0. Базовое 4U-шасси вмещает 48 NVMe-модулей, а всего хранилище может обслуживать до 232 накопителей (до 928 в кластере), но полки расширения поддерживаются только с FlashCore-модулями, NVMe или SAS-3 SSD. Доступно до 24 портов FC16/32, до 12 портов 100GbE или до 20 портов 10/25GbE — с FC-NVMe, iSCSI и RDMA.

Но самое интересное — третье поколение модулей IBM FlashCore (FCM) на базе QLC-памяти с SLC-кешем. У них вдвое вырос показатель DWPD, а степень сжатия на лету поднялась до 3:1. Модули имеют «сырую» ёмкость 4,8/9,6/18,9/38,4 Тбайт. Две наиболее ёмких модели имеют поддержку PCIe 4.0. Кроме того, FCM теперь поддерживают расширенные возможности общения с IBM Spectrum Virtualize (в новых СХД версии 8.5) для более оптимального управления нагрузкой.

Компания VAST Data объявила о том, что максимальную «чистую» ёмкость флеш-хранилищ серии Universal Storage ей удалось увеличить вдвое — с 675 до 1350 Тбайт. Это даёт более 1 Пбайт эффективной ёмкости при дедупликации на уровне 5:1. Достигнуто это путём применения новых SSD Intel объёмом 30 Тбайт, базирующихся на памяти QLC NAND.

Компания особенно выделяет возросшую удельную плотность хранения данных, которой новые SSD позволили достичь — если для аналогичной ёмкости, набранной классическими HDD, потребовалось бы 68 накопителей и корпус высотой 4-5U, то 30-Тбайт SSD позволяют обойтись 44 компактными накопителями, умещающимися в 2U-шасси. Помогают им SCM-модули Intel Optane или KIOXIA XL-FLASH (EL6).

Также VAST Data поднимает вопрос о необходимости пересмотра архитектуры СХД столь большой ёмкости, ведь потеря одного диска в традиционном массиве RAID может потребовать очень много времени на перестройку и восстановление полной функциональности. Всё это время массив уязвим и, к тому же, может сильно нагружать СХД и SAN. В системах VAST Universal Storage массив организован таким образом, что может выжить даже при одновременной потере четырёх SSD, а данные для восстановления, равномерно «размазаны» по всем накопителям в кластере.

А функция Universal Power Control позволяет экономить энергию путём отключения неиспользуемых SSD, но без потерь в латентности, ведь пробудить их можно менее, чем за 1 мс. Энергоэффективность при этом составляет 500 Вт на 1 Пбайт, что в 11 раз эффективнее, нежели у Dell EMC PowerScale A300 и в 9 раз эффективнее Pure FlashBlade.

Технология NVMe-over-Fabrics (NVMe-oF) прочно заняла своё место в производительных системах хранения данных. В случае NVMe/TCP о мировом рекорде заявила Fungible, которая использует во флеш-массивах FS1600 DPU собственной разработки — она получила 10 млн IOPS на случайных операциях, тогда как без DPU удалось достичь только 6,55 млн IOPS при полной загрузке 128-ядерного сервера. NVIDIA ответила на это собственным тестом.

Вчера компания опубликовала шокирующие результаты — DPU BlueField-2 позволил добиться 41,4 млн IOPS, что более чем в четыре раза лучше рекорда Fungible. Прямо имя конкурента не упоминается, но иных показателей в 10 млн IOPS никакой другой вендор и не заявлял. На блоках размером 4К результат NVIDIA составил более 5 млн IOPS, с блоками 512 байт разброс составил от 7 до более чем 20 млн IOPS.

Изображения: NVIDIA

NVIDIA использовала пару серверов HPE Proliant DL380 Gen 10 Plus, каждый с двумя процессорами Intel Xeon Platinum 8380 (Ice Lake-SP, 40C/80T, 2,3-3,4 ГГц, 60 Мбайт L3-кеш, 270 Ватт TDP) и 512 Гбайт DRAM. В каждом узле к шине PCIe 4.0 было подключено две платы NVIDIA BlueField-2P (Performance-версия) с двумя портами 100GbE каждая — ширина канала между узлами составила 400 Гбит/с. Коммутатор не использовался, серверы напрямую соединялись посредством пассивных медных кабелей. В качестве ОС использовалась RHEL 8.3 c ядрами Linux 4.18 и 5.15. Инициаторы применялись как комплектные, так и из состава SPDK.

Результаты тестирования для режима TCP

Тестирование проводилось для NVNe/RoCE и NVMe/TCP в сценариях «100% чтения», «100% записи» и «50/50% чтение-запись». Наилучшие результаты получены при использовании SPDK на обеих системах (но за счёт повышенной нагрузки на CPU). Линейные показатели действительно впечатляют, приближаясь к лимиту канала 4×100GbE, а в режиме 50/50 для 4K с RoCE удалось получить и вовсе 550 Гбит/с (всё-таки дуплекс). Казалось бы, новый, блестящий мировой рекорд у NVIDIA в кармане, однако возникает ряд сомнений по поводу методики тестирования.

...и для RoCE

Во-первых, подозрение вызывает отсутствие в спецификациях данных о конфигурации дисковых подсистем. С учётом того, что используемый сервер имеет 24 SFF-отсека, речь могла бы идти о соответствующем числе Intel Optane P5800X — один такой SSD выдаёт около 1,5 млн IOPS на 4K-блоках и до 5 млн IOPS на блоках размером 512B. Цифры, казалось бы, неплохо согласовываются, хотя такая конфигурация и требует всех 128 линий PCIe 4.0 (по x4 на каждый из 24 гипотетических SSD и два x16 для DPU).

Быстрейшие на сегодня SSD в стандартном форм-факторе: Intel Optane P5800X (Изображение: Intel)

Полное торжество идей NVMe-oF? Не совсем. Ресурс Serve The Home уточнил некоторые детали тестирования у NVIDIA. Так, выяснилось, что в тестовых сценариях компания вообще не использовала подсистему накопителей, отправляя всё в /dev/null. По сути, измерялись передача данных «от Xeon до Xeon», т.е. в первую очередь скорость работы сети. Более того, NVIDIA подтвердила, что массив Arm-ядер на борту BlueField-2 толком не использовался, а весь трафик шёл через стандартный «кремний» ConnectX, также имеющийся в данном DPU.

Сложно сказать, насколько полезно такое тестирование. Конечно, оно демонстрирует великолепные сетевые характеристики BlueField-2, их работу в стандартной серверной среде, готовность программного стека, а также работоспособность систем на базе Xeon Ice Lake-SP с периферией стандарта PCIe 4.0. Однако вопрос взаимодействия BlueField-2 с реальной физической дисковой подсистемой остаётся открытым, поскольку нынешние тесты сравнивать с результатом Fungible затруднительно.

Компания Kioxia сообщила о доступности твердотельных накопителей семейства EM6, относящихся к корпоративному классу. Решения предназначены для использования в составе платформ высокопроизводительных вычислений, систем машинного обучения и искусственного интеллекта.

Источник изображения: Kioxia

Устройства серии EM6 выполнены на основе контроллера Marvell 88SN2400 NVMe-oF. Реализована спецификация NVMe 1.4. Доступны один или два интерфейса Ethernet с пропускной способностью 25 Гбит/с. Накопители заключены в корпус формата 2,5" толщиной 15 мм. Предлагаются два варианта вместимости — 3,84 и 7,68 Тбайт, оба с 1 DWPD.

Источник изображения: Ingrasys

Устройства доступны в составе платформы ES2000 EBOF (Ethernet Bunch of Flash) производства Ingrasys (подразделение Foxconn). Данный продукт представляет собой систему хранения данных в 2U-шасси с возможностью установки 24 накопителей NVMe-oF типоразмера 2,5"/U2/E3.S или 48 E1.S. СХД имеет коммутатор Marvell 98EX5630 и предоставляет 12 200GbE-портов QSFP28/56.

Южнокорейский гигант Samsung представил первый образец системы хранения данных на аппаратной платформе Intel Xeon следующего поколения — Sapphire Rapids. Устройство продемонстрировано в рамках мероприятия OCP Global Summit 2021, которое посвящено открытым проектам в сферах программного и аппаратного обеспечения для центров обработки данных. Новинка разработана совместно с Inspur и Naver Cloud.

Poseidon V2 имеет два процессора Sapphire Rapids, 32 слота для модулей DDR5, а также вмещает до 24 устройств E3.S 1T (в отличие от E1 в Poseidon V1), но корзина совместима и с E3.S 2T. Собственно говоря, хранилищем в традиционно смысле слова эта система не является. Да, она подходит для NVMe SSD с интерфейсом PCIe 5.0 (как PM1743) — обычных NAND и SCM вроде Z-SSD, XL-Flash или Intel Optane — и предлагает быструю реализацию NVMe-oF, в том числе NVMe/TCP.

Poseidon V2 (Здесь и далее изображения Samsung)

Для 200GbE-подключением к системе Samsung уже удалось достичь скорости последовательных чтения и записи в 24,5 и 18,6 Гбайт/с, а для случайных — 19,4 и 8,7 Гбайт/с соответственно. Однако в форм-факторе E3.S также будут выпускаться и SmartSSD с возможностью самостоятельной обработки данных, и различные ускорители, и DRAM-экспандеры. Последнее возможно благодаря поддержке Сompute Express Link (CXL).

Однако наличие аппаратной поддержки — это полдела. Поэтому Samsung развивает фирменную Poseidon Storage OS. ОС будет отвечать за управлением томами, формирование программных RAID-массивов, мониторинг и профилирование производительности и так далее. Кроме того, она предложит функцию высокой доступности (2 узла), многопутевое (multi-path) подключение и будет принимать во внимание неравномерность доступа к памяти (NUMA). Разработчикам будут доступны открытые API.

Старт массового производства Poseidon V2 намечен на III квартал 2022 года, а в IV квартале Samsung планирует передать OCP все наработки по проекту. Строго говоря, большая часть компонентов новинки уже сделана в соотвествии со стандартами OCP, так что этот процесс вряд ли затянется.

Компания Gigabyte Technology анонсировала стоечный сервер R282-Z9G — свою первую систему, оснащённую акселератором GRAID SupremeRAID. Это программно-аппаратное решение призвано устранить узкие места в RAID-системах на базе твердотельных накопителей NVMe.

Новинка выполнена в форм-факторе 2U. Допускается установка двух процессоров AMD EPYC 7003, каждый из которых может насчитывать до 64 вычислительных ядер. В общей сложности доступны 32 слота для модулей оперативной памяти DDR4-3200.

Здесь и ниже изображения Gigabyte

Во фронтальной части расположены 20 отсеков для накопителей формата 2,5" с возможностью «горячей» замены. Ещё два 2,5" посадочных места находятся в тыльной части сервера. В системе задействован ускоритель SupremeRAID SR-1000. Он обеспечивает поддержку устройств NVMe SSD (PCIe 4.0) и формирование массивов RAID 0/1/10/5/6. Есть коннектор М.2 с поддержкой твердотельных модулей 2242/2260/2280/22110 c интерфейсом PCIe 4.0 x4.

Новинка оборудована двумя сетевыми портами 1GbE LAN на базе контроллера Intel I350-AM2 и выделенным сетевым портом управления. Габариты сервера составляют 438 × 87 × 730 мм. На фронтальную панель выведены два порта USB 3.0. Сзади находятся ещё два разъёма USB 3.0, гнёзда для сетевых кабелей и интерфейс D-Sub.

Fungible, один из пионеров освоения концепции сопроцессоров данных (DPU), не столь давно представившая СХД на базе своих чипов, присоединилась к инициативе NVMe-over-TCP и анонсировала HHHL-адаптер Storage Initiator с поддержкой данного стандарта. Более того, компания утверждает, что её решение является самым быстрым в данном классе.

История развивается по спирали: высокопроизводительные решения в области СХД использовали выделенные контроллеры с собственными процессорами, кешами и оперативной памятью, затем выросла популярность программно определяемых решений, задействующих мощности CPU самого сервера, но теперь, с появлением DPU, мы вновь видим возврат к концепции отдельных ускорителей для специфических нагрузок и задач.

В эту канву NVMe-over-TCP укладывается практически идеально, поскольку использует обычные Ethernet-сети, а именно о стандартизации и унификации СХД нового поколения на базе DPU Fungible и заявляла с самого начала. Компания подтвердила свои намерения, анонсировав новую плату расширения Storage Initiator, поддерживающую NVMe/TCP, которая должна сильно упростить внедрение данной технологии в ЦОД.

Блок-схема Fungible S1 DPU

Новинка входит в серию решений Fungible Storage Cluster и, если верить разработчикам, является на сегодня самой производительной реализацией NVMe-over-TCP на рынке. Основой является чип Fungible S1, способный справляться с трафиком 200 Гбит/с и имеющий 32 линии PCIe 4.0. За общие задачи в S1 отвечают 16 ядер MIPS64, для специализированных нагрузок — криптографии, сжатия и дедупликации — имеются выделенные движки.

Fungible Storage Initiator представлена в трёх вариантах: FC50, FC100 и FC200. Старшая модель может обслужить хост-системы со скоростью 2,5 млн IOPS и полностью снимает с неё нагрузку по обслуживанию протокола NVMe/TCP. Это может высвободить до 30% мощности CPU. Платы SI полностью совместимы с уже выпущенными Fungible продуктами, такими, как узел хранения данных FS1600. SI позволяет внедрить поддержку NVMe/TCP и там, где её нет в составе самой ОС, поскольку адаптер «показывает» системе обычные NVMe-устройства.

Сама по себе технология NVMe-over-TCP представляет собой промежуточное звено между классическими решениями SAN на базе iSCSI/TCP или NVMe-over-FC, и обеспечивает практически столь же низкий уровень задержек, как RDMA over Converged Ethernet (200 против 100-150 мкс), но в отличие от последнего, не требует прослойки InfiniBand и специализированных адаптеров.

Компания NetApp, как уже сообщалось, собирается внедрить NVMe/TCP в следующем релизе своей ОС ONTAP, но её опередила Dell EMC, которая, похоже, стала первым действительно массовым поставщиком SAN-решений, внедрившим данную технологию в свои продукты — массивы хранения данных PowerStore.

NVMe-over-TCP: прямой путь к скорости

Первично речь идёт о внедрении последнего обновления VMware Update 3 для vSphere и vSAN, а поскольку Dell Technologies является владельцем и крупнейшим партнёром VMware, неудивительно, что NVMe/TCP первой появится в решениях именно этого производителя оборудования. За поддержку нового протокола отвечает программное обеспечение SmartFabric Storage Software (SFSS), которое вместе с Update 3 будет выпущено 29 октября.

Dell EMC SFSS: централизация, автоматизация и поддержка NVMe для любого оборудования

SFSS автоматизирует процесс использования NVMe IP SAN: как хост-система, так и интерфейсы со стороны хранилища данных будут регистрироваться централизованным контроллером (Centralized Discovery Controller), что позволит хостам сразу видеть новые ресурсы. Но работать NVMe/TCP будет и в режиме без выделенного контроллера (Direct Discovery). Данное ПО будет полностью интегрировано с VMware ESXi 7.0 Update 3, которое можно использовать в серверах Dell EMC PowerEdge.

Со стороны аппаратного обеспечения поддержку NVMe IP SAN получат продукты Dell EMC PowerSwitch и SmartFabric Services, также компания планирует добавить поддержку NVMe/TCP в серию флеш-хранилищ PowerMax и программно-определяемых СХД PowerFlex. Новая технология явно набирает популярность: помимо Dell EMC и NetApp, её поддерживают Lightbits Labs (для LightOS на днях получена сертификация VMware), Toshiba (в Kumoscale), Iinfinidat, NVIDIA/Mellanox и Pavillion Data.

ONTAP — это фирменная операционная система NetApp, разработанная компанией специально для использования в собственных системах хранения данных, таких как, например, массивы FAS и AFF. На волне роста популярности протокола NVMe и соответствующих накопителей NetApp объявила о внедрении в ONTAP поддержки NVMe-over-TCP (NVMe/TCP).

С технологиями RDMA и NVMe компания экспериментирует давно — ранее поддержка NVMe-oF была реализована посредством RDMA over Converged Ethernet (RoCE), а затем пришла очередь Fibre Channel. Оба этих варианта обладают своими достоинствами, в частности, весьма низкой латентностью, составляющей порядка 100 мкс для RoCE и около 150 мкс для NVMe-over-FC, однако данные технологии нельзя назвать поистине универсальными, в отличие от крайне распространённых Ethernet-сетей со стеком TCP/IP.

Преимущества NVMe-over-TCP перед классическим iSCSI

Эта связка хорошо описана, унифицирована и широко поддерживается всеми производителями сетевого оборудования, в то время как RoCE использует инкапсуляцию InfiniBand и требует поддержки со стороны адаптеров. Однако без RDMA латентность СХД на базе Ethernet/TCP может быть достаточно высокой и достигать 0,1 c, что зачастую неприемлемо в современных условиях и не раскрывает в полной мере потенциал SSD. Обойти эти проблемы позволяет технология NVMe-over-TCP — время отклика в этом случае чуть выше, порядка 200 мкс. При этом модернизация существующей инфраструктуры не будет слишком дорогой.

Преимущества NVMe-over-Fabrics на примере Oracle

NetApp с полным основанием считает данное сочетание основой будущего развития корпоративных СХД. На программном уровне NVMe-over-TCP существенно проще классического iSCSI, поскольку не требует низкоуровневых драйверов и взаимодействует с накопителями напрямую, позволяет избежать ситуаций программной блокировки. К тому же NVMe поддерживает куда больше очередей запросов с максимальной глубиной до 65535 против 128 у классического iSCSI.

NetApp объявила, что полноценная поддержка NVMe-over-TCP будет внедрена в следующем крупном релизе ONTAP 10, включая облачные варианты. Заказчикам компания предложит упрощённую процедуру апгрейда. Хотя над внедрением NVMe-over-TCP работают и другие компании, например, Lightbits Labs и Toshiba, NetApp, вероятно, станет первым действительно крупным поставщиком СХД, внедрившим данную технологию.