Компания Gartner опубликовала результаты исследования перспектив развития инновационных технологий хранения и защиты данных с учётом меняющихся потребностей бизнеса.

Основные выводы исследования для стратегического планирования:

• К 2025 году 60 % компаний будет требовать, чтобы решения для хранения данных имели встроенные механизмы защиты от программ-вымогателей. Для сравнения — в 2022 такие требования выдвигает около 10 % компаний.
• К 2025 году 60 % лидеров сегмента инфраструктуры и операций будут внедрять по крайней мере одну из гибридных облачных архитектур по сравнению с 15 % в 2022 году.
• К 2025 году более 40 % корпоративных хранилищ будет развернуто на периферии по сравнению с 15 % в 2022 году.
• К 2026 году крупные предприятия утроят объёмы неструктурированных данных, размещаемых в файловых и объектных хранилищах, расположенных локально, на периферии или в публичном облаке.
• К 2025 году 30 % внешних массивов хранения для поддержки основных нагрузок получат поддержку NVMe-oF, тогда как в прошлом году таковых было менее 5 %.

Источник изображения: Gartner

Также Gartner привела примеры провайдеров решений по сегментам:

• Киберхранилище (ранее обнаружение и предотвращение атак вымогателей, интеллектуальное восстановление данных): Cohesity, Continuity, Dell, IBM, Myota, NetApp, Nutanix, ProLion, RackTop Systems, Superna.

• Решения для переноса данных с периферии: Alibaba Cloud, Amazon Web Services (AWS), Backblaze, Google, IBM, Microsoft, Oracle.

• FAC (Function accelerator cards, т.е. продвинутые SmartNIC/DPU с программируемыми ускорителями): Broadcom, Ethernity Networks, Fungible, Intel, Nebulon, Nvidia, Pensando, Pliops, VMware, Xilink.

• Гибридное облачное хранилище: AWS, Ctera Networks, Hammerspace, LucidLink, Microsoft, Nasuni, NetApp, Panzura, Peer Software, Qumulo.

• Вычислительное хранилище (обработка данных по месту хранения, без передачи хост-процессору): Arm, Eideticom, Netint Technologies, NGD Systems, Samsung Electronics, ScaleFlux.

• Неизменяемое хранилище (изолированное и защищённое хранилище, отделённое воздушным зазором): Dell, Kyndryl, Owl Cyber Defense, Rubrik, Unisys, Veritas.

• Резервное копирование контейнеров: Cohesity, Commvault, Dell, Druva, HYCU, IBM, Pure Storage (Portworx), Rubrik, Trilio, Veeam (Kasten).

• Контейнерное хранилище (Container-native storage, CNS): DataCore, Diamanti, IBM, ionir, NetApp, Ondat, Pure Storage, Red Hat, SUSE, VMware.

• Управление программно определяемыми хранилищами: Data Dynamics, DataCore Software, Dell Technologies, Hammerspace, HPE, IBM, Komprise, Leonovus, Peer Software, Visual Storage Intelligence.

• Резервное копирование облачных данных: AvePoint, Cohesity, Commvault, Druva, Keepit, OwnBackup, Rubrik, Spanning, Veeam, Veritas.

• Обнаружение данных и управление ими: ActiveNav, BigID, Concentric.ai, Congruity 360, Ground Labs, Netwrix (Stealthbits), SailPoint, Securiti.ai, Spirion, Varonis.

• NVMe-oF: Dell, HPE, Hitachi Vantara, IBM, Lightbits, NetApp, Pavilion Data, Pure, Vast Data, Weka.

• Open Source хранилище: DataCore, DDN, iXsystems, MinIO, Openfiler, Red Hat, SoftIron, SUSE.

• Управление копиями данных: Cohesity, IBM, Rubrik, Veritas.

• Инфраструктурные программно определяемые хранилища: DataCore, IBM, NetApp, Nutanix, Pure Storage, Red Hat, Scality, StorMagic, VMware, Weka.
• Энергонезависимая память NVDIMM/PMem: Dell, HPE, Intel^*, Lenovo, Oracle, SAP.

• Объектное хранилище: Backblaze, Cloudian, Dell EMC, Hitachi Vantara, Huawei, IBM, MinIO, NetApp, Scality, Wasabi.

• SCM-накопители: Sample Vendors: Dell, Huawei, IBM, Inspur, Intel^*, Pure, Vast Data.

• Распределённые файловые системы: Cohesity, Dell, Huawei, IBM, Inspur, Nutanix, Pure, Qumulo, Vast Data, Weka.

• Архивирование корпоративной информации (сбор данных в централизованный репозиторий): Archive360, Global Relay, Microsoft, Mimecast, Proofpoint, Smarsh, Solix, Theta Lake, Veritas, ZL Tech.

• HCI: Cisco, Dell EMC, Microsoft, Nutanix, Sangfor, Scale Computing, StorMagic.

* отчёт был составлен до объявления Intel об отказе от Optane и 3D XPoint.

Компания Fungible Inc. объявила о выходе новой версии платформы Fungible Storage Cluster (FSC) 4.1, в которой реализована поддержка сред VMware. Высокопроизводительные All-Flash массивы Fungible с поддержкой NVMe/TCP для ресурсоёмких рабочих нагрузок теперь сертифицированы для работы с vSphere. Как отметила компания, FSC 4.1 позволит клиентам оценить превосходную управляемость vSphere в сочетании с высокой производительностью кластеров хранения Fungible.

Fungible Storage Cluster (FSC) позиционируется компанией Fungible как самый быстрый в мире дезагрегированный кластер хранения All-Flash с поддержкой NVMe-oF, который обеспечивает лучшие в своем классе характеристики производительности по показателю IOPS, задержке и пропускной способности при минимальной занимаемой площади и минимальном же энергопотреблении. Кроме того, компонуемая инфраструктура Fungible обеспечивает гибкость при компоновке хранилища с учётом меняющихся потребностей клиента.

Источник изображения: Fungible

Марк Флейшманн (Marc Fleischmann), технический директор по облачным технологиям VMware, заявил, что использование NVMe/TCP позволит клиентам vSphere повысить производительность своих хранилищ без увеличения расходов, упрощая при этом работу с ними. С FSC пользователи vSphere также смогут сократить расходы на хранение, поскольку использование Erasure Coding обеспечивает надёжную защиту данных и при этом дешевле, чем традиционная репликация.

Компания-разработчик систем хранения данных StorONE, установившая не столь давно рекорд по скорости перестройки дискового массива благодаря фирменной технологии vRAID 2.0, может приписать себе ещё одно новшество — она объявила о выпуске первой в мире системы NVMe-oF, работающей не только с классическими SSD, но и с традиционными жёсткими дисками.

Последние неплохо подходят для хранения больших объёмов данных в любых сценариях, не требующих высокой производительности в случайных мелкоблочных операциях, и пока опережают твердотельные массивы в плане удельной стоимости хранения. Обновление платформы StorONE Enterprise Storage Platform, ставшее доступным сегодня, позволяет обойтись единой СХД, не вкладываясь в организацию отдельного HDD-хранилища. При этом оно не требует дополнительных затрат на лицензирование, будучи полностью бесплатным для клиентов StorONE.

Высокоплотные дисковые полки содержат многие десятки HDD. Источник: Seagate

Такое стало возможным благодаря поддержке спецификаций NVMe 2.0, включающих поддержку не только SSD, но и различных карт памяти, ускорителей и классических жёстких дисков. HDD Seagate с «родной» поддержкой NVMe должны появиться в середине 2024 года, но с помощью технологий StorONE воспользоваться всеми преимуществами NVMe-oF в гибридных средах хранения можно уже сейчас.

Иерархия слоёв хранения в платформе StorONE ESP формируется автоматически, когда менее востребованные данные отправляются в ту часть СХД, где установлены HDD. Это абсолютно прозрачный процесс для клиентов хранилища, поскольку работает оно с использованием стандартных протоколов — не только NVMe-oF, но и iSCSI, Fibre Channel, NFS, SMB и S3.

Стандарт NVMe 2.0 подружил HDD и SSD. Источник: Open Compute Project

Таким образом, подход StorONE позволит не только сэкономить средства за счёт отказа от перевода СХД полностью на твердотельные накопители, но и избежать затрат на аппаратную модернизацию уже имеющихся систем хранения данных, работающих на платформе данного разработчика. На 28 июня StorONE запланировала вебинар The NVMe-oF Readiness Workshop, где можно будет подробно узнать о применении классических механических жёстких дисков в инфраструктуре NVMe-oF.

GRAID Technology продолжает развитие своих RAID-ускорителей на базе GPU для формирования NVMe(-oF)-хранилищ — компания анонсировала новый адаптер GRAID SupremeRAID SR-1010, использующий видеокарту NVIDIA RTX A2000, младшего представителя семейства Ampere. От обычной RTX A2000 плата GRAID отличается только отсутствием видеовыходов, поскольку в данном случае они не нужны.

Как и прежде, SSD и ускоритель подключаются к одной и той же PCIe-шине, а виртуальный драйвер перенаправляет всю «тяжёлую» нагрузку по обслуживанию массива накопителей на GPU. Пропускной способности PCIe 4.0 достаточно для обслуживания 32-х NVMe SSD в 4-х группах с линейными скоростями до 110 Гбайт/с при чтении и 22 Гбайт/с при записи. Для случайных операций заявлена пиковая скорость 19 млн IOPS и 1,5 млн IOPS соответственно.

Изображения: Graid

Это, как отмечают создатели, существенно больше того, что могут предложить лучшие аппаратные RAID-контроллеры с поддержкой NVMe в режимах RAID 5/6. Неудивительно, поскольку производительность чипа NVIDIA GA106 (3328 ядер CUDA) заведомо выше любых процессоров на борту классических RAID-адаптеров. Решение использует программный стек GRAID Technology, который компания представила вместе со своим первым продуктом, SupremeRAID SR-1000 на базе NVIDIA T1000.

Принципиальная схема технологии SupremeRAID

SupremeRAID SR-1010 поддерживает формирование массивов RAID0/1/5/6/10. Фирменное ПО совместимо с популярными дистрибутивами Linux, но может также работать и в среде Windows Server 2019/2022. Энергопотребление ускорителя составляет 70 Вт. Старт продаж SupremeRAID SR-1010 начнётся 1 мая. Приобрести новинку можно у самой компании или её OEM-партнёров.

IBM анонсировала новые All-Flash СХД серии FlashSystem, использующие фирменные программные технологии защиты данных CyberVault, в основе которых лежат разработки, применяемые ранее в мейнфреймах серии Z, а также FlashCore-модули третьего поколения. Новинки станут доступны в начале марта.

Младшая 1U-модель FlashSystem 5200, которая была представлена ранее и пришла на смену моделям 5015 и 5035, в базовом варианте использует всего 12 NVMe-накопителей. Однако новое (уже третье) поколение FlashCore-модулей позволяет получить до 1,1 Пбайт эффективной ёмкости. Хранилище масштабируется до 748 накопителей и поддерживает кластеризацию. Контроллеры используют па паре 8-ядерных Intel Xeon Skylake и кеш ёмкостью до 512 Гбайт.

IBM FlashSystem 5200 (Изображения: IBM)

Более мощная 2U-модель FlashSystem 7300 получила четыре 10-ядерных процессора Cascade Lake и кеш объёмом до 1,5 Тбайт. В базовом варианте она позволяет установить уже до 24 NVMe-модулей, а всего можно задействовать до 392 накопителей. FS7300 отличается поддержкой полок расширения с любыми стандартными вариантами LFF/SFF-накопителей SAS-3, причём допустимы смешанные конфигурации.

IBM FlashSystem 7300

Благодаря поддержке кластеризации комплекс 7300 может обслуживть суммарно 1568 накопителей. Сетевая часть в базовом варианте представлена восемью 10GbE-портами (iSCSI), однако доступны более скоростные варианты в виде 25/100GbE (до 12 шт.) и FC16/32 (до 24 шт.), в том числе с RDMA и FC-NVMe. С помощью FS7300 можно организовать сквозное NVMe-подключение для хостов.

IBM FlashSystem 9500

Наконец, старшая СХД FlashSystem 9500 получила четыре 24-ядерных процессора Intel Xeon Ice Lake и кеш объёмом до 3 Тбайт, а также поддержку SCM-модулей (до 1,6 Тбайт) и PCIe 4.0. Базовое 4U-шасси вмещает 48 NVMe-модулей, а всего хранилище может обслуживать до 232 накопителей (до 928 в кластере), но полки расширения поддерживаются только с FlashCore-модулями, NVMe или SAS-3 SSD. Доступно до 24 портов FC16/32, до 12 портов 100GbE или до 20 портов 10/25GbE — с FC-NVMe, iSCSI и RDMA.

Но самое интересное — третье поколение модулей IBM FlashCore (FCM) на базе QLC-памяти с SLC-кешем. У них вдвое вырос показатель DWPD, а степень сжатия на лету поднялась до 3:1. Модули имеют «сырую» ёмкость 4,8/9,6/18,9/38,4 Тбайт. Две наиболее ёмких модели имеют поддержку PCIe 4.0. Кроме того, FCM теперь поддерживают расширенные возможности общения с IBM Spectrum Virtualize (в новых СХД версии 8.5) для более оптимального управления нагрузкой.

Компания VAST Data объявила о том, что максимальную «чистую» ёмкость флеш-хранилищ серии Universal Storage ей удалось увеличить вдвое — с 675 до 1350 Тбайт. Это даёт более 1 Пбайт эффективной ёмкости при дедупликации на уровне 5:1. Достигнуто это путём применения новых SSD Intel объёмом 30 Тбайт, базирующихся на памяти QLC NAND.

Компания особенно выделяет возросшую удельную плотность хранения данных, которой новые SSD позволили достичь — если для аналогичной ёмкости, набранной классическими HDD, потребовалось бы 68 накопителей и корпус высотой 4-5U, то 30-Тбайт SSD позволяют обойтись 44 компактными накопителями, умещающимися в 2U-шасси. Помогают им SCM-модули Intel Optane или KIOXIA XL-FLASH (EL6).

Также VAST Data поднимает вопрос о необходимости пересмотра архитектуры СХД столь большой ёмкости, ведь потеря одного диска в традиционном массиве RAID может потребовать очень много времени на перестройку и восстановление полной функциональности. Всё это время массив уязвим и, к тому же, может сильно нагружать СХД и SAN. В системах VAST Universal Storage массив организован таким образом, что может выжить даже при одновременной потере четырёх SSD, а данные для восстановления, равномерно «размазаны» по всем накопителям в кластере.

А функция Universal Power Control позволяет экономить энергию путём отключения неиспользуемых SSD, но без потерь в латентности, ведь пробудить их можно менее, чем за 1 мс. Энергоэффективность при этом составляет 500 Вт на 1 Пбайт, что в 11 раз эффективнее, нежели у Dell EMC PowerScale A300 и в 9 раз эффективнее Pure FlashBlade.

Технология NVMe-over-Fabrics (NVMe-oF) прочно заняла своё место в производительных системах хранения данных. В случае NVMe/TCP о мировом рекорде заявила Fungible, которая использует во флеш-массивах FS1600 DPU собственной разработки — она получила 10 млн IOPS на случайных операциях, тогда как без DPU удалось достичь только 6,55 млн IOPS при полной загрузке 128-ядерного сервера. NVIDIA ответила на это собственным тестом.

Вчера компания опубликовала шокирующие результаты — DPU BlueField-2 позволил добиться 41,4 млн IOPS, что более чем в четыре раза лучше рекорда Fungible. Прямо имя конкурента не упоминается, но иных показателей в 10 млн IOPS никакой другой вендор и не заявлял. На блоках размером 4К результат NVIDIA составил более 5 млн IOPS, с блоками 512 байт разброс составил от 7 до более чем 20 млн IOPS.

Изображения: NVIDIA

NVIDIA использовала пару серверов HPE Proliant DL380 Gen 10 Plus, каждый с двумя процессорами Intel Xeon Platinum 8380 (Ice Lake-SP, 40C/80T, 2,3-3,4 ГГц, 60 Мбайт L3-кеш, 270 Ватт TDP) и 512 Гбайт DRAM. В каждом узле к шине PCIe 4.0 было подключено две платы NVIDIA BlueField-2P (Performance-версия) с двумя портами 100GbE каждая — ширина канала между узлами составила 400 Гбит/с. Коммутатор не использовался, серверы напрямую соединялись посредством пассивных медных кабелей. В качестве ОС использовалась RHEL 8.3 c ядрами Linux 4.18 и 5.15. Инициаторы применялись как комплектные, так и из состава SPDK.

Результаты тестирования для режима TCP

Тестирование проводилось для NVNe/RoCE и NVMe/TCP в сценариях «100% чтения», «100% записи» и «50/50% чтение-запись». Наилучшие результаты получены при использовании SPDK на обеих системах (но за счёт повышенной нагрузки на CPU). Линейные показатели действительно впечатляют, приближаясь к лимиту канала 4×100GbE, а в режиме 50/50 для 4K с RoCE удалось получить и вовсе 550 Гбит/с (всё-таки дуплекс). Казалось бы, новый, блестящий мировой рекорд у NVIDIA в кармане, однако возникает ряд сомнений по поводу методики тестирования.

...и для RoCE

Во-первых, подозрение вызывает отсутствие в спецификациях данных о конфигурации дисковых подсистем. С учётом того, что используемый сервер имеет 24 SFF-отсека, речь могла бы идти о соответствующем числе Intel Optane P5800X — один такой SSD выдаёт около 1,5 млн IOPS на 4K-блоках и до 5 млн IOPS на блоках размером 512B. Цифры, казалось бы, неплохо согласовываются, хотя такая конфигурация и требует всех 128 линий PCIe 4.0 (по x4 на каждый из 24 гипотетических SSD и два x16 для DPU).

Быстрейшие на сегодня SSD в стандартном форм-факторе: Intel Optane P5800X (Изображение: Intel)

Полное торжество идей NVMe-oF? Не совсем. Ресурс Serve The Home уточнил некоторые детали тестирования у NVIDIA. Так, выяснилось, что в тестовых сценариях компания вообще не использовала подсистему накопителей, отправляя всё в /dev/null. По сути, измерялись передача данных «от Xeon до Xeon», т.е. в первую очередь скорость работы сети. Более того, NVIDIA подтвердила, что массив Arm-ядер на борту BlueField-2 толком не использовался, а весь трафик шёл через стандартный «кремний» ConnectX, также имеющийся в данном DPU.

Сложно сказать, насколько полезно такое тестирование. Конечно, оно демонстрирует великолепные сетевые характеристики BlueField-2, их работу в стандартной серверной среде, готовность программного стека, а также работоспособность систем на базе Xeon Ice Lake-SP с периферией стандарта PCIe 4.0. Однако вопрос взаимодействия BlueField-2 с реальной физической дисковой подсистемой остаётся открытым, поскольку нынешние тесты сравнивать с результатом Fungible затруднительно.

Компания Kioxia сообщила о доступности твердотельных накопителей семейства EM6, относящихся к корпоративному классу. Решения предназначены для использования в составе платформ высокопроизводительных вычислений, систем машинного обучения и искусственного интеллекта.

Источник изображения: Kioxia

Устройства серии EM6 выполнены на основе контроллера Marvell 88SN2400 NVMe-oF. Реализована спецификация NVMe 1.4. Доступны один или два интерфейса Ethernet с пропускной способностью 25 Гбит/с. Накопители заключены в корпус формата 2,5" толщиной 15 мм. Предлагаются два варианта вместимости — 3,84 и 7,68 Тбайт, оба с 1 DWPD.

Источник изображения: Ingrasys

Устройства доступны в составе платформы ES2000 EBOF (Ethernet Bunch of Flash) производства Ingrasys (подразделение Foxconn). Данный продукт представляет собой систему хранения данных в 2U-шасси с возможностью установки 24 накопителей NVMe-oF типоразмера 2,5"/U2/E3.S или 48 E1.S. СХД имеет коммутатор Marvell 98EX5630 и предоставляет 12 200GbE-портов QSFP28/56.

Южнокорейский гигант Samsung представил первый образец системы хранения данных на аппаратной платформе Intel Xeon следующего поколения — Sapphire Rapids. Устройство продемонстрировано в рамках мероприятия OCP Global Summit 2021, которое посвящено открытым проектам в сферах программного и аппаратного обеспечения для центров обработки данных. Новинка разработана совместно с Inspur и Naver Cloud.

Poseidon V2 имеет два процессора Sapphire Rapids, 32 слота для модулей DDR5, а также вмещает до 24 устройств E3.S 1T (в отличие от E1 в Poseidon V1), но корзина совместима и с E3.S 2T. Собственно говоря, хранилищем в традиционно смысле слова эта система не является. Да, она подходит для NVMe SSD с интерфейсом PCIe 5.0 (как PM1743) — обычных NAND и SCM вроде Z-SSD, XL-Flash или Intel Optane — и предлагает быструю реализацию NVMe-oF, в том числе NVMe/TCP.

Poseidon V2 (Здесь и далее изображения Samsung)

Для 200GbE-подключением к системе Samsung уже удалось достичь скорости последовательных чтения и записи в 24,5 и 18,6 Гбайт/с, а для случайных — 19,4 и 8,7 Гбайт/с соответственно. Однако в форм-факторе E3.S также будут выпускаться и SmartSSD с возможностью самостоятельной обработки данных, и различные ускорители, и DRAM-экспандеры. Последнее возможно благодаря поддержке Сompute Express Link (CXL).

Однако наличие аппаратной поддержки — это полдела. Поэтому Samsung развивает фирменную Poseidon Storage OS. ОС будет отвечать за управлением томами, формирование программных RAID-массивов, мониторинг и профилирование производительности и так далее. Кроме того, она предложит функцию высокой доступности (2 узла), многопутевое (multi-path) подключение и будет принимать во внимание неравномерность доступа к памяти (NUMA). Разработчикам будут доступны открытые API.

Старт массового производства Poseidon V2 намечен на III квартал 2022 года, а в IV квартале Samsung планирует передать OCP все наработки по проекту. Строго говоря, большая часть компонентов новинки уже сделана в соотвествии со стандартами OCP, так что этот процесс вряд ли затянется.

Компания Gigabyte Technology анонсировала стоечный сервер R282-Z9G — свою первую систему, оснащённую акселератором GRAID SupremeRAID. Это программно-аппаратное решение призвано устранить узкие места в RAID-системах на базе твердотельных накопителей NVMe.

Новинка выполнена в форм-факторе 2U. Допускается установка двух процессоров AMD EPYC 7003, каждый из которых может насчитывать до 64 вычислительных ядер. В общей сложности доступны 32 слота для модулей оперативной памяти DDR4-3200.

Здесь и ниже изображения Gigabyte

Во фронтальной части расположены 20 отсеков для накопителей формата 2,5" с возможностью «горячей» замены. Ещё два 2,5" посадочных места находятся в тыльной части сервера. В системе задействован ускоритель SupremeRAID SR-1000. Он обеспечивает поддержку устройств NVMe SSD (PCIe 4.0) и формирование массивов RAID 0/1/10/5/6. Есть коннектор М.2 с поддержкой твердотельных модулей 2242/2260/2280/22110 c интерфейсом PCIe 4.0 x4.

Новинка оборудована двумя сетевыми портами 1GbE LAN на базе контроллера Intel I350-AM2 и выделенным сетевым портом управления. Габариты сервера составляют 438 × 87 × 730 мм. На фронтальную панель выведены два порта USB 3.0. Сзади находятся ещё два разъёма USB 3.0, гнёзда для сетевых кабелей и интерфейс D-Sub.