Сегодня объемы создания и потребления данных продолжают неуклонно расти. Согласно данных International Data Corporation (IDC) за 2020 год, за пять лет — до 2023 года — совокупный темп годового роста (CAGR) получения, копирования и потребления данных составит 26%. Наряду с ростом и усложнением рабочих экосистем, приложений и массивов данных для ИИ/IoT, данный тренд указывает организациям на необходимость обеспечить бóльшую масштабируемость, эффективность, производительность и быстродействие систем хранения данных (СХД) при оптимальной совокупной стоимости владения TCO.

NVMe™ — текущее состояние

В глобализированной цифровой экономике счет идет на микросекунды. Достижение максимальной производительности и доступности критических приложений в сфере гипермасштабируемых облачных вычислений и ЦОД реализуется посредством постоянной работы по устранению узких мест и удовлетворению беспрецедентно растущей потребности в обработке данных. В таких условиях потребители ускоряют внедрение решений NVMe и NVMe over Fabrics (NVMe-oF). Эксперты отраслевой аналитической фирмы IDC предсказывают, что гиперскейлеры, OEM-производители и организации-конечные пользователи продолжат переход со старых интерфейсов SATA и SAS. Ожидается, что в 2020 году на NVMe придется более 55% от поставок SSD-накопителей корпоративного класса, а совокупный годовой рост поставок NVMe с 2018 по 2023 год составит 38%.

Огромное множество ключевых бизнес-функций теперь опираются на высокопроизводительное прикладное ПО, поэтому все больше центров обработки данных по всему миру внедряют NVMe. Компания Western Digital давно занимается инновациями в области флэш-памяти NAND и уже сейчас предлагает комплексную линейку SSD-накопителей и новых решений к построению фабрик данных. Таким образом, Western Digital располагает всем необходимым, чтобы помочь клиентам полностью реализовать потенциал технологии NVMe.

Платформа хранения данных OpenFlex Data24 NVMe-oF

Хотя флэш-накопители с NVMe невероятно повышают производительность систем хранения DAS, SAN и NAS, традиционная архитектура центров обработки данных не позволяет полностью реализовать возможности твердотельных накопителей NVMe. Это приводит к недоиспользованию ценных ресурсов хранения, неэффективной сегментации данных и удорожанию эксплуатации.

OpenFlex Data24, новая JBOF СХД, снимает данные ограничения за счет использования всей пропускной способности SSD-накопителей Ultrastar с поддержкой NVMe сразу несколькими вычислительными узлами, объединёнными в Ethernet-фабрику (NVMe-oF 1.0a) с низкими задержками так, что скорость работы с JBOF сравнима со скоростью работы локального NVMe-накопителя, подключенного к PCIe-шине сервера.

Такой подход обеспечивает максимальное количество операций ввода-вывода в секунду (IOPS). Также повышаются гибкость при необходимости увеличить емкость и эффективность использования дезагрегированного хранилища на флэше, что позволяет достичь большей производительности в условиях самых напряженных рабочих нагрузок. Сбалансированная архитектура СХД предотвращает выделение пространства сверх физической емкости хранилищ (over-subscription) и обеспечивает стабильную производительность NVMe.

В систему OpenFlex Data24 может быть установлено до 24 NVMe SSD-накопителей Ultrastar DC SN840 — в компактном 2U-шасси можно получить до 368 Тбайт ёмкости. Система идеально подходит для увеличения емкости серверных хранилищ или развертывания масштабируемых программно-определямых систем хранения (SDS). В комплексный дизайн системы также входят NVMe-oF-контроллеры RapidFlex с удаленным доступом к памяти (RDMA), которые при крайне низком энергопотреблении обеспечивают отменную производительность сетевых соединений.

По 100-гигабитной сети Ethernet можно подключить до шести вычислительных узлов без использования внешнего коммутатора. Задержка при работе контроллеров RapidFlex составляет менее 500 наносекунд, что обеспечивает расчетную производительность системы на уровне 13 млн IOPS и 70 Гбайт/c при установке в OpenFlex Data24 шести сетевых адаптеров.

Система OpenFlex Data24 спроектирована для обеспечения высокой доступности и уровня надежности промышленного класса. Она может устанавливаться в качестве совместно используемого хранилища в составе высокопроизводительной IT-инфраструктуры или использоваться в качестве дезагрегированного ресурса в виртуализированных системах хранения. Данная система полностью совместима с удостоенной наград F-серией OpenFlex — единственном в мире решении для построения открытых, компонуемых дезагрегированных инфраструктур (CDI).

Подробная информация доступна в блоге Western Digital: Пять причин начать планировать переход на NVMe-oF™ уже сегодня

Компания Western Digital продолжает создавать инновации, открывая новые научные и технологические горизонты, чтобы разрабатывать продукты для повышения эффективности и производительности инфраструктуры обработки данных с лучшей в своем классе TCO. Широкий набор решений Western Digital для обработки данных включает линейку HDD- и SSD-накопителей Ultrastar, HDD- и SSD-накопители WD Gold®, открытую платформу для компонуемых инфраструктур OpenFlex NVMe-oF, системы хранения Ultrastar, контроллеры RapidFlex NVMe-oF, решения Ultrastar для расширения RAM.

Western Digital также принимает активное участие в инициативе Zoned Storage по созданию стандартизированной открытой технологии зонирования накопителей с целью эффективного масштабирования ЦОДов. Новая технология основана на совместном применении HDD с черепичной магнитной записью (SMR) и SSD с поддержкой зонирования (ZNS).

Компания Cheetah RAID Storage анонсировала любопытное решение под длинным названием Rugged NVMe 2U Server/Storage ALL-IN-ONE W/2 Removable Canisters. Это сервер хранения данных, рассчитанный на работу с твердотельными накопителями NVMe U.2. Новинка имеет высоту 2U и глубину 27".

Шасси рассчитано на работу со стандартными платформами на базе Intel Xeon Broadwell и Skylake, а также AMD Naples. Каждому процессору «полагается» один PCIe-коммутатор Broadcom PEX9781 или PEX9797, который, в свою очередь, управляет 48 линиями PCIe 3.0 для накопителей и сетевых адаптеров с поддержкой RDMA/RoCE/iWARP. Такая схема подключения позволяет снизить взаимодействие между CPU.

Сервер содержит два контейнера, каждый из которых может быть оборудован десятью 2,5-дюймовыми накопителями NVMe U.2. Предусмотрена возможность установки двух системных 2,5" накопителей с поддержкой «горячей» замены. Также возможна установка двух или четырёх сетевых адаптеров PCIe 3.0 x16. Опционально доступно посадочное место под модуль OCP 2.0 PCIe 3.0 x16. Питается система от блоков питания мощностью от 1200 до 1600 Вт с резервированием.

Платформа разработана с учётом возможностей кастомизации под нужды конкретных заказчиков, в том числе OEM-клиентов. Подробно с техническими характеристиками новинки можно ознакомиться здесь. Отметим, что Cheetah RAID Storage является давним поставщиком СХД для спецслужб и госорганов США и НАТО, а также производителям систем видеонаблюдения.

На партнерской конференции «Enjoy Growth, Win Together», которая прошла 3 марта в Москве, Huawei представила сразу несколько важных обновлений и новых решений для ЦОД. Среди них — реализация E2E NVMe-oF (NoF+) для ЦОД нового поколения, которая не только быстрее традиционных FC SAN, но и гораздо выгоднее и проще в обслуживании. Что революционного в новом решении и почему на него нужно обратить внимание?

Исторически так сложилось, что в ЦОД нередко применяются отдельные SAN-сети (для хранения данных) на базе протокола Fibre Channel и сеть передачи данных на базе Ethernet. Обычно они изолированы друг от друга, а для управления и доступа используются отдельные коммутаторы/маршрутизаторы. Были попытки объединить эти сети, пустив FC поверх Ethernet (FCoE), однако большим успехом они не увенчались — устройства получались дорогие и сложные, а задержки доступа росли до совершенно неприличных величин.

Два главных преимущества Fibre Channel над Ethernet: низкие задержки при доступе к данным и гарантированная доставка пакетов. И этого хватало долгие годы, но, как говорится, «все течет, все меняется». Возможностей интерфейса SAS 12G было вполне достаточно для механических накопителей, но он не мог в полной мере обеспечить необходимую пропускную способность для новых твердотельных накопителей, а лишние уровни абстракции заметно замедляли операции ввода/вывода.

Все изменилось с появлением нового поколения All-flash СХД, в которых применяются исключительно NVMe-накопители. Такие SSD требовали новых решений и повышения скорости каналов связи. Возможностей FС 16/32G тоже явно не хватало и вовремя подоспевший стандарт FC 64G на некоторое время спасет ситуацию, однако не до конца — реализовать весь потенциал NVMe можно только при использовании прямого доступа к ним, например, по RDMA.

С выпуском СХД Dorado V6 Huawei задала новый уровень быстродействия для all-flash массивов, что обеспечивается не только большей вычислительной мощностью контроллеров, но и продуманной архитектурой решения. Huawei одна из немногих компаний, которая сама выпускает SSD, процессоры, интерфейсные платы, сетевые компоненты и серверы, что позволяет оптимально выстроить от начала до конца — то есть от места хранения данных до их конечных потребителей — все взаимодействия, причём без лишних посредников и ограничений.

Использование собственных Arm-процессоров совместно с технологиями ИИ позволяет добиться потрясающей производительности и отказоустойчивости в СХД серии Dorado V6. Однако наличие быстрых СХД — это всего лишь полдела. Им необходима быстрая и надёжная сеть доставки, и вот тут-то на сцену и выходит концепция E2E NVMe (End-to-End NVMe). В данном случае используется NVMe-oF на базе технологии RoCE v2. Для работы последней требуется сеть, которая была бы быстрой, надёжной, имела низкие задержки и передавала данные без потерь.

Для построения такой сети требуются современные решения. И Huawei уже имеет в своем портфеле подходящие коммутаторы уровня ЦОД с портами 25/50/100/200/400 Гбит/с, с поддержкой RoCEv2, алгоритмами iLossless, long-distance RoCE и всех необходимых для уровня ядра функций. Однако компания пошла дальше, и теперь её новейшие коммутаторы серии Cloud Engine 16800, 6800 и 8800 поддерживают уникальные технологии NoF+ и AI Fabric, которые, по заверениям производителя, в случае NVMe-of СХД может увеличить IOPS до 85%.

AI Fabric в реальном времени отслеживает работу сети и устройств в ней и корректирует их поведение. Одной из ключевой составляющих AI Fabric является технология iLossless, которая предотвращает потерю пакетов, вызванную перегрузкой сети. Специальный алгоритм препятствует попадание избыточных данных в сеть, защищая буфер устройства или канал от перегрузки.

Если с технологиями понятно, то что с готовыми решениями и ценами на них? Использование в ЦОД единой сети без потерь данных и единых высокопроизводительных коммутаторов вместо отдельных для Ethernet и SAN позволяет значительно экономить бюджет. По словам инженеров компании, 25 Гбит/с RoCE производительнее и экономически эффективнее классического FC 32G в пересчете на параметры IOPS/Latency, а 100 Гбит/с RoCE уже задает новый стандарт в производительности, и всё это при меньшей стоимости общего владения инфраструктурой и унификации с уже имеющимися сетями в ЦОД.

Все СХД серии Dorado V6 поддерживают опциональные RoCE-интерфейсы, интерфейсные карты для серверов с поддержкой RoCE тоже есть, таким образом, с внедрением связующего звена в виде высокопроизводительных коммутаторов Cloud Engine 16800, 8800 и 6800 «пазл» складывается полностью в интеллектуальную высокопроизводительную систему, которая реализует принцип End-to-End NVMe от накопителя до хоста.

На партнерской конференции для демонстрации технологии установили отдельный стенд, на котором сравнивалась производительность одинаковых СХД с разным подключением серверов: через классический Fibre Channel 32G и 25GbE (с использованием новых коммутаторов и RoCE). Цифры производительности IOPS демонстрировались в режиме реального времени и преимущество новой технологии было наглядно выражено: 800К+ IOPS через RoCE и 600К+ IOPS через FC 32G.

Нужно отметить, что обе СХД были полностью идентичные и тесты были запущены с одинаковой нагрузкой на одинаковом же оборудовании. Проведя немало времени возле этого стенда, мы смогли убедиться, что показатели, которые демонстрирует новое решение, не только значительно превосходят FC 32G, но и стабильны на всем протяжении тестирования.

Идея выделенного сопроцессора (Data Processing Unit, DPU), занятого исключительно задачами обслуживания подсистемы хранения данных, проста и логична: специализированный кремний работает эффективнее процессоров общего назначения и демонстрирует более высокую энергоэффективность. Одним из пионеров DPU является Fungible, о решениях которой мы неоднократно рассказывали ранее, но и других интересных разработок в этой области немало.

Wistron, крупный тайваньский производитель электронного оборудования, заключила альянс с Kalray, компанией, специализирующейся на разработке сетевых процессоров и сопроцессоров обработки данных. Плодом этого сотрудничества и стала новая система FURIO1200.

В основе FURIO1200 лежит стандартное шасси Wistron LYMMA 2U с посадочными местами для 24 накопителей NVMe, но таких решений на рынке много. Самое интересное в данном случае сосредоточено в PCIe-адаптере K200, построенном на базе сопроцессора Kalray MPPA Coolidge. Он предназначен для установки в стандартные вычислительные узлы на базе x86 и обеспечивает обслуживание флеш-массива, поддержку NVMe-oF, шифрования, а также разгрузку хост-узлов от задач, связанных с обработкой специфических данных, например, данных, полученных от систем машинного зрения.

В основе MPPA Coolidge лежит фирменная архитектура Massively Parallel Processor Array. Как следует из названия, она представляет собой массив вычислительных ядер. Сами ядра построены на базе архитектуры VLIW, требующей для достижения оптимального параллелизма тщательной оптимизации на уровне компилятора. Таких ядер в составе процессора может быть до 800, частота их работы — от 600 МГц до 1,2 ГГц. Ядра сгруппированы в кластеры, каждый кластер включает в себя 16 ядер общего назначения и 1 управляющее ядро, ответственное также за функции безопасности. На кластер приходится 4 Мбайт выделенного кеша L2 с пропускной способностью 600 Гбайт/с.

5 кластеров в составе Coolidge обеспечивают внушительную производительность: 1,15 Тфлопс на операциях FP32 и 25 Топс для INT8, что делает процессор хорошо подходящим для широкого круга задач, включая ИИ и системы машинного зрения. Имеется двухканальный контроллер DDR4-3200, а для общения с внешним миром предусмотрено 16 линий PCI Express 4.0 и два интерфейса 100GbE/RoCE v2.

Интересно, что процессор может работать как в классическом многоядерном режиме SMP, так и в асимметричном режиме, в котором каждый кластер, по сути, работает как один из 16 отдельных одноядерных ЦП. В FURIO1200 процессор на борту адаптера K200 работает на благо NVMe-oF, но также позволяет запускать пользовательские приложения, для чего в комплекте поставляется открытый SDK.

Архитектура процессора Kalray MPPA Coolidge

Наличие столь мощного сопроцессора не только обеспечивает FURIO1200 гибкость в обработке данных, но также позволяет добиться внушительных скоростных характеристик. Производительность на случайных операциях у новинки может превышать 12 млн IOPS при латентности в районе 20-50 мс, а на последовательных операциях — достигать 72 Гбайт/с.

Пока FURIO1200 является, скорее, концептом: первые небольшие партии будут доступны заказчикам в первом квартале, а массовое производство запланировано на середину года. Первые клиентские тесты начнутся в течение ближайших недель.

VAST DATA выпустила платформу хранения LightSpeed, само название которой уже намекает на высокую скорость работы. Решение построено на базе другого продукта компании — Universal Storage DASE (DisAggregated, Shared, Everything), которое было анонсировано в прошлом году. Что такого особенного в новой архитектуре и действительно ли хранилище получилось быстрым?

По словам VAST, ее универсальное хранилище (Universal Storage) — это полностью новая технология, которая использует последние технологии, такие как NVMe-over-Fabric, Storage Class Memory (SCM, в даном случае это Optane) и флеш-память QLC. Все это вместе позволяет создать полностью дезагрегированное хранилище с флеш-памятью NVMe, с масштабированием до эксабайта и с поддержкой различных рабочих нагрузок.

Основные преимущества VAST Universal Storage DASE:

• Масштабирование СХД до эксабайта и глобальное пространство имен: каждый сервер имеет доступ ко всем накопителям в кластере, устраняется необходимость в дорогостоящем ускорении операций чтения/записи на основе DRAM или в тиринге, гарантируя, что каждая операция чтения/записи будет выполняться на быстрых накопителях NVMe.
• Серверы слабо связаны в архитектуре VAST и могут масштабироваться почти до бесконечности, потому что им не нужно координировать операции ввода-вывода друг с другом и они не обрабатывают межкластерное взаимодействие, что обычно является основной трудностью в масштабировании систем хранения. Серверы VAST можно поместить в контейнеры и встроить в серверы приложений, чтобы обеспечить производительность NVMe-oF на каждом хосте;
• Глобальная трансляция QLC: архитектура VAST DASE оптимизирована для записи на недорогие носители QLC, позволяет увеличить их долговечность до 10 лет, за счет применения новых методов размещения данных, с использованием большого буфера записи SCM;
• Глобальная защита данных: компромисс между затратами на защиту данных и отказоустойчивостью системы достигается за счет новых алгоритмов, которые при большом количестве узлов обеспечивают накладные расходы в 2% (по сравнению с 33-66% для традиционных систем);
• Глобальное сжатие: VAST применяет собственные разработки для сжатия данных, которое может быть как глобальным, так и побайтовым. Система обнаруживает и использует шаблоны схожести данных в глобальном пространстве имен на уровне детализации, который в 4 000 – 128 000 раз меньше, чем современные подходы к дедупликации. Конечным результатом является система, которая реализует эффективные алгоритмы сжатия для всех видов данных, без ущерба для скорости доступа.

По заявлению VAST, новые платформы LightSpeed NMVe обеспечивают вдвое большую пропускную способность, чем системы предыдущего поколения.

Кластеры VAST LightSpeed доступны в трех вариантах конфигурации:

• 2 узла LightSpeed, обеспечивающие пропускную способность 80 Гбайт/с, с использованием 32 GPU;
• 5 узлов (Pentagon), обеспечивающие пропускную способность 200 Гбайт/с, с использованием 80 GPU;
• 10 узлов (Decagon), обеспечивающие пропускную способность 400 Гбайт/с, с использованием 160 GPU.

VAST в настоящее время сотрудничает с NVIDIA, чтобы использовать технологию NVIDIA GPU Direct Storage, что позволит получить значительный прирост в производительности для операций ввода/вывода.

На Flash Memory Summit ветеран индустрии Говард Маркс (Howard Marks), ныне работающий в VAST Data, представил традиционный доклад о текущем состоянии сектора корпоративных хранилищ, в котором отметил текущие достижения и тенденции.

Менее чем за полтора десятка лет flash-память в корпоративном секторе превратилось из экзотичного нишевого решения стоимостью как самолёт в массовый продукт. IDC в начале этого года отрапортовала о доминировании all-flash решений над гибридными, а Gartner перестал в некоторых отчётах выделять flash-хранилища в отдельный сегмент, приписав их СХД общего назначения. Кроме того, стали, наконец, появляться относительно дешёвые и доступные all-flash хранилища.

Стоимость гигабайта flash-памяти стремительно снижалась, хотя и неравномерно. Современные дешёвые SSD на базе QLC (в пример приводится первый QLC-диск Micron ION 5210) менее чем в 4 раза дороже современных же HDD. При этом «дорогие» и высокопроизводительные жёсткие диски 10K/15K RPM окончательно заброшены всем производителями. Nearline-накопители растут в объёме, но теряют в скорости работы и IOPS, тогда как на рынке уже появились SSD, обогнавшие их по ёмкости. И, к примеру, последняя новинка Nimbus, ExaDrive NL, стремится к удешевлению (3,5”, 64 Тбайт QLC, но только SATA/SAS).

При этом сами flash-накопители теперь заметно дифференцированы. В корпоративном секторе дорогие, быстрые и надёжные двухпортовые накопители дополняются более простыми и дешёвыми однопортовыми (даже с SATA), а у гиперскейлеров вообще свои требования — больше ёмкости за меньшую цену и никаких излишеств — QLC без SLC-кеша и минимальный DRAM-кеш. Особняком стоит SCM (Storage Class Memory), находящаяся между обычными SSD и DRAM, сочетая преимущества и недостатки обоих типов памяти. Фактически на рынке есть только 3D XPoint, причём массово лишь от Intel, которая потихоньку избавляется от NAND-бизнеса.

Конкуренцию ей могли бы составить (но по факту это не совсем так) Samsung Z-SSD или Toshiba XL-Flash, которые на самом деле являются ещё одной вариацией SLC NAND (быстрой, но дорогой) и опять таки наследуют всё её преимущества и недостатки, из-за чего, к примеру, реальной заменой той же Optane DCPMM (теперь уже PMem) они не являются. Из прочих альтернативных технологий памяти докладчик отмечает только STT-MRAM от Everspin, которая используется как замена DRAM-кеша в SSD.

Ну а массовой, по-видимому, в силу дешевизны со временем станет QLC-память. Причём в сочетании с различными техниками, которые могут нивелировать её минусы в отношении скорости и ресурса. В частности, использование большого промежуточного кеша из DRAM или 3D XPoint позволит переупорядочить данные перед записью в ячейки, а дедупликация и сжатие к тому же помогут приблизить стоимость хранения к HDD. Зонирование и управление со стороны хоста тоже будут этому способствовать. Из подобных систем докладчик отмечает решение «родной» компании VAST Data, Pure Storage FlashArray//C и новые NetApp FAS500f — все с NVMe-накопителями, а первые два ещё и с NVMe-oF.

И именно NVMe-oF станет следующим большим шагом в развитии индустрии хранения данных. Неслучайно его поддержка включена в базовый набор спецификацией NVMe 2.0. «Классические» SAN (на базе FC, например), по мнению инженера HPE, участвующего в разработке нового стандарта для обнаружения и настройки NVMe-пулов в сети (mDNS + DNS-SD), останутся только локально, а в остальных сферах и дальше будет развивать дезагрегация, так что в будущем вполне можно будет подключиться к облачному NVMe-хранилища в рамках гибридного облака.

Массивы хранения смогут быть отделены от контроллеров, которых может быть сразу много, и от потребителей. Особую роль в этом могут сыграть DPU, рынок которых только зарождается. Они могут просто взять на себя часть задачи по обработке и передаче данных, но и могут поменять сам ландшафт СХД. Наличие root-комплекса в таких устройствах позволит избавиться от CPU в принципе — сейчас они заняты и обработкой данных (всё те же сжатие и дедупликация), и дают линии PCIe, которые нужны и накопителям, и сетевым адаптерам. И пропускной способности, во всяком случае для типовых x16, может не хватать для быстрых адаптеров и одновременно большого числа накопителей.

Сами накопители тоже будут меняться. U.2 становится менее популярным, а из новых форм-факторов победу одержал стандарт EDSFF, вытеснив альтернативный NF1. EDSFF актуален в первую очередь для гиперскейлеров, но, похоже, корпоративные системы к нему тоже будут обращаться. «Длинная» версия E1.L подойдёт для плотных СХД, и уже есть решения, вмещающие 1 Пбайт в 1U. Есть и альтернативный форм-фактор E3.S. E1.S доступен в «тонкой» (5,9 мм) и «толстой» (до 25 мм) версиях. Первая предлагает более высокую плотность, вторая — более высокую производительность, но при этом низкие требования к охлаждению.

M.2 тоже будет использоваться, но скорее в качестве локального (или загрузочного) хранилища. А в рамках OCP оба малых форм-фактора используются не только для накопителей, но и для некоторых ускорителей, причём есть варианты и со сдвоенными слотами. Впрочем, это уже вотчина гиперскейлеров, у которых, как и было сказано ранее, особые требования. Facebook, HPE и Microsoft вместе с другими компаниями сейчас разрабатывают новый, единый стандарт облачных SSD, свежий релиз которого выйдет в декабре. Впрочем, как на самом деле будет развиваться flash и индустрия хранения данных, покажет время, и приведённые здесь тенденции и явления могут быть скорректированы.

В рамках Flash Memory Summit 2020 компания Intel рассказала о будущем стандарте NVMe 2.0, который всё ещё находится в разработке. Пожалуй, ключевое изменение в том, что новый стандарт больше не фокусируется на работе с блочными устройствами, подключённым к PCI Express, а значительно расширяет сферу применения NVMe.

В NVMe 2.0 будет небольшое перераспределение стандартов. Для базовой спецификации обязательной станет поддержка NVMe-oF. Отдельно будут прописаны спецификации для различных наборов команд ввода-вывода и обмена данными: базовые команды, поддержка зонирования (Zoned Namespace) и новый набор Key-Value. Для интерфейсов управления также будет своя спецификация NVMe-MI. Наконец, транспортный уровень будет поделен между PCIe, RDMA и TCP.

Новые наборы команд позволяют работать с накопителем не только как с обычным блочным устройством. Про зонирование мы уже рассказывали подробнее в материале об Ultrastar DC ZN540, первом накопителе от Western Digital, который поддерживает эту технологию. Набор команд Key-Value ещё более абстрагирован от конкретной технологии хранения и предоставляет удобный интерфейс для работы с неструктурированными данными. Все эти технологии в той или иной мере уже используются.

В дальнейшие обновлениях, которые должны попасть в NVMe 2.0, упор будет, в частности, сделано на расширение возможностей телеметрии, логирования и управления для накопителей. Отдельно внимание уделено концепции computational storage (вычислительные накопители с выделенным процессором для обработки хранимых данных). Дальнейшее развитие получит и зонирование. Кроме того, теперь уже прямо говорится о возможной поддержке жёстких дисков рамках нового стандарта.

Таким образом, NVMe стремится стать «единым окном» для любого хранилища и выйти далеко за пределы отдельного сервера или СХД, автоматически создавая, обнаруживая и настраивая различные пулы хранения данных на базе разных носителей с поддержкой приоритизации, многоканального подключения, единого управления и мониторинга. При этом покрывая клиентские, облачные и корпоративные систем и сохраняя обратную совместимость с уже развёрнутыми решениями.

Так или иначе практически вышеописанные концепции уже существуют, прорабатываются или используются, пусть и в разрозненном виде. NVMe-oF никого не удивить, «вычислительные» накопители оформились в готовые продукты, у Samsung есть проекты Key-Value SSD, а также E-SSD с интегрированным Ethernet, как EBOF от Kioxia (и там, и там NVMe-oF пока с RDMA с прицелом на переход к TCP-транспорту). И даже концепция HDD с NVMe-интерфейсом уже не нова.

Концепция DPU, так называемого «сопроцессора данных», разрабатываемая компанией Fungible, уже описывалась нами ранее. Новый тип процессоров должен, по мнению разработчиков, взять на себя все задачи по работе с системой хранения данных. Сейчас Fungible перешла от теории и опытных моделей к практике — компания представила первый в мире сервер хранения данных на базе DPU, который и должен ознаменовать начало новой революции в мире ЦОД.

Согласно концепции Fungible, DPU должен лечь в основу вычислительных систем нового поколения в качестве центрального, связующего между собой все компоненты звена. Все вычисления, связанные с сохранением, чтением, сжатием и декомпрессией данных этот новый тип процессора берёт на себя. Кроме того, система на основе DPU изначально задумана, как модульная, компоненты в ней связываются между собой посредством стандартных средств Ethernet и NVMe-over-TCP. В своём первом массовом продукте, сервере Fungible FS1600, эта модульность реализована в полной мере.

Новый тип вычислительных систем содержит три основных компонента: это традиционные вычислительные узлы, серверы FS1600 для хранения и работы с данными и узел управления Fungible Composer, служащий для управления и отслеживания параметров всей системы. Последний реализован на базе обычного сервера с архитектурой x86, однако основная новинка, FS1600, в корне отличается от традиционных СХД.

Сервер Fungible FS1600 выполнен в стандартном стоечном корпусе высотой 2U, в передней части этого корпуса расположены 24 слота горячей замены для NVMe SSD. 24 накопителя разделены на два блока, каждый из которых обслуживается своим процессором DPU и имеет по 6 интерфейсов 100GbE. Один такой сервер способен развивать производительность на уровне 15 млн IOPS при максимальном объёме 576 Тбайт и задержке не выше 110 мкс. Также он способен на лету (де-)компрессировать данные со скоростью до 100 Гбайт/с (GZIP, DEFLATE, ZLIB, LZMA).

Для сравнения, классические флеш-массивы такого же формата развивают всего 2-3 млн IOPS. Полная же стойка на базе FS1600 может достигать и 300 млн IOPS. При этом Fungible заявляет, что её система на базе DPU позволяет снизить стоимость развёртывания 1 Пбайт данных в пять раз в сравнении с обычными гиперконвергентными системами хранения данных. Достигается это за счёт более высокой эффективности использования ресурсов флеш-памяти, включая уменьшенный объём избыточных данных.

Fungible FS1600 предлагается в трёх вариантах, различающихся объёмами установленных флеш-накопителей и общим уровнем производительности:

• Fast — 7,6 Тбайт SSD, 81 IOPS на Гбайт, 236 Мбайт/с на Гбайт;
• Super Fast — 7,6 Тбайт SSD, 163 IOPS на Гбайт, 651 Мбайт/с на Гбайт;
• Extreme — 7,6 Тбайт SSD, 326 IOPS на Гбайт, 1302 Мбайт/с на Гбайт.

Поддержка SSD объёмом от 15 Тбайт ожидается позднее. Тогда же будет реализована поддержка дедупликации, снапшотов и NVMe over RoCE. Также компания планирует выпустить и ускорители на базе DPU для обычных серверов. Согласно планам, такие ускорители должны оказаться быстрее технологии GPUDirect, разработанной NVIDIA. В качестве системы интерконнекта Fungible хочет использовать новую сетевую среду TrueFabric. В настоящее время данная технология находится в процессе активной разработки.

В качестве основных партнёров и заказчиков Fungible видит достаточно крупных облачных операторов второго эшелона, к которым компания относит, например, Dropbox и Uber. За счёт технологии DPU они смогут получить прирост производительности своих решений в 2-4 раза в сравнении с аналогичными предложениями AWS и Google Cloud. Тем менее, в инфраструктуру крупных гиперскейлеров Fungible тоже надеется попасть, а вот системы корпоративного класса она пока обходит стороной.

Идея дезагрегации находит всё более активный отклик в умах разработчиков серверного оборудования и инфраструктуры для ЦОД. В частности, всё более популярной становится концепция хранения данных с использованием NVMe over Fabrics, поскольку она позволяет упростить архитектуру ЦОД и даже существенно снизить инфраструктурную стоимость владения. Именно по этому пути собирается пойти Intel, подписавшая договор о сотрудничестве с Lightbits Labs.

Популярность дезагрегированных систем хранения данных объясняется просто: архитектура ЦОД с отдельной программно определяемой системой хранения данных становится стройнее, нежели в случае, когда каждый сервер имеет свои закрытые дисковые подсистемы, которые всё равно требуется синхронизировать по сети. К тому же, обеспечить постоянный и при этом высокий уровень производительности в первом случае обеспечивать гораздо проще. Ход Intel вполне объясним: многие разработчики СХД сейчас активно сотрудничают с разработчиками программно-определяемых хранилищ или даже приобретают соответствующие активы.

А Lightbits Labs — не последнее имя среди создателей подобного рода программных комплексов, к тому же, она является пионером в области освоения NVMe/TCP — логического завершения идеи NVMe over Fabrics. Об этой концепции мы недавно рассказывали в заметке про Ethernet Bunch of Flash, представленный Kioxia, но речь шла об аппаратной составляющей, в то время, как Lightbits Labs занимается частью программной — и уже имеет в портфолио полноценную операционную систему LightOS, предназначенную специально для обслуживания пулов NVMe/TCP.

Хранилища на базе LightOS могут использовать ускорители на базе FPGA

LightOS 2.0, представленная летом этого года, позволяет масштабировать вычислительную и накопительную подсистемы ЦОД независимо друг от друга. Она полностью поддерживает виртуальные тома NVMe и снабжена средствами интеграции с Kubernetes. В LightOS 2.0 реализована защита от сбоев на уровне NVMe-oF 1.1 multipathing, полностью прозрачная для клиентов система умеет автоматически оптимизироваться с учётом особенностей различных сценариев и комплексов баз данных. Кроме того, разработчик позаботился и о повышении надёжности при использовании флеш-массивов на базе дешёвой памяти QLC NAND.

В рамках сотрудничества Lightbits Labs собирается расширить и оптимизировать свою операционную систему с учётом технологий Intel, таких как процессоры Xeon Scalable последнего поколения, умные сетевые адаптеры Intel Ethernet 800, FPGA-ускорители Agilex, накопители Optane и новые серверные SSD Intel на базе многослойной QLC последнего поколения. Особенно важны тут сетевые адаптеры: серия 800 поддерживает технологию Application Device Queues (ADQ), которая позволяет хранилищам типа NVMe/TCP демонстрировать показатели такого же уровня, как и при использовании иных средств RDMA.

Lightbits SuperSSD: уже имеющееся решение на базе NVMe/TCP

Подробнее о LightOS можно узнать на сайте компании-разработчика. Сочетание продуктов Intel и  Lightbits Labs поможет сделать ЦОД нового поколения масштабируемыми, но при этом не переусложнёнными архитектурно и аппаратно, что благотворно скажется на стоимости владения.

Как правило, даже платформа типа JBOF (Just a Bunch of Flash) достаточно сложна, поскольку такой системе помимо самих флеш-накопителей необходимы процессор, память, а также контроллер, отвечающий за интерфейс обмена данными с хост-системой. Подход Kioxia, который называется EBOF (Ethernet Bunch of Flash), обещает быть существенно проще в реализации, поскольку помимо самих накопителей требует только наличие коммутаторов Ethernet.

Чтобы создать эту платформу, всё, что потребовалось Kioxia — это, по сути, оснастить уже имеющиеся SSD-накопители контроллером Ethernet. Для этого были выбраны чипы Marvell 88SN2400 с поддержкой RDMA over Converged Ethernet (RoCE). Продукт Marvell являет собой первый в индустрии SSD-конвертер с поддержкой NVMe over Fabric. Со стороны накопителя он имеет интерфейс PCIe x4 3.0 и NVMe 1.4, со стороны сетевой части — два порта Ethernet со скоростью 25 Гбит/с и поддержкой RoCE v2 и NVMe-oF 1.1.

Первый массив Kioxia EBOF представляет собой стоечный корпус высотой 2U, могущий нести на борту 24 накопителя в форм-факторе 3,5″ и обеспечивающий совокупную пропускную способность 2,4 Тбит/с. Накопители с конвертером Marvell Kioxia (тогда ещё Toshiba Memory) анонсировала ещё два года назад, а прототипы показала летом 2019 года. Их производительность на случайных операциях достигает почти 670 тысяч IOPS — не рекорд, но цифра вполне достойная. Существуют эти SSD в вариантах ёмкостью 1,92 Тбайт, 3,84 Тбайт и 7,68 Тбайт.

Позиционируется новая система EBOF в качестве более простой и логичной замены DAS. Благодаря поддержке RoCE и NVMe, латентность обеспечивается минимальная, а совокупная производительность такого массива на случайных операциях может достигать 16 миллионов IOPS. Встроенный коммутатор на выходе имеет 6 портов Ethernet со скоростью 100 Гбит/с, так что всё, что требуется для подключения EBOF — это наличие в хост-системах соответствующего сетевого адаптера.

В небольших объемах такие массивы Kioxia уже поставляет заказчикам, сроки начала массовых поставок пока не определены. Стоит отметить, что Marvell также разработала и более высокоинтегрированное решение — 8-канальный SSD-контроллер 88SS5000, изначально имеющий поддержку 25GbE RoCE.

Аналогичное решение весной 2020 года анонсировала и Samsung. Компания так же работает над U.2 NVMe eSSD со встроенным двухпортовым 25GbE-контроллером, который поддерживает RDMA (RoCE v2/iWARP) и NVMe-oF. Но в шасси предполагается использование уже двух коммутаторов, каждый из которых имеет на выходе интерфейсы суммарной пропускной способностью 1,2 Тбит/с. Впрочем, решения обеих компаний имеют ряд ограничений, так что назвать их «мечтой» во всех сценариях нельзя.