Идея выделенного сопроцессора (Data Processing Unit, DPU), занятого исключительно задачами обслуживания подсистемы хранения данных, проста и логична: специализированный кремний работает эффективнее процессоров общего назначения и демонстрирует более высокую энергоэффективность. Одним из пионеров DPU является Fungible, о решениях которой мы неоднократно рассказывали ранее, но и других интересных разработок в этой области немало.

Wistron, крупный тайваньский производитель электронного оборудования, заключила альянс с Kalray, компанией, специализирующейся на разработке сетевых процессоров и сопроцессоров обработки данных. Плодом этого сотрудничества и стала новая система FURIO1200.

В основе FURIO1200 лежит стандартное шасси Wistron LYMMA 2U с посадочными местами для 24 накопителей NVMe, но таких решений на рынке много. Самое интересное в данном случае сосредоточено в PCIe-адаптере K200, построенном на базе сопроцессора Kalray MPPA Coolidge. Он предназначен для установки в стандартные вычислительные узлы на базе x86 и обеспечивает обслуживание флеш-массива, поддержку NVMe-oF, шифрования, а также разгрузку хост-узлов от задач, связанных с обработкой специфических данных, например, данных, полученных от систем машинного зрения.

В основе MPPA Coolidge лежит фирменная архитектура Massively Parallel Processor Array. Как следует из названия, она представляет собой массив вычислительных ядер. Сами ядра построены на базе архитектуры VLIW, требующей для достижения оптимального параллелизма тщательной оптимизации на уровне компилятора. Таких ядер в составе процессора может быть до 800, частота их работы — от 600 МГц до 1,2 ГГц. Ядра сгруппированы в кластеры, каждый кластер включает в себя 16 ядер общего назначения и 1 управляющее ядро, ответственное также за функции безопасности. На кластер приходится 4 Мбайт выделенного кеша L2 с пропускной способностью 600 Гбайт/с.

5 кластеров в составе Coolidge обеспечивают внушительную производительность: 1,15 Тфлопс на операциях FP32 и 25 Топс для INT8, что делает процессор хорошо подходящим для широкого круга задач, включая ИИ и системы машинного зрения. Имеется двухканальный контроллер DDR4-3200, а для общения с внешним миром предусмотрено 16 линий PCI Express 4.0 и два интерфейса 100GbE/RoCE v2.

Интересно, что процессор может работать как в классическом многоядерном режиме SMP, так и в асимметричном режиме, в котором каждый кластер, по сути, работает как один из 16 отдельных одноядерных ЦП. В FURIO1200 процессор на борту адаптера K200 работает на благо NVMe-oF, но также позволяет запускать пользовательские приложения, для чего в комплекте поставляется открытый SDK.

Архитектура процессора Kalray MPPA Coolidge

Наличие столь мощного сопроцессора не только обеспечивает FURIO1200 гибкость в обработке данных, но также позволяет добиться внушительных скоростных характеристик. Производительность на случайных операциях у новинки может превышать 12 млн IOPS при латентности в районе 20-50 мс, а на последовательных операциях — достигать 72 Гбайт/с.

Пока FURIO1200 является, скорее, концептом: первые небольшие партии будут доступны заказчикам в первом квартале, а массовое производство запланировано на середину года. Первые клиентские тесты начнутся в течение ближайших недель.

VAST DATA выпустила платформу хранения LightSpeed, само название которой уже намекает на высокую скорость работы. Решение построено на базе другого продукта компании — Universal Storage DASE (DisAggregated, Shared, Everything), которое было анонсировано в прошлом году. Что такого особенного в новой архитектуре и действительно ли хранилище получилось быстрым?

По словам VAST, ее универсальное хранилище (Universal Storage) — это полностью новая технология, которая использует последние технологии, такие как NVMe-over-Fabric, Storage Class Memory (SCM, в даном случае это Optane) и флеш-память QLC. Все это вместе позволяет создать полностью дезагрегированное хранилище с флеш-памятью NVMe, с масштабированием до эксабайта и с поддержкой различных рабочих нагрузок.

Основные преимущества VAST Universal Storage DASE:

• Масштабирование СХД до эксабайта и глобальное пространство имен: каждый сервер имеет доступ ко всем накопителям в кластере, устраняется необходимость в дорогостоящем ускорении операций чтения/записи на основе DRAM или в тиринге, гарантируя, что каждая операция чтения/записи будет выполняться на быстрых накопителях NVMe.
• Серверы слабо связаны в архитектуре VAST и могут масштабироваться почти до бесконечности, потому что им не нужно координировать операции ввода-вывода друг с другом и они не обрабатывают межкластерное взаимодействие, что обычно является основной трудностью в масштабировании систем хранения. Серверы VAST можно поместить в контейнеры и встроить в серверы приложений, чтобы обеспечить производительность NVMe-oF на каждом хосте;
• Глобальная трансляция QLC: архитектура VAST DASE оптимизирована для записи на недорогие носители QLC, позволяет увеличить их долговечность до 10 лет, за счет применения новых методов размещения данных, с использованием большого буфера записи SCM;
• Глобальная защита данных: компромисс между затратами на защиту данных и отказоустойчивостью системы достигается за счет новых алгоритмов, которые при большом количестве узлов обеспечивают накладные расходы в 2% (по сравнению с 33-66% для традиционных систем);
• Глобальное сжатие: VAST применяет собственные разработки для сжатия данных, которое может быть как глобальным, так и побайтовым. Система обнаруживает и использует шаблоны схожести данных в глобальном пространстве имен на уровне детализации, который в 4 000 – 128 000 раз меньше, чем современные подходы к дедупликации. Конечным результатом является система, которая реализует эффективные алгоритмы сжатия для всех видов данных, без ущерба для скорости доступа.

По заявлению VAST, новые платформы LightSpeed NMVe обеспечивают вдвое большую пропускную способность, чем системы предыдущего поколения.

Кластеры VAST LightSpeed доступны в трех вариантах конфигурации:

• 2 узла LightSpeed, обеспечивающие пропускную способность 80 Гбайт/с, с использованием 32 GPU;
• 5 узлов (Pentagon), обеспечивающие пропускную способность 200 Гбайт/с, с использованием 80 GPU;
• 10 узлов (Decagon), обеспечивающие пропускную способность 400 Гбайт/с, с использованием 160 GPU.

VAST в настоящее время сотрудничает с NVIDIA, чтобы использовать технологию NVIDIA GPU Direct Storage, что позволит получить значительный прирост в производительности для операций ввода/вывода.

На Flash Memory Summit ветеран индустрии Говард Маркс (Howard Marks), ныне работающий в VAST Data, представил традиционный доклад о текущем состоянии сектора корпоративных хранилищ, в котором отметил текущие достижения и тенденции.

Менее чем за полтора десятка лет flash-память в корпоративном секторе превратилось из экзотичного нишевого решения стоимостью как самолёт в массовый продукт. IDC в начале этого года отрапортовала о доминировании all-flash решений над гибридными, а Gartner перестал в некоторых отчётах выделять flash-хранилища в отдельный сегмент, приписав их СХД общего назначения. Кроме того, стали, наконец, появляться относительно дешёвые и доступные all-flash хранилища.

Стоимость гигабайта flash-памяти стремительно снижалась, хотя и неравномерно. Современные дешёвые SSD на базе QLC (в пример приводится первый QLC-диск Micron ION 5210) менее чем в 4 раза дороже современных же HDD. При этом «дорогие» и высокопроизводительные жёсткие диски 10K/15K RPM окончательно заброшены всем производителями. Nearline-накопители растут в объёме, но теряют в скорости работы и IOPS, тогда как на рынке уже появились SSD, обогнавшие их по ёмкости. И, к примеру, последняя новинка Nimbus, ExaDrive NL, стремится к удешевлению (3,5”, 64 Тбайт QLC, но только SATA/SAS).

При этом сами flash-накопители теперь заметно дифференцированы. В корпоративном секторе дорогие, быстрые и надёжные двухпортовые накопители дополняются более простыми и дешёвыми однопортовыми (даже с SATA), а у гиперскейлеров вообще свои требования — больше ёмкости за меньшую цену и никаких излишеств — QLC без SLC-кеша и минимальный DRAM-кеш. Особняком стоит SCM (Storage Class Memory), находящаяся между обычными SSD и DRAM, сочетая преимущества и недостатки обоих типов памяти. Фактически на рынке есть только 3D XPoint, причём массово лишь от Intel, которая потихоньку избавляется от NAND-бизнеса.

Конкуренцию ей могли бы составить (но по факту это не совсем так) Samsung Z-SSD или Toshiba XL-Flash, которые на самом деле являются ещё одной вариацией SLC NAND (быстрой, но дорогой) и опять таки наследуют всё её преимущества и недостатки, из-за чего, к примеру, реальной заменой той же Optane DCPMM (теперь уже PMem) они не являются. Из прочих альтернативных технологий памяти докладчик отмечает только STT-MRAM от Everspin, которая используется как замена DRAM-кеша в SSD.

Ну а массовой, по-видимому, в силу дешевизны со временем станет QLC-память. Причём в сочетании с различными техниками, которые могут нивелировать её минусы в отношении скорости и ресурса. В частности, использование большого промежуточного кеша из DRAM или 3D XPoint позволит переупорядочить данные перед записью в ячейки, а дедупликация и сжатие к тому же помогут приблизить стоимость хранения к HDD. Зонирование и управление со стороны хоста тоже будут этому способствовать. Из подобных систем докладчик отмечает решение «родной» компании VAST Data, Pure Storage FlashArray//C и новые NetApp FAS500f — все с NVMe-накопителями, а первые два ещё и с NVMe-oF.

И именно NVMe-oF станет следующим большим шагом в развитии индустрии хранения данных. Неслучайно его поддержка включена в базовый набор спецификацией NVMe 2.0. «Классические» SAN (на базе FC, например), по мнению инженера HPE, участвующего в разработке нового стандарта для обнаружения и настройки NVMe-пулов в сети (mDNS + DNS-SD), останутся только локально, а в остальных сферах и дальше будет развивать дезагрегация, так что в будущем вполне можно будет подключиться к облачному NVMe-хранилища в рамках гибридного облака.

Массивы хранения смогут быть отделены от контроллеров, которых может быть сразу много, и от потребителей. Особую роль в этом могут сыграть DPU, рынок которых только зарождается. Они могут просто взять на себя часть задачи по обработке и передаче данных, но и могут поменять сам ландшафт СХД. Наличие root-комплекса в таких устройствах позволит избавиться от CPU в принципе — сейчас они заняты и обработкой данных (всё те же сжатие и дедупликация), и дают линии PCIe, которые нужны и накопителям, и сетевым адаптерам. И пропускной способности, во всяком случае для типовых x16, может не хватать для быстрых адаптеров и одновременно большого числа накопителей.

Сами накопители тоже будут меняться. U.2 становится менее популярным, а из новых форм-факторов победу одержал стандарт EDSFF, вытеснив альтернативный NF1. EDSFF актуален в первую очередь для гиперскейлеров, но, похоже, корпоративные системы к нему тоже будут обращаться. «Длинная» версия E1.L подойдёт для плотных СХД, и уже есть решения, вмещающие 1 Пбайт в 1U. Есть и альтернативный форм-фактор E3.S. E1.S доступен в «тонкой» (5,9 мм) и «толстой» (до 25 мм) версиях. Первая предлагает более высокую плотность, вторая — более высокую производительность, но при этом низкие требования к охлаждению.

M.2 тоже будет использоваться, но скорее в качестве локального (или загрузочного) хранилища. А в рамках OCP оба малых форм-фактора используются не только для накопителей, но и для некоторых ускорителей, причём есть варианты и со сдвоенными слотами. Впрочем, это уже вотчина гиперскейлеров, у которых, как и было сказано ранее, особые требования. Facebook, HPE и Microsoft вместе с другими компаниями сейчас разрабатывают новый, единый стандарт облачных SSD, свежий релиз которого выйдет в декабре. Впрочем, как на самом деле будет развиваться flash и индустрия хранения данных, покажет время, и приведённые здесь тенденции и явления могут быть скорректированы.

В рамках Flash Memory Summit 2020 компания Intel рассказала о будущем стандарте NVMe 2.0, который всё ещё находится в разработке. Пожалуй, ключевое изменение в том, что новый стандарт больше не фокусируется на работе с блочными устройствами, подключённым к PCI Express, а значительно расширяет сферу применения NVMe.

В NVMe 2.0 будет небольшое перераспределение стандартов. Для базовой спецификации обязательной станет поддержка NVMe-oF. Отдельно будут прописаны спецификации для различных наборов команд ввода-вывода и обмена данными: базовые команды, поддержка зонирования (Zoned Namespace) и новый набор Key-Value. Для интерфейсов управления также будет своя спецификация NVMe-MI. Наконец, транспортный уровень будет поделен между PCIe, RDMA и TCP.

Новые наборы команд позволяют работать с накопителем не только как с обычным блочным устройством. Про зонирование мы уже рассказывали подробнее в материале об Ultrastar DC ZN540, первом накопителе от Western Digital, который поддерживает эту технологию. Набор команд Key-Value ещё более абстрагирован от конкретной технологии хранения и предоставляет удобный интерфейс для работы с неструктурированными данными. Все эти технологии в той или иной мере уже используются.

В дальнейшие обновлениях, которые должны попасть в NVMe 2.0, упор будет, в частности, сделано на расширение возможностей телеметрии, логирования и управления для накопителей. Отдельно внимание уделено концепции computational storage (вычислительные накопители с выделенным процессором для обработки хранимых данных). Дальнейшее развитие получит и зонирование. Кроме того, теперь уже прямо говорится о возможной поддержке жёстких дисков рамках нового стандарта.

Таким образом, NVMe стремится стать «единым окном» для любого хранилища и выйти далеко за пределы отдельного сервера или СХД, автоматически создавая, обнаруживая и настраивая различные пулы хранения данных на базе разных носителей с поддержкой приоритизации, многоканального подключения, единого управления и мониторинга. При этом покрывая клиентские, облачные и корпоративные систем и сохраняя обратную совместимость с уже развёрнутыми решениями.

Так или иначе практически вышеописанные концепции уже существуют, прорабатываются или используются, пусть и в разрозненном виде. NVMe-oF никого не удивить, «вычислительные» накопители оформились в готовые продукты, у Samsung есть проекты Key-Value SSD, а также E-SSD с интегрированным Ethernet, как EBOF от Kioxia (и там, и там NVMe-oF пока с RDMA с прицелом на переход к TCP-транспорту). И даже концепция HDD с NVMe-интерфейсом уже не нова.

Концепция DPU, так называемого «сопроцессора данных», разрабатываемая компанией Fungible, уже описывалась нами ранее. Новый тип процессоров должен, по мнению разработчиков, взять на себя все задачи по работе с системой хранения данных. Сейчас Fungible перешла от теории и опытных моделей к практике — компания представила первый в мире сервер хранения данных на базе DPU, который и должен ознаменовать начало новой революции в мире ЦОД.

Согласно концепции Fungible, DPU должен лечь в основу вычислительных систем нового поколения в качестве центрального, связующего между собой все компоненты звена. Все вычисления, связанные с сохранением, чтением, сжатием и декомпрессией данных этот новый тип процессора берёт на себя. Кроме того, система на основе DPU изначально задумана, как модульная, компоненты в ней связываются между собой посредством стандартных средств Ethernet и NVMe-over-TCP. В своём первом массовом продукте, сервере Fungible FS1600, эта модульность реализована в полной мере.

Новый тип вычислительных систем содержит три основных компонента: это традиционные вычислительные узлы, серверы FS1600 для хранения и работы с данными и узел управления Fungible Composer, служащий для управления и отслеживания параметров всей системы. Последний реализован на базе обычного сервера с архитектурой x86, однако основная новинка, FS1600, в корне отличается от традиционных СХД.

Сервер Fungible FS1600 выполнен в стандартном стоечном корпусе высотой 2U, в передней части этого корпуса расположены 24 слота горячей замены для NVMe SSD. 24 накопителя разделены на два блока, каждый из которых обслуживается своим процессором DPU и имеет по 6 интерфейсов 100GbE. Один такой сервер способен развивать производительность на уровне 15 млн IOPS при максимальном объёме 576 Тбайт и задержке не выше 110 мкс. Также он способен на лету (де-)компрессировать данные со скоростью до 100 Гбайт/с (GZIP, DEFLATE, ZLIB, LZMA).

Для сравнения, классические флеш-массивы такого же формата развивают всего 2-3 млн IOPS. Полная же стойка на базе FS1600 может достигать и 300 млн IOPS. При этом Fungible заявляет, что её система на базе DPU позволяет снизить стоимость развёртывания 1 Пбайт данных в пять раз в сравнении с обычными гиперконвергентными системами хранения данных. Достигается это за счёт более высокой эффективности использования ресурсов флеш-памяти, включая уменьшенный объём избыточных данных.

Fungible FS1600 предлагается в трёх вариантах, различающихся объёмами установленных флеш-накопителей и общим уровнем производительности:

• Fast — 7,6 Тбайт SSD, 81 IOPS на Гбайт, 236 Мбайт/с на Гбайт;
• Super Fast — 7,6 Тбайт SSD, 163 IOPS на Гбайт, 651 Мбайт/с на Гбайт;
• Extreme — 7,6 Тбайт SSD, 326 IOPS на Гбайт, 1302 Мбайт/с на Гбайт.

Поддержка SSD объёмом от 15 Тбайт ожидается позднее. Тогда же будет реализована поддержка дедупликации, снапшотов и NVMe over RoCE. Также компания планирует выпустить и ускорители на базе DPU для обычных серверов. Согласно планам, такие ускорители должны оказаться быстрее технологии GPUDirect, разработанной NVIDIA. В качестве системы интерконнекта Fungible хочет использовать новую сетевую среду TrueFabric. В настоящее время данная технология находится в процессе активной разработки.

В качестве основных партнёров и заказчиков Fungible видит достаточно крупных облачных операторов второго эшелона, к которым компания относит, например, Dropbox и Uber. За счёт технологии DPU они смогут получить прирост производительности своих решений в 2-4 раза в сравнении с аналогичными предложениями AWS и Google Cloud. Тем менее, в инфраструктуру крупных гиперскейлеров Fungible тоже надеется попасть, а вот системы корпоративного класса она пока обходит стороной.

Идея дезагрегации находит всё более активный отклик в умах разработчиков серверного оборудования и инфраструктуры для ЦОД. В частности, всё более популярной становится концепция хранения данных с использованием NVMe over Fabrics, поскольку она позволяет упростить архитектуру ЦОД и даже существенно снизить инфраструктурную стоимость владения. Именно по этому пути собирается пойти Intel, подписавшая договор о сотрудничестве с Lightbits Labs.

Популярность дезагрегированных систем хранения данных объясняется просто: архитектура ЦОД с отдельной программно определяемой системой хранения данных становится стройнее, нежели в случае, когда каждый сервер имеет свои закрытые дисковые подсистемы, которые всё равно требуется синхронизировать по сети. К тому же, обеспечить постоянный и при этом высокий уровень производительности в первом случае обеспечивать гораздо проще. Ход Intel вполне объясним: многие разработчики СХД сейчас активно сотрудничают с разработчиками программно-определяемых хранилищ или даже приобретают соответствующие активы.

А Lightbits Labs — не последнее имя среди создателей подобного рода программных комплексов, к тому же, она является пионером в области освоения NVMe/TCP — логического завершения идеи NVMe over Fabrics. Об этой концепции мы недавно рассказывали в заметке про Ethernet Bunch of Flash, представленный Kioxia, но речь шла об аппаратной составляющей, в то время, как Lightbits Labs занимается частью программной — и уже имеет в портфолио полноценную операционную систему LightOS, предназначенную специально для обслуживания пулов NVMe/TCP.

Хранилища на базе LightOS могут использовать ускорители на базе FPGA

LightOS 2.0, представленная летом этого года, позволяет масштабировать вычислительную и накопительную подсистемы ЦОД независимо друг от друга. Она полностью поддерживает виртуальные тома NVMe и снабжена средствами интеграции с Kubernetes. В LightOS 2.0 реализована защита от сбоев на уровне NVMe-oF 1.1 multipathing, полностью прозрачная для клиентов система умеет автоматически оптимизироваться с учётом особенностей различных сценариев и комплексов баз данных. Кроме того, разработчик позаботился и о повышении надёжности при использовании флеш-массивов на базе дешёвой памяти QLC NAND.

В рамках сотрудничества Lightbits Labs собирается расширить и оптимизировать свою операционную систему с учётом технологий Intel, таких как процессоры Xeon Scalable последнего поколения, умные сетевые адаптеры Intel Ethernet 800, FPGA-ускорители Agilex, накопители Optane и новые серверные SSD Intel на базе многослойной QLC последнего поколения. Особенно важны тут сетевые адаптеры: серия 800 поддерживает технологию Application Device Queues (ADQ), которая позволяет хранилищам типа NVMe/TCP демонстрировать показатели такого же уровня, как и при использовании иных средств RDMA.

Lightbits SuperSSD: уже имеющееся решение на базе NVMe/TCP

Подробнее о LightOS можно узнать на сайте компании-разработчика. Сочетание продуктов Intel и  Lightbits Labs поможет сделать ЦОД нового поколения масштабируемыми, но при этом не переусложнёнными архитектурно и аппаратно, что благотворно скажется на стоимости владения.

Как правило, даже платформа типа JBOF (Just a Bunch of Flash) достаточно сложна, поскольку такой системе помимо самих флеш-накопителей необходимы процессор, память, а также контроллер, отвечающий за интерфейс обмена данными с хост-системой. Подход Kioxia, который называется EBOF (Ethernet Bunch of Flash), обещает быть существенно проще в реализации, поскольку помимо самих накопителей требует только наличие коммутаторов Ethernet.

Чтобы создать эту платформу, всё, что потребовалось Kioxia — это, по сути, оснастить уже имеющиеся SSD-накопители контроллером Ethernet. Для этого были выбраны чипы Marvell 88SN2400 с поддержкой RDMA over Converged Ethernet (RoCE). Продукт Marvell являет собой первый в индустрии SSD-конвертер с поддержкой NVMe over Fabric. Со стороны накопителя он имеет интерфейс PCIe x4 3.0 и NVMe 1.4, со стороны сетевой части — два порта Ethernet со скоростью 25 Гбит/с и поддержкой RoCE v2 и NVMe-oF 1.1.

Первый массив Kioxia EBOF представляет собой стоечный корпус высотой 2U, могущий нести на борту 24 накопителя в форм-факторе 3,5″ и обеспечивающий совокупную пропускную способность 2,4 Тбит/с. Накопители с конвертером Marvell Kioxia (тогда ещё Toshiba Memory) анонсировала ещё два года назад, а прототипы показала летом 2019 года. Их производительность на случайных операциях достигает почти 670 тысяч IOPS — не рекорд, но цифра вполне достойная. Существуют эти SSD в вариантах ёмкостью 1,92 Тбайт, 3,84 Тбайт и 7,68 Тбайт.

Позиционируется новая система EBOF в качестве более простой и логичной замены DAS. Благодаря поддержке RoCE и NVMe, латентность обеспечивается минимальная, а совокупная производительность такого массива на случайных операциях может достигать 16 миллионов IOPS. Встроенный коммутатор на выходе имеет 6 портов Ethernet со скоростью 100 Гбит/с, так что всё, что требуется для подключения EBOF — это наличие в хост-системах соответствующего сетевого адаптера.

В небольших объемах такие массивы Kioxia уже поставляет заказчикам, сроки начала массовых поставок пока не определены. Стоит отметить, что Marvell также разработала и более высокоинтегрированное решение — 8-канальный SSD-контроллер 88SS5000, изначально имеющий поддержку 25GbE RoCE.

Аналогичное решение весной 2020 года анонсировала и Samsung. Компания так же работает над U.2 NVMe eSSD со встроенным двухпортовым 25GbE-контроллером, который поддерживает RDMA (RoCE v2/iWARP) и NVMe-oF. Но в шасси предполагается использование уже двух коммутаторов, каждый из которых имеет на выходе интерфейсы суммарной пропускной способностью 1,2 Тбит/с. Впрочем, решения обеих компаний имеют ряд ограничений, так что назвать их «мечтой» во всех сценариях нельзя.

NVMe™ — это не только современный протокол, но и фундамент для IT инфраструктуры следующего поколения. Велика вероятность, что в будущем NVMe у вас будет сквозным, однако, в этом контексте возникает несколько вопросов, например, когда это будущее настанет и каким должен быть ваш первый шаг в его направлении?

Судя по новым решениям, выходящим на рынок, время воспользоваться всеми преимуществами NVMe и выжать максимум из NVMe-oF™ уже пришло, и тому есть пять причин.

Надеть на пробежку лыжные ботинки вместо спортивных шиповок — это плохая идея

Протокол NVMe сам по себе — это новая эпоха в производительности. Скорость хранилища на флеше всегда была выше, чем у жестких дисков, но в условиях типового ЦОД интерфейс не позволял пользоваться ею в полном объеме. SAS и SATA были удобными протоколами на начальном этапе, поскольку позволяли использовать SSD в инфраструктуре, созданной для жестких дисов. Но эти разработанные для жестких дисков интерфейсы оказались попросту неспособны справиться с рабочими характеристиками флеш-хранилища. Это все равно что попросить спринтера-олимпийца выйти на стометровку в лыжных ботинках.

Следующим шагом стало внедрение интерфейса NVMe для SSD-накопителей. Разработанный специально для флеша, он привнес в нашу жизнь повышенную пропускную способность, эффективность и поддержку параллельной обработки данных, позволив извлечь максимальную выгоду из присущей NAND малой задержки.

SSD-накопители с поддержкой NVMe постоянно модернизируются, и стандарт регулярно насыщается новыми функциями и спецификациями (например, зональные пространства имен (ZNS)). Наш последний Ultrastar® DC SN840 — это решение третьего поколения с вертикально интегрированным контроллером NVMe собственного производства, собственным микрокодом и 96-слойной флеш-памятью 3D TLC NAND. Это решение направлено в будущее: низкое значение задержки и высокая доступность двух портов позволяет вам использовать его для новых информационно-емких приложений.

NVMe-oF: рабочие характеристики NVMe теперь и за пределами сервера

Хотя в условиях ЦОД NVMe SSD-накопители прекрасно справляются со своей задачей по ускорению рабочих нагрузок сервера, есть одна проблема. Чтобы полностью использовать скорость NVMe, SSD-накопитель должен находиться на шине PCIe, рядом с процессорами. Шину PCIe невозможно расширить за пределы сервера, и даже если каждый сервер в отдельности ускорить можно, в результате это приведет к возникновению мини-«башен» или «силосов» из SSD-накопителей, которые будет нелегко поделить между хостами.

В дело вступает NVMe-over-Fabrics (кратко — NVMe-oF), знаменуя собой следующий шаг в развитии инфраструктуры ЦОД. NVMe-oF позволяет обеспечивать общий доступ к СХД на NVMe для нескольких хостов, и параметры работы при этом будут сравнимы с локально привязанными SSD-накопителями.

Насколько быстро это все работает? Сегодня мы объявили не только о выходе наших новых корпоративных SSD-накопителей Ultrastar® DC SN840 с поддержкой NVMe, но и о запуске платформы хранения OpenFlex™ Data24 с поддержкой NVMe-oF, собранной полностью на дисковых полках JBOF (Just a Bunch of Flash — просто пачка флеш-дисков) с NVMe. Наша платформа хранения Ultrastar 2U24 на флеше с SAS-интерфейсом всегда считалась очень быстрой: 4,7 млн IOPS, полоса пропускания 25 ГБ/с и задержка меньше миллисекунды. И хотя полный цикл испытаний и проверка рабочих характеристик OpenFlex Data24 пока не закончены, первые полученные значения очень впечатляют. Проведенные нами лабораторные тесты свидетельствуют о том, что производительность должна быть около 13,2 млн IOPS, полоса пропускания — 70,7 ГБ/с, а задержка записи — ничтожно малые 42 микросекунды. Именно в этом состоит мощь технологии NVMe при ее использовании в хранилище, к которому можно дать доступ нескольким хостам.

NVMe-oF позволяет обеспечить скорость NVMe-хранилища даже при работе с несколькими хостами

Быстрее или дешевле? Такой вопрос теперь не стоит

Мы привыкли, что за дополнительную производительность нужно платить. Но с помощью OpenFlex Data24 эта парадигма уходит в прошлое. Технология NVMe-oF не просто поддерживает значительно более интенсивные рабочие нагрузки, требующие высокой производительности, она еще и обходится дешевле. По факту мы ожидаем сокращения расходов на 17% по сравнению с дисковыми полками с SAS-интерфейсом. Отправная точка для этого — использованная нами вертикальная интеграция и философия «от чипа до интеграции». Я уже упоминал, что новые SSD-накопители вертикально интегрированы — от сырой флеш-памяти NAND до контроллера и собственного микрокода, а платформа OpenFlex Data24 вообще полностью разработана нашими силами, включая контроллеры RapidFlex™ с поддержкой NVMe-oF и интегральные схемы специального назначения (ASICs).

Простое внедрение благодаря передовым вариантам подключения

Общие хранилища, в которых доступ к ресурсам предоставлен нескольким серверам сразу, достаточно часто построены на дисковых полках JBOF. При таком подходе объем хранилища может выделяться или перераспределяться сообразно потребностям приложений, и сложность организации такого общего использования бывает разной.

OpenFlex Data24 представляет собой дисковую полку в форм-факторе 2U, рассчитанную на размещение до 24 NVMe SSD-накопителей DC SN840 с сырой емкостью до 368 Тбайт. Кроме того, на нее можно установить до шести контроллеров RapidFlex NVMe-oF. Использование таких контроллеров дает целый ряд преимуществ с точки зрения возможностей подключения, в том числе крайне низкое значение задержки, поддержка Ethernet на 100 Гбит (первоклассная скорость, которой вы можете в полной мере воспользоваться уже сейчас) и низкое энергопотребление.

До шести хостов можно подключить напрямую, без коммутатора, но весь спектр возможностей подключения раскрывается при использовании сетевой топологии на основе коммутаторов (так называемой «коммутационной фабрики» или switched fabric), которая позволяет обеспечить более высокую гибкость и максимальное использование.

Ваш первый шаг к построению компонуемости

Вся отрасль стремится к повышению эффективности, и единым вектором развития для достижения этой цели стала компонуемая дезагрегированная инфраструктура. Для нас это часть более широкой философии, описывающей инфраструктуру хранения и обработки данных завтрашнего дня. Она должна быть не просто компонуемой, а интероперабельной. Сама по себе OpenFlex Data24 совместима с Open Composable API и может быть реализована как часть компонуемой дезагрегированной инфраструктуры.

Кроме того, совместно с другими лидерами отрасти мы основали Лабораторию открытой компонуемости и совместимости (Open ComposableCompatibility Lab — OCCL), основной целью которой является расширение использования принципов компонуемости и совместимости и продвижение интероперабельности в рамках всей экосистемы привязанных к фабрике устройств. Вы также можете присоединиться к этой инициативе, вся информация доступна на сайте opencomposable.com. Если вы хотите получить более подробную информацию о решениях Western Digital, заполните форму выше.

От NVMe к NVMe-oF: время пришло

Платформа OpenFlex Data24, ее архитектура NVMe-oF и NVMe SSD-накопители Ultrastar DC SN840 — это прекрасные аргументы в пользу того, что пришло время для следующей модернизации вашего оборудования и оптимизации расходов и эффективности за счет распределения новых SSD-накопителей и, соответственно, инвестиций на их покупку на несколько серверов. Пора скинуть неудобные лыжные ботинки и отправиться на пробежку в новых быстрых кроссовках.

Рассматриваете возможность внедрения технологии NVMe-oF? Обратите внимание на эти полезные ресурсы:

• Вебинар: «Все, что нужно знать о платформе хранения OpenFlex™ Data24 NVMe-oF™»
• Статьи в блоге: Как технология NVMe-oF™ помогает развитию бизнеса
• Исследования показывают, что сквозной NVMe™ — это ваше будущее
• Изучите нашу линейку SSD-накопителей с поддержкой NVMe
• Прочитайте краткое описание OpenFlex
• Ознакомьтесь с преимуществами RapidFlex A1000

Dell добавила графические ускорители, FPGA и хранилище NVMe в свою систему MX7000. Такое обновление делает MX7000 хорошим вариантом для приложений с интенсивным использованием данных: искусственный интеллект, машинное обучение и аналитика. Dell упомянула об интеграции с Liqid, производителем программно определяемой компонуемой инфраструктуры.

Blocks & Files

NVMe становится доминирующим стандартом для создания хранилищ на базе высокопроизводительных SSD, вне зависимости от реализации — напрямую ли через PCIe или посредством NVMe-oF. MX7000 использует для объединения ресурсов Ethernet и Fibre Channel, но графическим ускорителям обычно требуется NVMe и PCIe для передачи данных к GPU. Тут на помощь и приходит Liqid, которая предоставляет готовое шасси для добавления в систему 20 полноразмерных графических ускорителей или FPGA, а также NVMe-накопителей. Адаптеры PCIe 3.0 x4 связывают платформу MX7000 с модулями расширения Liqid.

Blocks & Files

Dell сообщает, что программное обеспечение Liqid Command Center позволяет динамически выделять графические процессоры вычислительным модулям MX, причем поддерживается горячая замена графических ускорителей. Cамо же шасси MX7000 управляется ПО Dell OpenManage Enterprise Modular Edition, и такое «двоевластие» в системе может быть не слишком удобным.

Мы уже рассказывали о СХД WD OpenFlex E3000. Эти системы характеризуются уникальным форм-фактором, в рамках которого каждый твердотельный модуль имеет ёмкость до 61,4 Тбайт и поддержку NVMe-over-Fabrics. А сейчас WD представила пополнение семейства — модуль F3200, пришедший на смену серии F3000.

Шасси WD OpenFlex E3000 и модуль F3200 (сверху)

Составные системы хранения данных WD OpenFlex состоят из шасси E3000 и модулей F3x00; наибольший интерес представляют именно модули. Как правило, в современных флеш-СХД массово используются накопители стандартных форм-факторов: SATA/SAS, U.2 или линеечные EDSFF. Все они достаточно компактны. Но в OpenFlex накопителем является более крупный модуль, который, впрочем, также можно отнести к «линеечным».

В отличие от традиционных SSD, такой модуль сразу оснащается парой портов QSFP28 для 50GbE-подключений к сети. Линейная производительность при этом составляет до 12 Гбайт/с, а ёмкость варьируется от 12,8 до 61,4 Тбайт. В шасси таких «дисков» может устанавливаться до десяти.

Немного позднее модель F3000 сменилась более новой F3100, которая смогла похвастаться скоростями случайных операций до 2,1 млн IOPS при задержке, не превышающей 48 мкс. В ней компания перешла на использование 96-слойной памяти 3D TLC NAND. Новейшая модель F3200, представленная сейчас, не изменилась с точки зрения ёмкости, потолок всё так же составляет 61,4 Тбайт. Однако над скоростными показателями WD поработала: производительность на случайных операциях выросла на 48%, на линейных скорость записи увеличилась на 22%.

Доступные варианты накопителей WD OpenFlex 3200

А вот надёжность даже несколько снизилась: если ранее серия делилась на модели с выносливостью 1 DWPD и 3 DWPD, то теперь наиболее ёмкая модель гарантирует всего 0,8 DWPD, хотя есть варианты F3200 и выдерживающие две полные перезаписи в день в течение гарантийного срока.

Интерфейс не изменился, это всё так же пара портов 50GbE с поддержкой NVMe-oF и RoCE (RDMA over Converged Ethernet), но обновилось программное обеспечение: появилась поддержка VLAN tagging, secure erase, расширенного пространства имён NVMe. Поддерживается набор открытых API Open Composable, за счёт чего обеспечивается полноценный мониторинг и удалённое управление системой хранения данных.

Стоимость самого ёмкого модуля F3200 в серии составляет почти $32 тысячи, а младшую, но самую быструю по времени отклика модель объёмом 12,8 Тбайт можно приобрести и за $13,8 тысяч. Подробности можно узнать на сайте Western Digital.

Также напомним, что в рамках обновления ИТ-инфраструктуры платформа WD OpenFlex будет использоваться в Международном центре исследований головного и спинного мозга, который располагается в Париже: объёмы данных в современных нейрофизиологических исследованиях огромны и сочетание скорости и ёмкости WD OpenFlex придётся здесь как нельзя более к месту.