По мере внедрения новых версий PCI Express растут и линейные скорости SSD. Не столь давно 3-4 Гбайт/с было рекордно высоким показателем, но разработчики уже штурмуют вершины за пределами 10 Гбайт/с. Компания Kioxia, крупный производитель флеш-памяти и устройств на её основе, объявила на конференции 2023 China Flash Market о новом поколении серверных накопителей, способных читать данные со скоростью 13,5 Гбайт/с.

Новые высокоскоростные SSD будут построены на базе технологии XL-FLASH второго поколения. Первое поколение этих чипов компания (тогда Toshiba) представила ещё в 2019 году. В основе лежат наработки по BiCS 3D в однобитовом варианте, что позволяет устройствам на базе этой памяти занимать нишу Storage Class Memory (SCM) и служить заменой ушедшей с рынка технологии Intel Optane.

Источник здесь и далее: Twitter@9550pro

Как уже сообщалось ранее, XL-FLASH второго поколения использует двухбитовый режим MLC, но в любом случае новые SSD Kioxia в полной мере раскроют потенциал PCI Express 5.0. Они не только смогут читать данные на скорости 13,5 Гбайт/с и записывать их на скорости 9,7 Гбайт/с, но и обеспечат высокую производительность на случайных операциях: до 3 млн IOPS при чтении и 1,06 млн IOPS при записи. Время отклика для операций чтения заявлено на уровне 27 мкс, против 29 мкс у XL-FLASH первого поколения.

Kioxia полагает, что PCI Express 5.0 и CXL 1.x станут стандартами для серверных флеш-платформ класса SCM надолго — господство этих интерфейсов продлится минимум до конца 2025 года, лишь в 2026 году следует ожидать появления первых решений с поддержкой PCI Express 6.0. Активный переход на более новую версию CXL ожидается в течение 2025 года. Пока неизвестно, как планирует ответить на активность Kioxia другой крупный производитель флеш-памяти, Samsung Electronics, которая также располагает высокопроизводительной разновидностью NAND под названием Z-NAND.

В связи с активным развитием всевозможных ускорителей и новых подходов к работе с памятью острее встаёт вопрос стандартизации процедур перемещения крупных объёмов данных между подобными устройствами. Консорциум SNIA предлагает в качестве решения новый стандарт Smart Data Accelerator Interface (SDXI), призванный заменить устоявшиеся методы работы с памятью, равно как и всевозможные проприетарные DMA-движки.

На днях SNIA опубликовала первые «чистовые» спецификации SDXI, имеющие версию 1.0. В них описывается следующий набор возможностей:

• Перемещение данных между разными адресными пространствами, включая пространства нескольких ВМ;
• Перемещение данных после установления соединения без использования специфического ПО;
• Интерфейс и инфраструктуру, которые могут быть абстрагированы для обеспечения лучшей совместимости различных нагрузок, ВМ и серверов;
• Возможность управления состоянием адресных пространств для «живой» миграции рабочих нагрузок и ВМ между серверами;
• Механизм обеспечения прямой и обратной совместимости для будущих ревизий SDXI;
• Поддержку совместной работы ПО и оборудования, разработанных с учётом разных версий SDXI;
• Возможность внедрения новых механизмов ускорения и разгрузки в будущем;
• Модель конкурентного прямого доступа к памяти с поддержкой параллелизма;
• Описание модели устройства с интерфейсом PCIe с возможностью его расширения на другие модели устройств.

Также следует отметить, что SDXI изначально разрабатывается, как технология, не зависящая от конкретных технологий интерконнекта, но изначально во многом подразумевается использование CXL.

SDXI упрощает процедуру перемещения содержимого памяти и поддерживает многоуровневые пулы (Изображения: SNIA)

Поддержка DMA гарантирует высокую производительность механизмов SDXI

Стандарт SDXI находится в разработке с сентября 2020 года. Первая публичная предварительная версия за номером 0.9 была опубликована в июле 2021. В настоящее время в состав рабочей группы SNIA SDXI Technical Work Group входят представители 23 компаний. Со спецификациями SDXI 1.0 можно ознакомиться в соответствующем разделе сайта SNIA.

Несмотря на то, что страница истории, посвящённая созданию энергонезависимой памяти Optane, официально закрыта Intel, третье поколение модулей DCPMM всё-таки увидит свет и дополнит собой платформы Sapphire Rapids и Emerald Rapids (если к этому моменту они останутся в наличии). Об этом стало известно благодаря слайду, опубликованному в Twitter. Несмотря на принадлежность модулей PMem 300 (Crow Pass) к третьему поколению, в них испоьзуются кристаллы второго поколения, четырёхслойные Barlow Pass.

В Crow Pass применён новый контроллер Crow Valley с интерфейсом DDR-T2. Этот интерфейс позволяет создавать пулы Optane PMem объёмом до 4 Тбайт на сокет (8 × 512 Гбайт). Кроме того, DDR-T2 шина функционирует на вдвое более высокой частоте, нежели у ячеек памяти. И если PMem 200 предлагали интерфейс 3200 МТ/с, то в PMem 300 будут реализованы скорости 4000-4400 МТ/с, что более-менее соответствует параметрам модулей DDR5 DRAM, которые в серверных системах обычно имеют скорость 4800 МТ/с.

Источник: Twitter/9550pro

Соответствующим образом возрастёт производительность. Данные приводятся для режима 2RW1 (две операции чтения на одну операцию записи), и если первое поколение PMem ограничивается 4 Гбайт/с, а второе останавливается на отметке 4,83 Гбайт/с, то третье сможет развивать линейные скорости в районе 6 Гбайт/с. Ещё сильнее вырастет производительность в случайных операциях, с 1–1,2 Гбайт/с до 3 Гбайт/с.

Кроме того, в Crow Pass будут дополнены протоколы сохранения данных в случае потери питания — в дополнение к обычному режиму ADR появится FastADR. Как и предыдущие поколения PMem, Optane PMem 300 смогут работать в режиме App Direct, в качестве дополнения обычной DRAM и в смешанном режиме. Теплопакет у новинок, к слову, не изменился и составляет те же 15 Вт с возможностью кратковременного увеличения для повышения производительности, если есть запас по охлаждению.

На днях Intel устроила похороны Optane — быстрая, но не слишком технологичная в производстве память обошлась «синим» в полмиллиарда долларов убытков. Однако Optane хоть и был самым заметным и распространённым представителем SCM-решений (Storage Class Memory), но всё же не единственным. Вслед за Optane на рынок вышли Samsung Z-SSD, всё ещё крайне редкие.

Тем не менее, накопители с подобными характеристиками востребованы и рынок, как и природа, не терпит пустоты: сразу две компании, Kioxia и Everspin Technologies объявили о выпуске новых продуктов, способных заменить решения на базе 3D XPoint. Это XL-Flash и STT-MRAM соответственно.

Источник: Kioxia

Продукт Kioxia построен на тех же принципах, что и технология Z-SSD у Samsung: в основе лежит флеш-память, в данном случае это BiCS 3D-NAND, но работающая с меньшим количеством уровней на ячейку. В первом поколении XL-Flash фактически был реализован режим SLC (как и у Samsung), что делало такую память малоёмкой и дорогой. Сейчас Kioxia представила второе поколение, поддерживающее режим MLC, с двумя битами на ячейку.

При этом было увеличено количество слоёв, могущих работать параллельно, так что производительность не пострадала, а по имеющимся на момент анонса данным, даже возросла. Новое поколение XL-Flash будет доступно в чипах объёмом 256 Гбит, что вдвое больше показателя аналогичной памяти первого поколения. Kioxia справедливо считает, что её память найдёт применение в пулах CXL-памяти при построении ЦОД нового поколения.

Ячейка STT-MRAM. Источник: Everspin Technologies

Решение Everspin иное, хотя тоже принципиально не новое — магниторезистивная памяь (spin-transfer torque, STT) существует довольно давно. Она обладает крайне низкой латентностью, высокой энергоэффективностью, может хранить данные более 10 лет и практически не изнашивается, но обладает и серьёзным недостатком: низкой плотностью хранения данных. До недавних пор на основе STT-MRAM производились лишь кеширующие или встраиваемые в другие решения модули крайне ограниченного объёма, не превышающего 1–2 Гбайт.

Новое поколение, EM128LX, представленное Everspin Technologies, имеет ёмкость 128 Мбит на чип, что вдвое больше предыдущего EM064LX. Производительность записи составляет до 233 Мбайт/с. Новинка предназначена, в основном, для встраиваемых систем, в том числе на базе FPGA. Она будет поставляться на рынок в двух вариантах исполнения: 24-контактном BGA и 8-контактном DFN. В обоих случаях используется интерфейс xSPI. Массовые поставки Everspin планирует начать в начале следующего года.

В рамках мероприятия Intel FPGA Technology Day, которое прошло в конце 2021 года, компания Intel и её партнёры рассказали о последних достижениях в области разработки продуктов на базе FPGA, а также показали свои новейшие программные и аппаратные решения. Среди последних оказался и модуль Kestral от SMART Modular Technologies, который был анонсирован ещё весной.

Модули памяти Optane PMem продвигаются Intel достаточно давно, и это действительно уникальная по ряду параметров разработка. Такая память обладает достаточно высокой производительностью, чтобы работать в качестве «расширителя» обычной DRAM, но вместе с тем располагает основным свойством флеш-памяти — энергонезависимостью. При этом Optane PMem в пересчёте на единицу объёма стоят дешевле DRAM и позволяют набрать более объёмный пул памяти.

Изображения: SMART Modular Technologies

Но у Optane PMem есть один существенный недостаток — если SSD с этой памятью универсальны, то для PMem требуется система на базе Intel, причём процессоры Xeon Scalable первого поколения не поддерживается. Это резко ограничивает сферу применимости удачной в целом технологии. И модуль Kestral призван решить данную проблему.

Kestral, в целом, занимает некое промежуточное положение между накопителем и памятью. Это универсальное решение в виде FHHL-платы PCIe 4.0, сочетающее в себе сразу несколько полезных технологий. Kestral может включать SoC Cortex Arm-A53 с DDR4 ECC объёмом 2 Гбайт и eMMC-накопителем на 8 Гбайт. Собственно говоря, SoC является частью FPGA Intel Stratix 10 DX. А раз есть ПЛИС, есть и ряд готовых IP-блоков для ускорения различных задач.

Архитектура расширения памяти, предлагаемая SMART

Наконец, на плате Kestral имеется четыре DIMM-разъёма с поддержкой DDR4 и Optane PMem. Каналов памяти у Kestral два, они поддерживают смешанную работу DRAM и Optane, но максимальный объём в 2 Тбайт достигается при установке четырёх 512-Гбайт PMem-модулей. Латентность заявлена в районе менее 350 нс — выше, чем у подключаемых напрямую к CPU модулей (около 100 нс), но это искупается универсальностью Kestral.

Ограничений на тип процессора в хост-системе нет — разработчики говорят о поддержке любых систем с любыми архитектурами, лишь бы только те располагали стандартной шиной PCIe 3.0/4.0. При этом плата обходится стандартным пассивным радиатором и охлаждается за счёт вентиляторов сервера, имея теплопакет не выше 150 Вт. Аналогичный модуль, продемонстрированный Intel и Meta* (Facebook*), сейчас используется для практического тестирования CXL-памяти.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Интерес к программно определяемым решениям в наши дни высок, как никогда, поскольку такой подход обеспечивает максимальную гибкость и требует минимум затрат на поддержание инфраструктуры. Вслед за Kioxia с её программно-определяемыми SSD своё видение представила компания VMware с фирменной технологией Project Capitola.

VMware является одним из крупнейших игроков на рынке виртуализации и вполне естественно, что компания заинтересована в продвижении своей платформы vSphere. Для этого она должна соответствовать современным требованиям и обеспечивать как можно меньшую стоимость владения, чего можно добиться унификацией программной и аппаратной инфраструктуры.

Project Capitola был анонсирован на мероприятии VMworld 2021. В двух словах его суть заключается в агрегации всех ресурсов памяти, будь то DRAM, SCM (Optane, Z-SSD или, например, XL-Flash), CXL-модули, NVMe или даже СХД с RoCE в единый пул, с которым виртуальные машины смогут работать прозрачно. Отдельно отметим, что в качестве аппаратной инфраструктуры предполагается использовать в первую очередь именно CXL.

VMware Capitola объединит под одной крышей самые разные типы памяти

Разумеется, разные виды памяти в этом списке имеют существенно различающиеся линейные скорости, времена отклика и производительность на случайных операциях. Но разработчики подумали об этом, и в Project Capitola предусмотрен механизм многоуровневой иерархии (tiering) таких неоднородных массивов.

В настоящий момент VMware продвигает Project Capitola, сотрудничая с множеством компаний. В этот список входят производители памяти и накопителей (Intel, Samsung и Micron), крупные поставщики серверного оборудования (Dell, HPE, Cisco и Lenovo), а также провайдеры ЦОД-услуг, например, Equinix. Отзывы партнёров весьма положительны и, вероятно, Project Capitola сможет стать новым стандартом в индустрии.

В апреле 2020 года компания Micron анонсировала свой собственный механизм хранения с открытым исходным кодом, предназначенный для совместного использования SSD, SCM и DRAM. А теперь компания показала вторую версию системы — HSE 2.0 (Heterogeneous-Memory Storage Engine).

HSE, согласно изначальной задумке, позволил бы приложениям — СУБД в первую очередь — задействовать весь потенциал быстродействующих накопителей и памяти. В первой версии использовался модуль ядра MPool, обслуживающий хранилище, с которым напрямую работали модифицированные приложения. Таким образом обходился стандартный стек ФС, что положительно влияло на производительность из-за отсутствия накладных расходов.

Очевидный минус такого решения — для массового распространения технологии модуль MPool должен был закрепиться в основной ветке ядра Linux, чего, как теперь стало понятно, не произошло. Во второй версии от модуля MPool отказались, теперь движок «живёт» строго в пространстве пользователя, а не ядра, и задействует стандартные механизмы работы с ФС.

Первая версия движка более не поддерживается, равно как и модифицированная для него MongoDB. С другой стороны, движок стал более универсальным и простым в освоении — разработчики сделали его более удобным для интеграции с другими СУБД и движками хранения, а также добавили поддержку Python. Исходники и дополнительные сведения о HSE 2.0 доступны на GitHub.

Данные, представленные в отчёте Coughlin Associates и Objective Analysis, говорят о том, что глобальный рынок памяти новых типов ожидают светлые времена. Речь идёт о развивающихся технологиях энергонезависимых чипов, которые найдут применение в самых разных областях. Авторы документа, в частности, рассматривают память с изменением фазового состояния (PCM), магниторезистивную память (MRAM), резистивную память с произвольным доступом (ReRAM), сегнетоэлектрическую оперативную память (FRAM) и пр.

Эксперты полагают, что изделия на основе новых технологий постепенно будут вытеснять привычные решения вроде NOR Flash, SRAM и DRAM. Причём это касается как самостоятельных чипов памяти, так и памяти, интегрируемой в другие устройства — микроконтроллеры, процессоры и интегральные схемы специального назначения. В результате, к 2031 году объём глобальной отрасли развивающихся типов памяти достигнет $44 млрд.

Источник: Blocks&Files

К примеру, в сегменте энергонезависимой памяти 3D XPoint, применяемой в накопителях Intel Optane, к началу следующего десятилетия прогнозируется выручка на уровне $20 млрд. К 2031-му доход от реализации чипов памяти MRAM и STT-RAM (магниторезистивная память на основе переноса спинового момента) может достичь $1,7 млрд, увеличившись в 42 раза по сравнению с 2020-м. А встраиваемая память ReRAM и MRAM, идущая на замену NOR и SRAM соответственно, по факту займёт ещё большую долю рынка.

UPD 08.09.21: ресурс Blocks & Files опубликовал график из вышеупомянутого исследования, а также комментарий одного из авторов, который утверждает, что, согласно наиболее оптимистичному прогнозу, к 2028 году по суммарной ёмкости поставки модулей памяти Optane PMem (ранее DCPMM) на базе 3D XPoint превысят поставки обычной DRAM.

Наряду с ускорением вычислений (GPU, FPGA) и совершенствованием шин (NVLink, CXL), технологии класса in-memory computing станут частью высокопроизводительных систем нового поколения. Речь идёт о переносе как можно больших объёмов данных в RAM, что должно решить целый спектр проблем, вызываемый достаточно высокой латентностью традиционных накопителей.

Молодой стартап MemVerge согласен с этим видением, но полагает, что для достижения наилучшего результата потребуется соответствующая программная прослойка.

Хранить данные в оперативной памяти всегда было заманчивой идеей, поскольку такая память на порядки быстрее традиционных накопителей. Однако до недавних пор реализация этой идеи была достаточно ограниченной. С одной стороны, DRAM является достаточно дорогим удовольствием, а с другой — её объёмы ограничены и в ряде случаев их может оказаться недостаточно. С появлением новых типов энергонезависимой памяти класса SCM, главным из которых пока является Intel Optane, ситуация начинает понемногу меняться. Этого потребует и сам рост объёмов данных, получаемых в реальном времени, считает MemVerge.

Концепция in-memory computing в версии MemVerge

Согласно исследованию, проведенному IDC, в следующие пять лет четверть всех данных, обрабатываемых вычислительными системами планеты, будут составлять данные реального времени. Следовательно, от машин нового поколения потребуется не только скорость работы с памятью, но и солидные её объёмы. MemVerge полагает, что для оптимальной реализации вычислений in-memory потребуется сочетание DRAM, энергонезависимой SCM-памяти и специальной программной прослойки. Последнюю компания называет Memory Machine.

Основой, как уже было сказано, считается память Intel Optane DCPMM, поскольку пока только эта технология позволяет создавать массивы памяти нужного для воплощения концепции memory centric объёма. MemVerge надеется занять нишу первопроходца в программной части реализации Memory Machine и стать основополагателем соответствующего стандарта. На сегодняшний день Optane хотя и опробована большинством крупных владельцев ЦОД, но единого стандарта на реализацию in-memory computing нет, что сдерживает широкое распространение концепции. Однако к 2022 году ситуация может измениться и у Optane появится 3 ‒ 4 конкурирующих типа энергонезависимой памяти. Одним из них может стать MRAM — рабочие образцы такой памяти уже существуют, но по объёму пока не могут сравниться с Optane.

Разработанный компанией Micron движок HSE для хранилищ СУБД, теперь доступен сообществу разработчиков в виде открытого исходного кода. Движок позволяет использовать преимущества разных типов носителей — твердотельных накопителей и SCM-памяти, что позволяет повысить быстродействие и снизить задержки при доступе к данным.

HSE отлично интегрируется с MongoDB (одной из самых популярных СУБД для NoSQL) и рассчитан на хранение пар «ключ-значение».

Компания Micron утверждает, что благодаря новому движку и собственному аппаратному обеспечению, такому как твердотельный накопитель Micron X100 NVMe, работающий с четырьмя SSD Micron 5210 QLC, пропускная способность системы увеличится вдвое, а время задержки чтения снизится почти в четыре раза.

«Являясь единственной компанией, разрабатывающей технологии оперативной памяти, флэш-памяти и памяти класса СХД, Micron имеет уникальные возможности для создания программного стека, ускоряющего работу приложений в современных средах хранения на основе флэш-памяти, а также инфраструктуры будущего на основе памяти SCM» — сказал Дерек Дикер, генеральный менеджер подразделения хранения данных Micron.

Компания Micron утверждает, что новый движок HSE повышает производительность отдельных приложений в 6 раз, снижает задержку в 11 раз и повышает ресурс SSD в 7 раз.

Кроме того, HSE предоставляет следующие функции:

• Помимо интеграции с MongoDB, он также может быть интегрирован с другими базами данных NoSQL и хранилищами объектов.
• HSE идеален, когда важна производительность на больших масштабах с миллиардами ключей, высоким параллелизмом операций (тысячи), большим объёмом данных и многоуровневыми хранилищами.
• Движок может быть расширен и адаптировани под новые интерфейсы, что позволяет использовать его с широким спектром приложений и решений, выходящих за рамки традиционных баз данных: Интернет вещей (IoT), 5G, искусственный интеллект (ИИ), высокопроизводительные вычисления (HPC) и объектное хранение.
• HSE способен обеспечить дополнительную производительность для программно-определяемых хранилищ вроде Ceph Storage или Red Hat OpenShift, а также многоуровневую производительность для протоколов хранения файлов, блоков и объектов для несколько вариантов использования.