Комитет инженеров в области электронных устройств JEDEC Solid State Technology Association и консорциум CXL (Compute Express Link) объявили о подписании меморандума о взаимопонимании. Цель — сотрудничество в области DRAM и технологий постоянной памяти.

JEDEC специализируется на разработке стандартов компьютерной памяти. В работе комитета принимают участие такие известные компании, как AMD, Elpida, Hynix, IBM, Infineon, Micron, Samsung, Toshiba, Texas Instruments и другие.

Источник изображения: Gerd Altmann / pixabay.com

В свою очередь, консорциум CXL продвигает одноимённую технологию — высокоскоростной интерконнект, обеспечивающий взаимодействие хост-процессора с акселераторами, буферами памяти, умными устройствами ввода/вывода и пр.

По условиям договора, JEDEC и CXL сформируют совместную рабочую группу, которая будет отвечать за обмен информацией, требованиями и рекомендациями. Это поможет обеим организациям в разработке стандартов, которые будут дополнять друг друга.

«При поддержке со стороны десятков ведущих отраслевых компаний данное сотрудничество позволит обеим сторонам оптимизировать разработку стандартов и поможет JEDEC в создании отдельных стандартов, предназначенных для модулей памяти и компонентов CXL», — говорится в совместном заявлении.

Экосистема CXL продолжает формироваться: идея дезагрегации ресурсов встретила тёплый отклик рынка, всё чаще появляются новые решения с поддержкой данного стандарта. Развивается и сам стандарт — буквально на днях были приняты и опубликованы спецификации CXL 3.0. А компания Microchip Technology представила новые контроллеры памяти с поддержкой CXL и двух каналов DDR4-3200 или DDR5-4800.

Коммутаторы и контроллеры для среды CXL компания выпускала и ранее, но серия SMC 2000 является новинкой, которая послужит мостом между памятью DDR4/DDR5 и CXL-шиной. В новой серии представлены контроллеры с конфигурацией 8×32G (PM8701) и 16×32G (PM8702), отвечающие набору спецификаций CXL 2.0 (Type 3) и 1.1. Вариант 16×32G к тому же является самым производительным в индустрии на сегодняшний день: он поддерживает сразу 16 линий CXL, способных работать на скорости 32 ГТ/с (PCIe 5.0).

Источник: Microchip Technology

Это серьёзный шаг вперёд по сравнению с контроллером SMC 1000 первого поколения, чьи возможности были ограничены формулой 8×25G. Данный чип специально разрабатывался для модулей Open Memory Interface (OMI), но данная технология практически не «взлетела», оказавшись ограниченной рамками платформы IBM POWER. В итоге все наработки по OMI и OpenCAPI были переданы в руки консорциума CXL.

CXL позволит легко наращивать объёмы памяти. Источник: SK hynix

Серию SMC 2000 явно ждёт более успешная судьба: новые чипы позволят создавать высокоскоростные двухканальные модули объёмом от 512 Гбайт. К тому же они поддерживают стекирование микросхем DRAM — до четырёх слоёв на канал. А это открывает дорогу к ещё более серьёзным объёмам. Более подробно о SMC 2000 можно узнать на сайте производителя.

Samsung анонсировала новые решения для корпоративного сектора, которые, по словам компании, «трансформируют перемещение, хранение, обработку и управление данными в эпоху Big Data». Впрочем, подробные характеристики новинок компания не предоставила, ограничившись общими словами.

Первым в списке значится петабайтное хранилище (Petabyte Storage). Под этим компания подразумевает возможность формирования СХД ёмкостью от 1 Пбайт на базе единственного узла. Высота и компоновка такого узла не уточняются, но это не так и важно, поскольку аналогичные, пусть и поначалу специализированные, решения от других вендоров были представлены ещё два с лишним года назад. Упомянула Samsung и о возможностях расширенной телеметрии, отслеживающей состояние DRAM, NAND, контроллера и прошивки в составе SSD и позволяющей зарнее выявить потенциальные проблемы.

Изображения: Samsung

Следующий анонс касается т.н. Memory-Semantic SSD, который, по словам компании, сочетает преимущества обычных накопителей и оперативной памяти. В этом можно было бы увидеть намёк на SCM-решение, подходящее в качестве замены почивших Optane, но в данном случае прямо говорится о наличии DRAM-кеша, который позволяет до 20 раз улучшить показатели скорости и задержки на случайных операциях чтения по сравнению с обычными SSD.

Новый SSD оптимизирован для мелкоблочных чтения и записи, что, по словам Samsung, крайне важно для ИИ-нагрузок и машинного обучения. Кроме того, прямо говорится о поддержке CXL. Анонсированные вчера спецификации CXL 3.0 как раз позволяют в полной мере задействовать все возможности такого гибридного SSD в составе CXL-фабрики и GFAM. Но до массового распространения этого стандарта пока ещё очень далеко.

Наконец, компания объявила о доступности накопителей PM1743 и PM1653 — первых SSD с поддержкой PCIe 5.0 и SAS-4 соответственно. Кроме того, компания напомнила о втором поколении своих SmartSSD с FPGA на борту и CXL-модулях DDR5. Однако сейчас для Samsung, пожалуй, важнее представить новое поколение NAND, чтобы догнать Micron, SK Hynix и даже YMTC.

UPD 08.08.2022: ресурс Blocks & Files поделился некоторыми подробностями о новинках Samsung. Так, в рамках проекта Petabyte Storage компания показала 128-Тбайт SSD на базе QLC-памяти и с поддержкой ZNS. Samsung смогла уместить в SFF-корпус сразу две платы с чипами памяти. Так что новинка значительно компактнее, ёмче и быстрее предыдущего рекордсмена — 100-Тбайт Nimbus ExaDrive.

Прототип Memory-Semantic SSD базируется на PM9A3 с CXL-интерфейсом и 8-Гбайт DRAM-кешем. Он действительно предлагает как NVMe-доступ (CXL.io), так и load/store (CXL.mem). Наличие DRAM-буфера позволяет работать с блоками размером от 64 байт. Заявленная пиковая производительность для последовательного чтения достигает 139 Гбайт/с, а для случайного — 22 млн IOPS.

На днях Intel устроила похороны Optane — быстрая, но не слишком технологичная в производстве память обошлась «синим» в полмиллиарда долларов убытков. Однако Optane хоть и был самым заметным и распространённым представителем SCM-решений (Storage Class Memory), но всё же не единственным. Вслед за Optane на рынок вышли Samsung Z-SSD, всё ещё крайне редкие.

Тем не менее, накопители с подобными характеристиками востребованы и рынок, как и природа, не терпит пустоты: сразу две компании, Kioxia и Everspin Technologies объявили о выпуске новых продуктов, способных заменить решения на базе 3D XPoint. Это XL-Flash и STT-MRAM соответственно.

Источник: Kioxia

Продукт Kioxia построен на тех же принципах, что и технология Z-SSD у Samsung: в основе лежит флеш-память, в данном случае это BiCS 3D-NAND, но работающая с меньшим количеством уровней на ячейку. В первом поколении XL-Flash фактически был реализован режим SLC (как и у Samsung), что делало такую память малоёмкой и дорогой. Сейчас Kioxia представила второе поколение, поддерживающее режим MLC, с двумя битами на ячейку.

При этом было увеличено количество слоёв, могущих работать параллельно, так что производительность не пострадала, а по имеющимся на момент анонса данным, даже возросла. Новое поколение XL-Flash будет доступно в чипах объёмом 256 Гбит, что вдвое больше показателя аналогичной памяти первого поколения. Kioxia справедливо считает, что её память найдёт применение в пулах CXL-памяти при построении ЦОД нового поколения.

Ячейка STT-MRAM. Источник: Everspin Technologies

Решение Everspin иное, хотя тоже принципиально не новое — магниторезистивная памяь (spin-transfer torque, STT) существует довольно давно. Она обладает крайне низкой латентностью, высокой энергоэффективностью, может хранить данные более 10 лет и практически не изнашивается, но обладает и серьёзным недостатком: низкой плотностью хранения данных. До недавних пор на основе STT-MRAM производились лишь кеширующие или встраиваемые в другие решения модули крайне ограниченного объёма, не превышающего 1–2 Гбайт.

Новое поколение, EM128LX, представленное Everspin Technologies, имеет ёмкость 128 Мбит на чип, что вдвое больше предыдущего EM064LX. Производительность записи составляет до 233 Мбайт/с. Новинка предназначена, в основном, для встраиваемых систем, в том числе на базе FPGA. Она будет поставляться на рынок в двух вариантах исполнения: 24-контактном BGA и 8-контактном DFN. В обоих случаях используется интерфейс xSPI. Массовые поставки Everspin планирует начать в начале следующего года.

SK hynix Inc. представила свои первые образцы DDR5-модулей в форм-факторе EDSFF E3.S. Новинки оснащены интерфейсом PCIe 5.0 x8 и контроллерами CXL 2.0. Массовое производство таких модулей начнётся в 2023 году. Одновременно компания представила и open source набор HMSDK для разработки решений на базе новой памяти. Он будет доступен в IV квартале 2022 года.

Первые образцы обладают довольно скромной ёмкостью (всего 96 Гбайт), но построены они на базе современных 24-Гбит чипов, изготовленных по техпроцессу 1α. Есть и ещё один нюанс — поскольку, по словам компании, массовых серверных платформ с поддержкой E3.S x8 всё ещё нет, некоторые образцы адаптирована для использования в имеющихся аппаратных платформах.

Изображения: SK Hynix

Тем не менее, интерес к новинками в том или ином виде уже выразили AMD, Dell, Intel и Montage. SK hynix, как и другие участники консорциума CXL, отмечает, что гетерогенный подход к архитектуре памяти в серверах откроет возможности для создания компонуемой инфраструктуры, а также позволит гибко выбирать необходимые уровень производительности и ёмкость DRAM. Впрочем, в полном объёме вся гибкость работы с памятью будет доступна только на платформах с поддержкой CXL 2.0, которую грядущие серверные процессоры AMD и Intel предложить не смогут.

SK hynix отмечает, что даже простое сочетание DIMM и CXL-модулей в рамках одного узла позволит существенно нарастить суммарную пропускную способность DRAM — с 260–320 Гбайт/c до 360–480 Гбайт/с. Ёмкость, правда, согласно расчётам SK hynix, вырастет с 768 Гбайт до 1,15 Тбайт. Samsung же ещё этой весной анонсировала выход 512-Гбайт CXL-модулей DDR5, а в прошлом году представила платформу Poseidon V2 с поддержкой PCIe 5.0, CXL и E3.S-модулей.

В настоящее время на рынке твердотельных накопителей наблюдается снижение цен, что, по мнению аналитиков TrendForce, является следствием избытка предложения в сочетании с угрозой рецессии. TrendForce утверждает, что замедление спроса во всех сегментах рынка флеш-памяти NAND наряду с нежеланием потребителей покупать дополнительные ёмкости для хранения данных, привело к перенасыщению рынка.

В связи с этим TrendForce прогнозирует снижение цен на SSD для потребительского сегмента в III квартале 2022 года на 8–13 %, в то время как корпоративные SSD упадут в цене в пределах от 5 % до 10 %, и эта тенденция может сохраниться в IV квартале, если спрос не начнёт расти. Согласно TrendForce, нынешняя экономическая ситуация отразилась на поставках серверов и привела к сокращению закупки корпоративных твердотельных накопителей.

«Объем корпоративных заказов продолжает снижаться, что влияет на динамику закупок корпоративных SSD в III квартале 2022 года. Во-вторых, заказы провайдеров облачных услуг в Китае были слабыми, а спрос на серверные платформ следующего поколения не оправдал ожиданий», — отмечено в заявлении TrendForce.

Спад экономики также ударил по рынку DRAM. В прошлом месяце TrendForce предсказала, что цены на память DRAM упадут на 3–8 % в третьем квартале. В данном случае это связано с замедлением продаж ПК и смартфонов, а также с переходом производства с DDR4 на DDR5. С появлением на рынке новых чипов от Intel и AMD, использующих память DDR5, реализация памяти DDR4 замедлились. Как полагают аналитики, замедление будет продолжаться на всём этапе перехода на DDR5, который продлится несколько лет.

Также TrendForce отметила, что спад будет особенно заметен в сегменте потребительских продуктов, в связи с чем производители перейдут на выпуск корпоративных решений. Так что цены на модули DRAM для серверов в III квартале могут сохраниться на прежнем уровне или снизиться на 5 %, полагают аналитики TrendForce.

Идея дезагрегации памяти интересует не только владельцев крупных облачных ЦОД, но и специалистов по суперкомпьютерным системам, которые также способны много выиграть от использования подобных технологий. В числе прочих, активно ведёт работы в данном направлении Корейский институт передовых технологий (KAIST), продемонстрировавший недавно работоспособный прототип технологии под названием DirectCXL, передаёт The Next Platform.

Источник: KAIST/CAMELab

Нетрудно понять из названия, что основой является протокол CXL. Основные принципы, заложенные в DirectCXL лаборатория KAIST CAMELab раскрыла ещё на мероприятии USENIX Annual Technical Conference, они изложены в брошюре, доступной для скачивания с сайта лаборатории.

Источник: KAIST/CAMELab

Исследователи также провели сравнительное тестирование технологий CXL и RDMA, для чего была использована не самая новая версия InfiniBand FDR (56 Гбит/с) на базе Mellanox ConnectX-3. Как выяснилось, RDMA всё ещё обеспечивает более низкие задержки, однако прогресс в этой области остановился, тогда как у CXL имеется потенциал.

Источник: KAIST/CAMELab

Избавление от «лишних» протоколов в цепочке между вычислительными узлами и узлами памяти позволило превзойти показатели RDMA over Fabrics. Прототип CXL-пула CAMELab состоял из четырёх плат с разъёмами DIMM и контроллерами на базе FPGA, отвечающими за создание линков PCIe и реализацию протокола CXL 2.0, четырёх хост-систем и коммутатора PCI Express. Для сравнения RDMA с CXL была применена система Facebook* DLRM.

Как показали тесты, CXL-система CAMELab тратит на инициализацию существенно меньше тактов, нежели RDMA, и в некоторых случаях выигрыш составляет свыше восьми раз, но в среднем равен 2–3,7x, в зависимости от сценария. Некоторое отставание от классической локальной DRAM есть, но оно не так значительно и им в данном случае можно пренебречь, особенно с учётом всех преимуществ, обеспечиваемых CXL 2.0.

CXL тратит на пересылку пакета данных чуть более 300 циклов, RDMA — более 2700. Источник: KAIST/CAMELab

Стоит учитывать, что поддержки адресации CXL-памяти нет пока ни в одной доступной системе, и здесь CAMELab проделали серьезную работу, создав стек DirectCXL, работающий, судя по всему, непосредственно на FPGA: как и в NUMA-системах, при адресации в режиме load/store первичная обработка данных происходит «на месте», сами данные лишний раз никуда не пересылаются. Также стоит отметить, что драйвер DirectCXL существенно проще созданного Intel для пулов Optane Pmem.

Источник: KAIST/CAMELabs

Над аналогичными проектами работают также Microsoft с технологией zNUMA и Meta* Platforms, разрабатывающая протокол Transparent Page Placement и технологию Chameleon. А Samsung, которая первой представила CXL-модули DDR5, объединилась с Liqid и Tanzanite для развития аппаратных CXL-платформ. Ожидается, что в ближайшее время мы увдим множество разработок на тему использования технологий дезагрегации и создания унифицированных пулов памяти, подключаемых к хост-системам посредством интерконнекта CXL.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания Micron Technology объявила о доступности серверной памяти DDR5 для платформ серверов и рабочих станций на чипах Intel и AMD следующего поколения. Серверы с поддержкой DDR5 сейчас тестируются в ЦОД, и ожидается, что их внедрение будет расширяться в течение 2022 года. Новые модули Micron ёмкостью до 64 Гбайт уже доступны для приобретения через глобальных торговых и промышленных партнёров компании.

Изображения: Micron

Согласно данным Micron, переход на память DDR5 позволит повысить производительность систем на 85 % по сравнению с использованием DDR4. Новая оперативная память для серверов обеспечивает максимальную производительность для ИИ, высокопроизводительных вычислений и приложений с интенсивным использованием данных, которым требуется большая вычислительная мощность и более высокая пропускная способность памяти, чем может обеспечить DDR4.

Согласно спецификации JEDEC, память DDR5 поддерживает скорость передачи данных 4800 МТ/с, что в 1,5 раза выше, чем у DDR4-3200. Благодаря улучшениям архитектуры DDR5 и встроенным возможностям управления питанием достигается оптимизация работы системы в целом. В дальнейшем ожидается появления модулей DDR5-5600 и DDR5-6400 для соответствия растущим требованиям будущих рабочих нагрузок.

Micron с самого начала сотрудничала с JEDEC при разработке спецификаций DDR5 и содействовала ранней сертификации нового типа памяти в рамках программы Micron DDR5 Technology Enablement Program (TEP), единственной, по словам компании, в отрасли программы поддержки экосистемы для DDR5. Программа насчитывает более 400 участников из более чем 160 глобальных компаний.

Компания TeamGroup анонсировала модули оперативной памяти Industrial Smart Alert DDR5 Memory Module. Это первые в отрасли изделия корпоративного класса с уникальной системой оповещения о неисправностях и ошибках. Новинки подходят для применения в оборудовании для периферийных вычислений, интеллектуальных устройствах Интернета вещей (AIoT), инфраструктурах связи 5G и пр.

Изделия снабжены светодиодной RGB-индикацией состояния. Зелёный цвет говорит о работе в штатном режиме, а свечение красным и синим цветом указывает на возникшие неполадки. Предусмотрены три режима оповещения — Alert, Notification и Reminder. Более того, в случае проблем устройства подают звуковой сигнал через интегрированный зуммер.

Источник изображений: TeamGroup

TeamGroup отмечает, что компания выпускает промышленные модули DDR5 в исполнениях U-DIMM, SO-DIMM, ECC-DIMM и R-DIMM для различных сценариев применения. Частота памяти достигает 5600 МГц, а напряжение питания равно 1,1 В. Упомянут фирменный запатентованный набор технологий T.R.U.S.T. — Temperature, Robust, Unique, S.M.A.R.T. и Trust: эти инструменты призваны повысить надёжность и стабильность работы. Дополнительную безопасность обеспечивает функция SPD Write Protection.

Компания Team Group сообщила о начале выпуска модулей оперативной памяти DDR5 Industrial Server Memory, предназначенных для установки в серверное оборудование. Организовано производство изделий DDR5 ECC DIMM и DDR5 R-DIMM.

Выпущенные модули обеспечивают производительность до 6400 млн пересылок в секунду (MT/s). Ёмкость достигает 128 Гбайт, а напряжение питания составляет 1,1 В.

Источник изображения: Team Group

Решения имеют встроенную интегральную схему управления питанием (PMIC) для точной передачи данных и повышения энергоэффективности. Кроме того, реализована фирменная запатентованная технология TRUST — Temperature, Robust, Unique, S.M.A.R.T., повышающая надёжность работы.

Память может использоваться в жёстких условиях — при высоких температурах, повышенной влажности, вибрациях и пр. Говорится о совместимости с платформами Intel Eagle Stream и AMD Zen4 Genoa. Информации об ориентировочной цене на данный момент нет.