Компания Rambus выпустила второе поколение регистровых драйверов (RCD) для памяти DDR5 — ключевых компонентов, которые позволят производителям памяти выпускать серверные модули регистровой (буферизированной, RDIMM) ОЗУ DDR5 со скоростью передачи данных до 5600 МТ/с (мегатранзакций в секунду).

Компания уже выпускает микросхемы RCD первого поколения для модулей памяти RDIMM DDR5-4800, которые будут использоваться в модулях ОЗУ, предназначенных для систем на базе грядущих серверных процессоров Intel Xeon Scalable 4-го поколения с кодовым именем Sapphire Rapids и других поддерживаемых платформ. Второе поколение RCD ориентировано на использование в составе RDIMM- и LRDIMM-модулей ОЗУ с эффективной частотой до 5600 МГц.

Источник изображений: Rambus

Модуль RCD представляет собой буферный компонент, который располагается между контроллером памяти и чипами памяти DRAM и перераспределяет команды и сигналы адресов внутри модуля для обеспечения целостности этих сигналов, а также позволяя подключать больше запоминающий устройств к одному каналу DRAM. Поскольку RCD является буфером, он естественно увеличивает задержки в работе ОЗУ. Для корректной работы драйвер требует поддержки определённого уровня передачи данных.

В Rambus отмечают, что второе поколение RCD для памяти DDR5 не только на 17 % процентов увеличивает пиковую пропускную способность памяти, но также оптимизирует задержки для повышения реальной производительности RDIMM-модулей памяти и повышает их энергоэффективность.

Компания уже готова поставлять микросхемы регистрового драйвера (RCD) второе поколение для памяти DDR5 производителям ОЗУ. Когда появятся первые модули ОЗУ DDR5-5600 RDIMM и LRDIMM на его основе — пока неизвестно. Весьма вероятно, что произойдёт это вместе с релизом серверных процессоров, поддерживающих скорость передачи данных DDR5 до 5600 МТ/с.

CXL (Сompute Express Link) позволит создавать единые пулы памяти огромного объёма, и один из первых шагов к разработке таких решений сделала Samsung, представившая сначала память DDR5 в новом форм-факторе, а теперь и Scalable Memory Development Kit, набор разработчика для работы с такой памятью.

В основе CXL электрически и логически лежит PCI Expresss 5.0, однако Сompute Express Link идёт дальше. Это не просто шина «точка-точка» для подключения периферийных устройств, таких как ускорители или сетевые сопроцессоры, но полноценный универсальный интерфейс, способный, в частности, стереть различия между «накопителями» и «оперативной памятью» в их классическом понимании.

При этом массив памяти не обязательно должен располагаться в пределах корпуса системы: CXL поддерживает кеширование и имеет развитые средства шифрования, так что «шкаф памяти» может быть расположен и отдельно. Это открывает дорогу к созданию систем с невиданными ранее, петабайтными объёмами пулов памяти. И не последнюю роль в этом сыграла компания Samsung.

CXL открывает дорогу к созданию высокопроизводительных универсальных пулов памяти

Ещё в мае этого года Samsung представила первый экспандер, совместимый со стандартом CXL 2.0 — устройство, позволяющее расширять объём оперативной памяти сервера за счёт специальных CXL-модулей DDR5. А сейчас эта платформа стала ещё ближе к воплощению: компания объявила о доступности комплекта разработки Scalable Memory Development Kit (SMDK), позволяющего бесшовно состыковать основной пул оперативной памяти и CXL-модули.

Архитектура Samsung SMDK

SMDK включает два набора API, один из которых позволяет использовать CXL-память без модификации ОС и ПО. Но это временное решение, в состав также входит и набор оптимизированных API, позволяющий извлечь из новой технологии максимум. Платформа поддерживает виртуализацию массивов памяти и имеет продвинутые механизмы многоуровневой иерархии (tiering), реализованные с помощью фирменного движка Intelligent Tiering Engine (ITE), который учитывает тип памяти, её ёмкость, пропускную способность и уровень задержки доступа.

Само ПО SMDK базируется на открытом коде, причём компания планирует открыть и код ITE. Полностью поддерживаются устройства других производителей, при условии, что они отвечают спецификациям PCIe/CXL. Пока новые средства разработки доступны для предварительного тестирования, полностью открытыми они должны стать в первой половине следующего года. Над похожими технологиями работают и другие компании, например, VMware, представившая на днях Project Capitola, технологию программно определяемых массивов памяти.

Молодая израильская компания NeuroBlade «вышла из тени», представив свой первый продукт — ускоритель для задач машинной аналитики в памяти (processing in memory, PIM) под названием XRAM. Похожие продукты разрабатывают UPMEM и Samsung, но подход NeuroBlade отличается от их.

Мы уже неоднократно отмечали, что в последнее время вновь стала популярна концепция специализированных ускорителей, способных справляться со специфическими нагрузками вроде сетевых операций или обслуживания устройств хранения данных. И, похоже, в дополнение к CPU, GPU, а в последний год и DPU, может добавиться ещё один класс таких сопроцессоров — вычислительная память (computational memory).

Именно такое устройство представил израильский стартап NeuroBlade, уже собравший во втором раунде финансирования $83 млн. Идея, стоящая за новой технологией, названной создателями XRAM, довольно проста: сделать «умным» массив DRAM, снабдив его собственными вычислительными ядрами. В классической архитектуре данные только хранятся в памяти, а для обработки процессор или сопроцессор вынуждены к этой памяти обращаться, и не всегда каналы, через которое такое обращение осуществляется, достаточно широки.

Но если хотя бы первичная обработка данных будет производиться в месте их хранения, это может существенно ускорить ряд задач, утверждает NeuroBlade. К числу таких задач относится и ряд сценариев машинной аналитики, а с ростом популярности «умной индустрии» требования к скорости реагирования таких систем будут только повышаться. В XRAM массивы DRAM и тысячи вычислительных ядер буквально переплетены. Путь от хранения к вычислениям в этом случае максимально короток.

Глава компании отметил, что XRAM позволяет ускорить задачи машинной аналитики более чем на два порядка в бенчмарках TPC и на задачах клиентов компании. NeuroBlade продемонстрировала систему Xiphos на базе новой технологии. В ней установлено четыре ускорителя на базе PIM XRAM и этот квартет способен обрабатывать данные на скорости порядка терабайт в секунду. В качестве интерконнекта Xiphos использует множественные подключения PCIe x16. В сервере может быть установлено до 32 NVMe-накопителей. x86-процессор тут тоже есть, но нужен он только для служебных задач.

ПО представлено платформой Insights Data Analytics, но есть и API, что упростит интеграцию нового класса ускорителей в существующую инфраструктуру. Подробности о новой технологии можно узнать на сайте NeuroBlade. Разработчики считают, что XRAM принесёт им существенные доходы, поскольку рынок машинной аналитики оценивается в $65 млрд. NeuroBlade, основанная ещё в 2016 году, отмечает, что её продукция уже закупается клиентами и поставляется в ЦОД по всему миру.

В чём-то похожую технологию разрабатывает ещё одна израильская компания, Speedata. Её ускоритель для анализа данных и СУБД называется APU (Analytics Processing Unit) и представляет собой PCIe-карту, которая напрямую общается с локальным и/или удалённым хранилищем и обрабатывает данные. Ускоритель имеет набортный пул DRAM, что позволяет кратно снизить нагрузку на системную память и CPU. Компания была основана всего два года назад и уже получила $70 млн инвестиций.

Интерес к программно определяемым решениям в наши дни высок, как никогда, поскольку такой подход обеспечивает максимальную гибкость и требует минимум затрат на поддержание инфраструктуры. Вслед за Kioxia с её программно-определяемыми SSD своё видение представила компания VMware с фирменной технологией Project Capitola.

VMware является одним из крупнейших игроков на рынке виртуализации и вполне естественно, что компания заинтересована в продвижении своей платформы vSphere. Для этого она должна соответствовать современным требованиям и обеспечивать как можно меньшую стоимость владения, чего можно добиться унификацией программной и аппаратной инфраструктуры.

Project Capitola был анонсирован на мероприятии VMworld 2021. В двух словах его суть заключается в агрегации всех ресурсов памяти, будь то DRAM, SCM (Optane, Z-SSD или, например, XL-Flash), CXL-модули, NVMe или даже СХД с RoCE в единый пул, с которым виртуальные машины смогут работать прозрачно. Отдельно отметим, что в качестве аппаратной инфраструктуры предполагается использовать в первую очередь именно CXL.

VMware Capitola объединит под одной крышей самые разные типы памяти

Разумеется, разные виды памяти в этом списке имеют существенно различающиеся линейные скорости, времена отклика и производительность на случайных операциях. Но разработчики подумали об этом, и в Project Capitola предусмотрен механизм многоуровневой иерархии (tiering) таких неоднородных массивов.

В настоящий момент VMware продвигает Project Capitola, сотрудничая с множеством компаний. В этот список входят производители памяти и накопителей (Intel, Samsung и Micron), крупные поставщики серверного оборудования (Dell, HPE, Cisco и Lenovo), а также провайдеры ЦОД-услуг, например, Equinix. Отзывы партнёров весьма положительны и, вероятно, Project Capitola сможет стать новым стандартом в индустрии.

Компания TeamGroup анонсировала твердотельные накопители серий S750-M80 и S750-3A форматов M.2 SATA SSD и mSATA SSD соответственно. Кроме того, представлены модули оперативной памяти DDR4 WT DIMM. Все изделия спроектированы с прицелом на промышленное оборудование, устройства для Интернета вещей, edge-системы и т. п.

Продукты проходят жёсткое тестирование на соответствие стандартам ударопрочности MIL-STD-202G и MIL-STD-883K, а также вибростойкости MIL-STD-810G. Гарантирована стабильная работа в экстремальных условиях.

Здесь и ниже изображения TeamGroup

Твердотельные накопители M.2 SATA SSD S750-M80 и mSATA SSD S750-3A поддерживают TCG Opal 2.0 и шифрование AES с ключом длиной 256 бит. Применены некие специальные микрочипы 3D TLC, которые, как утверждается, обеспечивают более высокую производительность по сравнению с обычными изделиями.

Накопители используют интерфейс SATA. Известно, что вместимость варьируется от 128 Гбайт до 1 Тбайт. Скорость чтения достигает 560 Мбайт/с, скорость записи — 510 Мбайт/с. Применён запатентованный графеновый радиатор охлаждения.

Модули оперативной памяти DDR4 WT DIMM выделяются широким диапазоном рабочих температур: от -40 до 95 °C. Эти изделия также получили тонкий графеновый радиатор. Другие характеристики пока не раскрываются.

Ресурс Phoronix обратил внимание на любопытный патч для ядра Linux 5.15, который исправляет проблему длительной загрузки Linux на больших мейнфреймах и сверхкрупных кластерах на базе оборудования IBM. На это уходило порядка 30 минут и больше. Теперь такие системы будут загружаться примерно за 5 минут. Правда, без учёта инициализации самого железа, которая в данном случае сама по себе может длиться десятки минут.

Изменения в ядре включают в себя улучшения производительности Kernfs для функций, используемых, в частности, sysfs. Суть в том, что такие системы оснащены сотнями процессоров и десятками терабайт RAM, а память обрабатывается блоками по 256 Мбайт. Из-за этого ранее нужно было очень долго ждать, пока ядро «прожует» всю память. Причём для этого даже требовалось принудительно увеличивать время тайм-аута.

После выхода обновления Linux 5.15 операции, которые ранее выполнялись последовательно, будут делаться параллельно + были произведены оптимизации кеширования этих процессов. Всё это позволит увеличить скорость загрузки системы примерно в 6 раз. А поскольку подобные системы обычно используются для выполнения бизнес-критичных задач, для которых даже одна лишняя минута простоя обходится в круглую сумму, ускорение будет совсем нелишним.

Идея дезагрегации имеет ряд преимуществ, но также выдвигает и определённые требования к реализации, в частности — требуется высокая производительность и низкая латентность среды, объединяющей компоненты стойки или стоек. В роли такой среды компания Intel видит стандарт Сompute Express Link (CXL).

CXL, работающий поверх PCI Express 5.0, представляет собой унифицированный интерфейс, способный работать в различных топологиях и имеющий средства шифрования. Он подходит для реализации Load/Store-нагрузок, причём в сравнении с традиционными сетевыми решения он намного быстрее именно в плане времени отклика, обеспечивая задержки менее 10 нс против типовых 20 – 100+ нс.

CXL и PCIe 5.0: два стандарта, одна инфраструктура

Это уже позволяет напрямую работать с массивами оперативной памяти, но Intel говорит о том, что с помощью CXL память может быть вынесена и за пределы узла без потери производительности. В частности, обычная шина PCIe не занимается кешированием памяти, подключённой к ней, а не напрямую к CPU. Имеются проблемы с распределением ресурсов в гетерогенных и дезагрегированных системах. И всё это дополняет «зоопарк» из разных, несовместимых между собой типов памяти. Переход на CXL решает все эти проблемы.

CXL не требует DMA, поддерживает кеширование и позволяет использовать быструю модель Memory Load/Store

Новый стандарт является открытым, консорциум CXL уже включает в себя более 150 компаний-разработчиков и производителей оборудования; в него входят все игроки на рынке CPU и GPU. Возможности PCIe 5.0, лежащие в основе CXL, достаточны, чтобы вынести пул DRAM-памяти за пределы сервера, причём процессоры серверов в CXL-стойке смогут работать с таким пулом как с локальным благодаря поддержке write-back кеширования.

Архитектура дезагрегированной серверной стойки, использующей CXL

Такой подход позволит обойти традиционные ограничения, такие, как количество слотов DIMM на процессор, и, как мы знаем, первые CXL-модули памяти DDR5 уже существуют. И не только модули памяти — CXL предполагает единый стандарт и для подключения сетевых адаптеров, различных ускорителей на базе GPU и FPGA, а также и накопителей, как на базе Optane, так и привычной NAND-памяти. Иными словами, на уровне стойки масштабирование предельно упростится, а значит, и удешевится.

В перспективе речь может идти и о более высоком уровне, едином для всего кластера многоуровневым пуле памяти с объёмом, достигающем петайбайтного порядка, при этом поддерживающем горячую замену модулей. С такими преимуществами CXL может вытеснить из мира серверов традиционную архитектуру CPU-память-сеть, но для этого потребуется широкое внедрение CXL 2.0, а первые устройства, которые появятся в следующем году, пока поддерживают лишь CXL 1.0/1.1.

Пока что на пути в это светлое будущее есть целый ряд препятствий, касающихся инфраструктуры. Так, на рынке уже есть коммутаторы PCIe 4.0 вроде GigaIO FabreX. Но они недшёвы и предлагают относительно небольшое число портов. Помимо того, что для PCIe 5.0 понадобятся новые решения для сохранения целостности сигнала, придётся как-то решать задачу повышения отказоустойчивости, поскольку в такой архитектуре отказ единого пула памяти повлияет на несколько машин сразу.

Будущие процессоры AMD, в том числе, вероятно, EPYC 7004 (Genoa), будут поддерживать 5-уровневую подкачку страниц памяти (5-level paging). Эта технология предназначена для увеличения виртуального и физического адресного пространства в системах x86-64: для виртуальной памяти лимит увеличится с 256 ТиБ до 128 ПиБ, а для физической адресации — с 64 ТиБ до 4 ПиБ (4,5036 Пбайт). На соответствующие патчи для KVM обратил внимание Phoronix.

Переход на новую систему создавать серверы с действительно огромным объёмом памяти. При этом обратной стороной такого подхода является увеличение времени, требуемого на обход таблиц со страницами. Однако на практике это можно компенсировать оптимизацией программного обеспечения.

Bellezzasolo/WikiPedia

Intel начала работу над поддержкой этой технологии в Linux ещё 5 лет назад, однако в «железе» она появилась только в микроархитектуре Ice Lake. Она доступна, начиная с ядра Linux 4.14, а в Linux 5.5 она уже включена по умолчанию для поддерживаемых процессорах. C точки зрения ядра реализация AMD должна быть очень похожа на Intel, поскольку она задействует уже существующие механизмы.

При этом пока неясно, когда именно стоит ожидать появления новых патчей в основной ветке ядра. Скорее всего, они будут добавлены до релиза EPYC 7004 или вскоре после, как это обычно и происходит у AMD. Что касается практической ценности данного нововведения, то можно предположить, что обе компании постепенно готовятся к появлению систем с CXL. О петабайтах памяти речи пока нет, но десятки терабайт (особенно с SCM вроде 3D XPoint) в будущих системах кажутся вполне реальными.

Компания TrendForce обнародовала прогноз по мировому рынку модулей оперативной памяти DRAM для серверов. Аналитики полагают, что по итогам текущего квартала стоимость таких изделий может вырасти в среднем на 5–10 % по сравнению со второй четвертью 2021 года.

Сообщается, что в июле контрактные цены на модули RDIMM ёмкостью 32 Гбайт, ориентированные на массовый рынок, поднялись на 5–7 % по сравнению с предыдущим месяцем. Такое же увеличение стоимости зафиксировано в сегменте RDIMM объёмом 64 Гбайт.

Здесь и ниже изображения Micron

Эксперты TrendForce отмечают, что заказчики и поставщики оперативной памяти для серверного оборудования не могут найти общий язык, когда договариваются о ценах. Наблюдающаяся картина объясняется несколькими причинами.

В частности, влияние на рынок оказывает глобальный дефицит электронных компонентов. Дополнительному росту спроса способствует выход серверных платформ нового поколения. С другой стороны, повышение цен приводит к сокращению объёмов заказов.

Поэтому, полагают аналитики, по итогам третьего квартала может быть зарегистрировано некоторое снижение общего объёма поставленной DRAM. Отмечается также, что рост цен на память, вероятнее всего, продолжится в последней четверти нынешнего года.

Компания SMART Modular Technologies, входящая в состав SMART Global Holdings, анонсировала модули оперативной памяти DDR5 повышенной надёжности. Изделия ориентированы на промышленный сектор: они могут применяться в телекоммуникационном и сетевом оборудовании, системах высокопроизводительных вычислений и пр.

Модули подвергаются всестороннему тестированию в температурном диапазоне от -40 до +85 °C. Это гарантирует долговечность и стабильную работу в самых суровых условиях. В серии представлены изделия DDR5-4800 ёмкостью 32 и 64 Гбайт. Они функционируют при напряжении питания 1,1 В.

Для модулей не предусмотрено наличие радиатора охлаждения. Высота изделий составляет 31,25 мм. Специальное однородное покрытие на основе полимерной плёнки защищает печатную плату от влаги, пыли, грязи и других веществ, которые могут нанести урон электронным компонентам.