Переход от стандартных интерфейсов на универсальный CXL открывает множество интересных возможностей. Но новый стандарт требует и соответствующей аппаратной инфраструктуры — по крайней мере, до тех пор, пока поддержка CXL не станет привычной для всех серверных компонентов. И такие решения уже появляются: компания Montage Technology представила чип-экспандер, совместимый с CXL 2.0.

Новый чип Memory eXpander Controller (MXC M88MX5891) предназначен для использования в платах расширения, бэкплэйнах и модулях памяти в форм-факторе EDSFF. Он относится к классу CXL Type 3 и полностью отвечает стандартам JEDEC, обеспечивая при этом поддержку как DDR5, так и более доступной DDR4.

Изображения: Montage Technology

Чип отвечает спецификациям CXL 2.0 и может задействовать всю доступную полосу PCI Express 5.0. Задержки, вносимые новым контроллером, минимальны. Это позволит наделить поддержкой CXL системы, чьи процессоры новый стандарт пока не поддерживают, и при этом как можно меньше потерять в производительности. В настоящее время компания-разработчик активно сотрудничает с известными производителям памяти, дабы выпустить решения на базе MXC как можно скорее.

Впрочем, до формирования полноценной экосистемы CXL пока далеко. Грядущие процессоры AMD EPYC Genoa и Intel Xeon Sapphire Rapids поддерживают в полном объёме только CXL 1.1. Тем не менее, отдельные эксперименты ведутся давно. Так, ещё в прошлом году был показан прототип системы с CXL-адаптером для связки DDR4/PCIe 5.0 на базе FPGA.

Компания Samsung Electronics сообщила о создании DDR5-модуля Compute Express Link (CXL) вместимостью 512 Гбайт — это первое в отрасли решение столь высокой ёмкости, имеющее интерфейс PCIe 5.0 и выполненное в форм-факторе E3.S. Модуль даёт возможность значительно повысить объём памяти серверных систем и увеличить её пропускную способность.

Это, в свою очередь, позволяет ускорить выполнение задач, связанных с искусственным интеллектом (ИИ) и высокопроизводительными вычислениями (HPC) в центрах обработки данных. На текущий момент Samsung уже подписала с Lenovo соглашение о развитии CXL-решений. Ожидается, что тестирование новых модулей памяти начнётся в III квартале этого года, а массовыми они станут после появления на рынке новых платформ AMD EPYC Genoa и Intel Xeon Sapphire Rapids.

Источник изображений: Samsung

«Распространение ИИ и Big Data приводит к росту использования гетерогенных вычислений, при которых несколько процессоров работают параллельно для обработки больших объёмов данных. Открытый, обладающий широкой отраслевой поддержкой протокол CXL, основанный на интерфейсе PCI Express (PCIe) 5.0, обеспечивает высокоскоростную передачу с малой задержкой между хост-процессором и такими устройствами, как серверные ускорители, буферы памяти и интеллектуальные устройства ввода-вывода», — заявляет Samsung.

Свой первый CXL-модуль памяти Samsung представила год назад. Чуть позже появилась и платформа для разработки. В конце прошлого года компания показала первую гибридную СХД Poseidon V2 с поддержкой CXL, которая позволяет объединить в одной платформе (Smart)SSD, DRAM и ускорители, а буквально на днях было продемонстрировано совместное с Liqid и Tanzanite решение для работы с пулами CXL-памяти.

За развитием CXL мы следим давно, поскольку эта технология служит фундаментом для компонуемой инфраструктуры, где все ресурсы физически разнесены и могут быть объединены в нужную конфигурацию по запросу. Внедрение CXL 2.0 позволит организовывать и отдельные пулы DRAM или быстрой энергонезависимой памяти вроде Optane.

Демонстрационная платформа Tanzanite (Изображения: Business Wire)

Первый вариант пулов памяти CXL совместно представили Liqid, Samsung и Tanzanite. У Liqid есть PCIe-платформа и ПО для управления дезагрегированными ресурсами, Samsung уже представила первую CXL-память DDR5, а Tanzanite занята разработкой CXL-фабрики на базе чипсета собственной разработки SLIC^TZ. Liquid недавно получила новые инвестиции от DigitalBridge Ventures и Blackwells Capital, что говорит о заинтересованности крупных инвесторов в развитии идей дезагрегации и композитных вычислительных сред.

Но самое интересное в совместном решении компаний — чип SLIC^TZ. Он может работать в качестве коммутатора CXL и предоставляет все нужные для организации выделенных пулов CXL-памяти технологии, включая поддержку энергонезависимых модулей и разбиение пула на уровни (tiering). Текущая реализация SLIC^TZ базируется на флагманских ПЛИС Intel Agilex, но это всего лишь прототип, так что компания со временем наверняка выпустит и ASIC.

Пул композитной памяти Tanzanite

Тем не менее, даже первое поколение SLIC^TZ способно управлять пулом памяти объёмом 80 Тбайт, предоставляя каждому подключённому хосту пропускную спосоность, эквивалентную 32 каналам DDR4 или 16 каналам DDR5. Более того, по словам создателей, задержка доступа будет даже меньше, чем у типичного двухсокетного сервера.

Сама Tanzanite планирует наделить SLI^TZ достаточно высокой производительностью для поддержки концепции «вычисления рядом с памятью» (Near Memory Compute), что позволит организовать первичную обработку данных и разгрузить, тем самым, хост-процессоры. Не является ли это отходом от базовых принципов дезагрегации, покажет время.

Не все технологические компании завершили минувший квартал с позитивными результатами. Но, как утверждает Bloomberg, на этом фоне есть одно яркое пятно: спрос на облачные сервисы и микросхемы. Несмотря на украинские события, значительную инфляцию и COVID-ограничения в Китае, предприятия продолжали покупать инфраструктуру для своих ЦОД.

Доходы Microsoft Azure выросли на 46 %, продажи облачных сервисов Alphabet увеличились на 44 %, реализация сервисов AWS выросла на 37 % плюс обязательства по заказам увеличились $88,9 млрд (на 68 %). Тройка ведущих производителей DRAM — Samsung, SK Hynix и Micron — тоже чувствует себя не так плохо, так как поставляет аппаратное обеспечение для этих облачных сервисов. Хотя отрасль переживает падение цен, спрос на ЦОД настолько высок, что у компаний дела обстоят неплохо, и к концу года они снова, как ожидается, будут на подъёме.

Samsung уже третий квартал подряд сообщает о рекордных продажах модулей памяти, в основном, благодаря закупкам провайдеров облачных услуг и других корпоративных клиентов, инвестирующих в ИТ-инфраструктуру. Корпоративные покупатели пришли к выводу, что гибридная и удалённая работа — это новая реальность, в связи с чем приобретают всё больше оборудования, содержащего модули памяти Samsung.

Южнокорейская компания рассчитывает на дальнейший рост спроса и поэтому ежегодно тратит десятки миллиардов долларов на расширение мощностей и приобретение дорогостоящего оборудования ASML для EUV-литографии. В конце прошлого года она также выделила сотрудникам специальные бонусы в знак того, что инженерные таланты сейчас ценятся ещё больше.

Micron, крупнейший производитель микросхем памяти в США, тоже опубликовала оптимистичный прогноз на текущий год, в то время как SK Hynix заявила, что нынешние темпы роста дата-центров близки к темпам, наблюдавшимся во время бума 2018 года. Глава SK Hynix год назад дал прогноз, что количество ЦОД в течение следующих четырех лет удвоится, что всё больше похоже на консервативную оценку, так их число растёт гораздо более стремительными темпами.

Компания ADATA Technology анонсировала модули оперативной памяти промышленного класса Registered DIMM (R-DIMM) DDR5. Изделия предназначены для телекоммуникационного и сетевого оборудования, серверов, интеллектуальных платформ Интернета вещей (AIoT), edge-устройств, систем высокопроизводительных вычислений и пр.

Новинки функционируют на частоте 4800 МГц при напряжении питания 1,1 В. Ёмкость составляет 16 и 32 Гбайт. Высота модулей — 31,2 мм. Отмечается, что решения обладают повышенной надёжностью. Диапазон рабочих температур простирается от 0 до +85 °C.

Источник изображений: ADATA

Ранее ADATA представила изделия DDR5 стандартов U-DIMM и SO-DIMM. Они доступны в вариантах ёмкостью 8, 16 и 32 Гбайт. Частота составляет 4800 МГц, напряжение питания — 1,1 В.

Компания Goodram Industrial анонсировала новый модуль памяти стандарта DDR4-3200 SO-DIMM, обладающий повышенной надёжностью. Изделие с обозначением GR4S32G320D8I рассчитано на использование во встраиваемых устройствах, в составе облачных платформ, в системах виртуализации и пр.

Решение имеет ёмкость 32 Гбайт. Благодаря исполнению SO-DIMM модуль может применяться в компактных устройствах на основе материнских плат семейства ITX (nano-, pico- и micro-ITX).

Источник изображения: Goodram Industrial

Новинка рассчитана на эксплуатацию в расширенном температурном диапазоне — от -40 до +85 °C. Кроме того, будет доступна версия с температурным режимом от 0 до +85 °C. Производитель отмечает, что модули GR4S32G320D8I проходят тщательное тестирование, подтверждающее их надёжность.

Компания Team Group анонсировала модули оперативной памяти стандарта DDR5-6400, предназначенные для использования в серверах и другом промышленном оборудовании. Дебютировали изделия DIMM и R-DIMM ёмкостью до 128 Гбайт. Они функционируют при напряжении питания 1,1 В и оснащены чипом с функцией управления энергоснабжением. Этот делает работу модулей более стабильной и эффективной, а также позволяет сократить расход энергии.

Источник изображений: TeamGroup

TeamGroup отмечает, что её ассортимент DDR5-модулей уже включает изделия U-DIMM, SO-DIMM и WT-DIMM (Wide Temperature — с широким температурным диапазоном). Они поступили в массовое производство после того, как образцы были разосланы заказчикам в третьем квартале текущего года. Тестирование DDR5 на совместимость с серверными платформами запланировано на первую четверть следующего года.

Летняя утечка характеристик будущих серверных процессоров AMD EPYC Genoa на базе архитектуры Zen4 получает всё новые подтверждения. Месяц назад AMD официально сообщила, что эти CPU получат до 96 ядер, то есть в полтора раза больше, чем у EPYC Milan/Rome. А выпущенные недавно патчи для ядра Linux показали, что «модели 10h-1Fh и A0h-AFh семейства 19h» будут иметь до 12 CCD. Из них же стало понятно, что и каналов памяти у новых процессоров тоже станет в полтора раза больше — 12.

Ну а сегодня издание ComputerBase поделилось таблицей с возможными конфигурациями модулей памяти. Из неё, в частности, следует, что новые процессоры будут поддерживать DDR5-5200, причём не только в виде одноранговых RDIMM, но и четырёх- или восьмиранговых LRDIMM. Правда, в последнем случае при использовании массовых 128-Гбайт модулей максимальный объём памяти на сокет не превысит 1,5 Тбайт.

Источник: Twitter/HansDeVriesNL

Однако, если верить таблице, DDR5-5200 будет доступна только в режиме 1DPC (один модуль на канал) и только с более дорогой памятью. А в случае 2DPC пределом будет уже DDR5-4800. Причём сейчас трудно сказать, заработает ли память в этом режиме на более высоких частотах (как это было на практике с Milan), поскольку требования к разводке плат и целостности сигнала стали намного выше, что, к слову, скажется на их цене.

Источник: ComputerBase

Если же важна не скорость, а объём, то 16-ранговыми (это уже строго 3DS RDIMM) модулями DDR5-4000 в режиме 2DPC можно набрать аж 12 Тбайт RAM. Для этого понадобятся уже 512-Гбайт модули. Такие, например, готовит Samsung. Впрочем, внедрение поддержки CXL новыми серверными платформами AMD и Intel в будущем потенциально упростит наращивание объёмов доступной серверам памяти в обмен на некоторые снижение её скорости и увеличение задержек. Осталось узнать, сколько на самом деле линий PCIe 5.0 получат EPYC Genoa и сколько из них будут поддерживать CXL.

На SC21 консорциум CXL не только объявил о поглощении всех наработок Gen-Z, но и представил несколько демо от разных участников консорциума. Одним из самых интересных стал показ прототипа сервера с CXL-памятью от Meta* (бывшая Facebook*). Доклад о нём был сделан ещё на OCP Global Summit, но вот видеодемонстрация стала публичной только на этой неделе.

FPGA-протототип CXL-модуля с DDR4 (Фото: Intel)

Перед Meta* давно встала проблема увеличения ёмкости и плотности размещения DRAM. Причём у компании, как и других гиперскейлеров, очень жёсткие ограничения на физические размеры, энергопотребление и стоимость систем — создание и содержание парка в миллионы серверов выливается в круглые суммы. Представитель Meta* в ходе доклада отметил несколько важных факторов, учитываемых при создании новых платформ.

Здесь и ниже изображения Meta*

Так, в последние годы цена за 1 Гбит DRAM перестала существенно падать, поэтому память становится всё более дорогим компонентом в составе сервера. И не только с точки зрения финансов, но и по энергопотреблению, что отрицательно влияет на совокупную стоимость владения (TCO). Кроме того, производительность процессоров заметно выросла, в основном благодаря увеличению числа ядер (в три с лишним раза). Однако пропускная способность памяти в пересчёте на канал в среднем лишь удвоилась, а в пересчёте на ядро — и вовсе упала почти вдвое.

Тем не менее, ядра CPU всё равно надо как-то «прокормить», поэтому приходится искать новые пути масштабирования пула DRAM. Простым увеличением числа DIMM-слотов не обойтись — каждый «лишний» канал памяти обходится в дополнительные пару сотен дорожек в разводке платы, что при росте числа каналов приводит к увеличению числа слоёв материнской платы (и буквально её толщины). А попутное увеличение скорости памяти ведёт к необходимости использования более дорогих материалов и всё тем же проблемам.

Как отмечают некоторые аналитики, платформы следующего поколения с поддержкой DDR5 будут дороже нынешних, но дело не в самой памяти, динамика удешевления которой будет примерно той же, что у DDR4, а именно в необходимости увеличения числа слоёв в материнских платах где-то на треть. Решением мог бы стать переход на последовательные интерфейсы — буферизованная DDIM-память (OMI) уже используется в серверах IBM E1080, но компактной её не назовёшь.

Однако у нас и так уже есть другой, универсальный и широко распространённый последовательный интерфейс — это шина PCI Express 4.0, а в ближайшем будущем и 5.0. Она обеспечивает приемлемую скорость передачи данных, но требует где-то на три четверти меньше сигнальных линий, которые могут иметь бо́льшую протяжённость по сравнению с DDR. Строго говоря, попытки создать PCIe-фабрики для дезагрегации ресурсов уже предприняты, к примеру, GigaIO и Liqid. С приходом CXL это станет ещё проще.

CXL позволит задействовать разные типы памяти с разными характеристиками, используя единый интерфейс. Например, можно с одной и той же платформой использовать и DDR5, и DDR4, и SCM (PMem). Чем-то похожим занимался и консорциум Gen-Z, куда, как ни странно, не входила Intel, которая и стала одним из основателей и апологетов Compute Express Link. С ней-то Meta* и работает около года над прототипом нового сервера и платы расширения с DRAM для него.

Прототип использует сервер с инженерным образцом Intel Xeon Sapphire Rapids и стандартную карту расширения для платформы Yosemite v3. Карта с x16-подключением PCIe 5.0 несёт на борту инженерную версию FPGA (вероятно, что-то из серии Agilex) с двумя контроллерами памяти и двумя же слотами DIMM для обычной регистровой DDR4 суммарным объёмом 64 Гбайт. На базе FPGA реализован интерфейс CXL 2.0, который имеет поддержку протокола CXL.memory и даёт расширенные возможности мониторинга и отладки.

При старте системы происходит опрос доступных PCIe-устройств и согласование с ними скоростей и возможностей, после чего становится доступна оперативная память, физически размещённая на карте расширения, а не только локальная DDR5, «привязанная» к процессору. В этом случае система «видит» несколько NUMA-доменов — два от самого CPU и ещё один «безпроцессорный». Прототип успешно проходит все базовые тесты, так что программно-аппаратный стек уже достаточно хорошо проработан.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Компания GigaIO, один из пионеров в области разработки современных компонуемых сред для ЦОД, кластеров и облачных систем, показала на конференции SC21 свои последние разработки и решения. Компания намерена всего через два года создать универсальную компонуемую платформу, которая позволит на лету собирать сервер любой конфигурации из удалённых SSD, GPU, DPU, FPGA и даже DRAM.

Коммутатор GigaIO FabreX

Использовать в качестве основы такой платформы PCIe-фабрику — идея заманчивая, поскольку эта универсальная, стандартная и используемая сегодня в любых ИТ-системах шина обеспечивает высокую производительность при минимальном уровне задержек. У GigaIO уже есть коммутаторы FabreX с поддержкой PCIe 4.0. А CXL позволит добиться практически идеальной дезагрегации ресурсов. Отдельные стойки будут содержать различные массивы DRAM и SCM, флеш-массивы, ускорители самых разных типов и т.д.

Такие стойки-массивы войдут в общую фабрику FabreX, а уже из неё нужные ресурсы смогут получать как традиционные серверы, так и целые кластеры — технологии GigaIO позволяют крайне гибко разграничивать ресурсы, черпаемые из единого пула и раздавать их разным клиентам в нужных пропорциях. Такой подход напоминает современные облачные системы, к которым может подключиться кто угодно и использовать столько ресурсов нужного типа, сколько надо для данной задачи.

Всё управление траифком берёт на себя FabreX, а в клиентские системы остаётся только установить соответствующие HBA-адаптеры, также разработанные GigaIO. Модули Hydra, показанные компанией в конце 2020 года, обеспечивает пропускную способность до 32 Гбайт/с на слот PCIe 4.0 x16. Для кабельной инфраструктуры FabreX использует стандартные кабели с коннекторами SFF-8644 (возможны как чисто медные варианты, так и активные, с оптическими трансиверами).

К тому же FabreX обеспечивает беспроблемную переброску практически любых протоколов и приложений между любыми узлами, включёнными в сеть — будь то TCP/IP, MPI, NVMe-oF и другие виды трафика. Последним барьером, мешающим достигнуть полной дезагрегации ресурсов GigaIO справедливо считает оперативную память, которая в большинстве систем пока ещё находится на стороне процессоров общего назначения в клиентских серверах. Но в партнёрстве с AMD компания уже работает над этой проблемой.

Попытки вынести оперативную память за пределы серверов снижают производительность даже при использовании RDMA. Однако последние разработки GigaIO для FabreX и интеграция в эту систему стандарта CXL должны позволить использовать истинный прямой NUMA-доступ к памяти, даже если она вынесена за пределы клиентской системы и находится в общем пуле-массиве. Последний барьер к полной дезагрезации ресурсов практически пал.

Таким образом, любой сервер в сети FabreX сможет получить полноценный доступ к любой памяти — соседнего сервера или стойки пула, с минимальным ростом латентности и максимально возможной в рамках PCIe пропускной способностью. Пулинг оперативной памяти с сохранением когерентности кешей, по словам GigaIO, будет реализован в 3 квартале следующего года на базе CXL 1.0. В четвёртом квартале должна появиться поддержка CXL 2.0 с возможностью систем делиться ресурсами памяти между собой, а в начале 2023 года компания планирует внедрить весь спектр возможностей CXL 2.0.

В числе преимуществ FabreX GigaIO также называет использование открытых стандартов, даже собственное ПО GigaIO будет находиться в открытом доступе. Клиенты, уже использующие FabreX, без проблем перейдут на новую версию с CXL, поскольку этот стандарт базируется на PCIe 5.0. Им не потребуется вносить изменения в уже работающие контейнеры, ВМ и прочее ПО, зато они смогут использовать все преимущества FabreX в области дезагрегации ресурсам, включая удалённые пулы DRAM.