Современная индустрия серверов и HPC нуждается в универсальном высокоскоростном интерфейсе, и таким интерфейсом должен стать Compute Express Link, базирующийся на возможностях протокола PCI Express 5.0. Мы рассказывали читателям об этой технологии ещё в начале года — тогда речь шла лишь о демонстрационной платформе, но сейчас разработчики аппаратного обеспечения анонсируют первые продукты, использующие CXL.

Как известно, современные вычислительные системы используют для шину PCI Express на коротких дистанциях; на длинных это, как правило, Ethernet или InfiniBand. Но остаётся один участок, который традиционно не охвачен каким-либо унифицированным интерфейсом, и это участок, связывающий процессоры с оперативной памятью. CXL позволяет унифицировать и этот момент, и компания Samsung уже анонсировала первые модули памяти в новом формате.

В эпоху популярности систем машинной аналитики, обучения и вычислений in-memory объёмы DRAM (и PMem) в серверных системах серьёзно выросли, но традиционный подход к расширению оперативной памяти содержит ряд проблем: это и большое количество контактов, и ограниченное число модулей памяти на канал. Производителям приходится искать баланс между скоростью, объёмом и физическими размерами памяти.

Стандарт CXL шире, нежели PCI Express, с его помощью возможна реализация различных топологий, а не только подключений «точка-точка». Причём дезагрегация ресурсов возможно не только в пределах шасси, но и в пределах стойки и далее (при наличии CXL-коммутатора с «оптикой»). Впрочем, главное в данном случае — поддержка протокола CXL.memory, причём с версии 2.0 с полным шифрованием.

В режиме CXL.memory подключённый к шине пул DRAM может объединяться с системным пулом оперативной памяти в единое пространство или делиться между другими устройствами (FPGA). При этом целью может ставиться как увеличение пропускной способности, так и наращивание объёмов до нескольких терабайт и более. Этот режим и реализован Samsung в новых модулях. Внешне они напоминают SSD, но в основе новинки лежит новый стандарт DDR5.

Такой модуль подключается к системе с помощью 16 линий PCIe 5.0, которые имеют суммарную пропускную способность 63 Гбайт/с. Более детальной информации о новых модулях Samsung CXL DDR5 пока мало, но очевидно, что при серьёзных объёмах DRAM такие модули потребуют и достаточно серьёзного охлаждения. Ожидается, что тепловыделение модуля объёмом 2 Тбайт может достигать 70-80 Вт, хотя выбранный форм-фактор (E3.S 2T) предполагает TDP на уровне 40 Вт.

Такой форм-фактор позволит свободно комбинировать DRAM, SCM и SSD в 2U-шасси, что позволит выбрать необходимое для конкретной нагрузки сочетание ёмкости и производительности. Интересно, появятся ли аналогичные DRAM-модули и в формате E1, который актуален для 1U-шасси, edge-систем, а также для высокоплотных HPC-решений.

Согласно официальному заявлению, новые модули успешно прошли квалификационное тестирование на некоей «серверной платформе Intel следующего поколения», однако больше никаких деталей Samsung пока не сообщает. Также известно, что компания сотрудничает и с AMD. О каких платформах идёт речь, сказать сейчас сложно, ведь даже Intel Sapphire Rapids будет поддерживать лишь CXL 1.1.

Отметим, что похожий подход предлагают и CCIX, и Gen-Z. Причём для Gen-Z ещё в 2019 году SMART Modular представила первый DRAM-модуль с DDR4, и тоже в форм-факторе E3. Впрочем, с тех пор CXL и Gen-Z успели «подружиться», да и Synopsys в своих IP-решениях позволяется совмещать CCIX и CXL. Альтернативный подход к наращиванию ёмкости памяти предлагает IBM — DDIMM-модули с интерфейсом OMI (Open Memory Interface).

Более года шла разработка функции, которая позволит создавать секретные области памяти в Linux. Эти области будут видны только процессу-владельцу и не будут показываться другим процессам, а их содержимое будет недоступно ядру. Задачей этой подсистемы является повышение защиты.

К примеру, при использовании OpenSSL в пользовательском пространстве в этой области можно хранить закрытые ключи, что уменьшает вероятность их компрометации. Отдельно стоит отметить, что для скрытых таким образом областей памяти не предполагается использование шифрования или иных методов дополнительной защиты.

linuxhint.com

При этом по умолчанию эта функция отключена. Для её запуска во время загрузки системы нужно передать особый параметр. Функциональность секретной памяти и системный вызов memfd_secret скрыты за параметром secretmem_enable, по крайней мере, на данный момент. Само собой, пока это ранняя версия функции. Однако не стоит исключать, что в сборке ядра Linux 5.13 она уже станет доступна для использования.

Компания SMART Modular Technologies, подразделение SMART Global Holdings, анонсировала модули оперативной памяти семейства DuraMemory, спроектированные для использования в сетевом оборудовании крупных центров обработки данных.

Представлены решения стандарта DDR4 в форматах DIMM и Mini-DIMM. Изделия отличаются надёжностью, а также небольшой высотой, благодаря чему подходят для применения в устройствах с ограниченным пространством внутри корпуса. Это могут быть, скажем, маршрутизаторы и коммутаторы корпоративного класса.

В частности, анонсированы модули DuraMemory ULP UDIMM (Ultra Low Profile) высотой 17,78 мм. Они имеют ёмкость 16 и 32 Гбайт, а рабочая частота может составлять 2666 и 3200 МГц. Напряжение питания — 1,2 В.

Кроме того, выпущены решения DuraMemory VLP RDIMM (Very Low Profile) высотой 18,75 мм. В данную серию вошли версии на 4, 8, 16, 32 и 64 Гбайт. Частота может составлять 2400, 2666, 2933 и 3200 МГц. Напряжение питания — 1,2 В.

Наконец, представлены модули DuraMemory VLP Mini-RDIMM (Very Low Profile) с высотой 18,75 мм. Такие изделия будут доступны в четырёх вариантах ёмкости — 4, 8, 16 и 32 Гбайт. Частота составляет 2666, 2933 и 3200 МГц, напряжение питания — 1,2 В.

SMART Modular анонсировала модули оперативной памяти стандарта DDR5, предназначенные для использования в оборудовании корпоративного класса. Это могут быть системы высокопроизводительных вычислений (НРС), платформы искусственного интеллекта (ИИ), телекоммуникационное оборудование, различные сетевые устройства, системы периферийных вычислений и пр.

Представленные изделия функционируют на частоте 4800 МГц (CL40). Анонсированные модули работают при напряжении питания 1,1 В. Заявленный диапазон рабочих температур простирается от 0 до 70 градусов Цельсия. В дальнейшем будут выпущены более производительные решения — с частотой до 6400 МГц.

Изделия будут доступны в различных вариантах исполнения — RDIMM, UDIMM и SODIMM. Таким образом, применять модули заказчики смогут в компьютерах разного назначения, в том числе в компактных системах с ограниченным пространством внутри корпуса. SMART Modular предложит изделия DDR5 ёмкостью 16, 32 и 64 Гбайт. Цена не уточняется, а более подробная информация о новинках доступна на этой странице. 

Компания Apacer объявила об организации массового производства первых в отрасли модулей оперативной памяти DDR4-3200 с расширенным диапазоном рабочих температур, рассчитанных на применение в промышленной сфере. Это может быть оборудование для Интернета вещей, Edge-системы и пр.

В основу изделий положены качественные компоненты, в частности, микрочипы памяти Samsung. Эксплуатироваться модули могут при температурах от минус 40 до плюс 85 градусов Цельсия.

Решения доступны в различных исполнениях — UDIMM, SO-DIMM, ECC UDIMM, ECC SO-DIMM и RDIMM, благодаря чему подходят для применения в устройствах в различных форм-факторах.

Доступны модули ёмкостью 8, 16 и 32 Гбайт. При необходимости эти изделия могут изготавливаться в версиях с защитой от влаги, коррозии и температурного шока.

В целом, память подходит для работы в неблагоприятных условиях. Это могут быть различные производства, открытые пространства и пр. Сведений об ориентировочной цене решений пока нет.

Флеш-память имеет свои достоинства, но также обладает рядом недостатков, поэтому крупные разработчики микроэлектроники активно работают над созданием и внедрением иных, лишённых недостатков NAND типов энергонезависимой памяти. Одной из разновидностей такой памяти является STT-MRAM (Spin-Transfer-Torque). На мероприятии IEEE International Devices Meeting 2020 корпорация IBM продемонстрировала новые чипы этого типа, произведённые с использованием 14-нм норм производства.

Базовая структура ячейки STT-MRAM. Информация хранится в MTJ-вентиле (версия Intel, 2018 год)

Термин STT-MRAM расшифровывается как «магниторезистивная память с записью с переносом спина электрона». В отличие от более традиционных технологий, значения в такой памяти хранятся за счёт магнитных моментов, а не электрического заряда. Скоростные характеристики STT-MRAM великолепны, но объёмы невелики — порядка гигабайт.

Одним из крупных разработчиков, занимающихся STT-MRAM, является IBM, которая ещё в 2018 году представила уникальный SSD с буфером на основе этой технологии вместо традиционной DRAM. На тот момент память типа MRAM имела ёмкость порядка 256 Мбит на чип и выпускалась с использованием 40-нм техпроцесса, а использование 22-нм норм и достижение ёмкости 1 Гбит на кристалл лишь обсуждались.

А уже в 2020 году компания представила новые SSD FlashCore с MRAM-буфером и продемонстрировала собственые рабочие микросхемы STT-MRAM, произведённые с использованием 14-нм техпроцесса. При этом удалось добиться очень высоких скоростных характеристик: если ранее шла речь о задержках в районе 6-7 мкс, то в случае с новыми чипами STT-MRAM речь идёт уже о 4-20 наносекундах, а это показатели уровня DRAM. Столь низкие скорости циклов записи делают новинки идеально походящими на роль рабочей памяти в компактных встраиваемых приложениях и в качестве «кеша последнего уровня».

Структура 14-нм «стопок» STT-MRAM в версии IBM 2020 года

IBM сообщает, что ей удалось преодолеть проблемы с реализацией магниторезистивных туннельных вентилей (MTJ) при малых размерах элемента, что ранее ограничивало STT-MRAM рамками 22-28-нм техпроцессов. Новая технология использует шаблон с вертикальным расположением MTJ-структур (высота 160 нм), он имеет ёмкость 2 Мбит. В нём удалось избавиться от паразитных наводок, за счёт чего задержки при записи удалось снизить до рекордных 4 нс. Компания также рассказала о новых продвинутых магнитных материалах, позволяющих создавать структуры со временем переключения 2 нс, что делает их идеальным выбором для различного рода энергонезависимых кешей.

Помимо STT-MRAM, IBM сообщила о развитии технологий памяти на основе фазового перехода. В перспективе они позволят создавать аналоговые энергонезависимые массивы памяти, способные точно хранить синаптический вес. Такая память будет идеальной для аналоговых инференс-систем и систем машинного обучения нового поколения. Более подробно о новинках можно прочесть в блоге IBM.

В конце осени появилась версия systemd 247 с новым демоном Out-of-Memory Daemon (Systemd-OOMD). Он призвал улучшить работу на системах, где мало оперативной памяти. И вот теперь разработчики Fedora сообщили, что в версии под номером 34 эта возможность может быть включена по умолчанию.

Технически идея состоит в том, чтобы принудительно завершать процессы отправкой SIGKILL в выбранной cgroup, когда рост нагрузки на память (memory pressure) для всех её процессов превышает 4% в течение 10 секунд. Также будет отслеживаться использование раздела подкачки (swap). При превышении заданного лимита заполнения swap процессы тех cgroup, которые занимают больше всего места в нём, также будут принудительно останавливаться.

Изначально Systemd-OOMD предназначался для Linux-серверов Facebook. Демон позволяет отслеживать объём занятой памяти и выгружать те процессы, которые превышают заданный объём. Пока что эта функция считается экспериментальной, но, учитывая, что Fedora 34 выйдет не раньше весны, разработчики уверены, что она будет готова к использованию со временем. В дальнейшем, надо полагать, эта функция попадёт и в RHEL, если не будет придуман более щадящий механизм для обработки нехватки памяти.

Вышла свежая версия systemd 247 для Linux. Этот системный менеджер получил ряд обновлений, которые должны решить одну из старых проблем Linux. Речь идёт об экспериментальный функции обработчика нехватки памяти, который должен улучшить поведение системы в условиях недостаточности ОЗУ. Суть в том, что ядро не умеет мягко обрабатывать нехватку памяти, потому при её исчерпании ОС почти сразу зависает.

fossbytes.com

Новый экспериментальный демон systemd-oomd призван отслеживать подобные сценарии и заблаговременно выгружать из памяти ресурсоёмкие задачи. Для этого используется подсистема ядра PSI (Pressure Stall Information). Она работает в пространстве пользователя и позволяет анализировать загрузку CPU, памяти, системы ввода/вывода и так далее.

Помимо systemd-oomd, systemd 247 теперь по умолчанию использует файловую систему Btrfs с systemd-homed. Это позволяет задействовать её для домашних каталогов. А использование этой ФС дополнительно позволяет как увеличивать, так и уменьшать размеры каталогов динамически.

В числе других нововведений отметим поддержку «ключей восстановления» для разблокировки учётных записей и домашних каталогов. Установка переменной среды SYSTEMD_RDRAND = 0 теперь отключает использование инструкции RdRand даже с поддерживаемыми CPU. Также появились и другие улучшения. Сам код доступен на GitHub.

Современные задачи, выполняемые на серверах, часто требуют серьёзных объёмов оперативной памяти, но зачастую конструктивные особенности самих серверов не позволяют установить больше определённого количества модулей. Это может вылиться в необходимость установки дополнительных серверов, и именно во избежание таких сценариев GIGABYTE разработала новые модели с увеличенным количеством слотов DIMM.

Современные серверные процессоры используют многоканальные контроллеры памяти и требуют установки соответствующего количества модулей DIMM. Для Xeon Scalable это количество равно шести, для AMD EPYC — восьми. Как правило, каждый процессорный разъём окружён соответствующим количеством разъёмов. Поскольку сами модули памяти также имеют предельный объём, в определённых сценариях это может представлять проблему.

Но здесь на помощь могут прийти новые серверы GIGABYTE R162-ZA0 и R262-ZA0, предназначенные для использования в крупных ЦОД и системах виртуализации; последние, как правило, и отличаются повышенным потреблением оперативной памяти. Обе модели представляют собой однопроцессорные платформы с поддержкой AMD EPYC второго поколения, и от классических серверов в таком форм-факторе новинки GIGABYTE отличаются увеличенным вдвое количеством слотов DIMM.

Как правило, на каждый процессор AMD EPYC приходится по восемь слотов памяти, что при объёме модуля 128 Гбайт ограничивает общий объём значением 1 Тбайт, чего уже не всегда может быть достаточно. Но в новых моделях GIGABYTE установлено по 16 слотов DIMM, что даёт уже 2 Тбайт при использовании модулей RDIMM/LRDIMM объёмом 128 Гбайт. Для сертифицированных модулей допустима работа в режиме 2DPC (два модуля на канал) при скорости 3200 МГц, иначе максимальная рабочая частота ограничена значением 2933 МГц.

Отличаются новые серверы GIGABYTE форм-фактором: R162-ZA0 имеет высоту 1U, а R262-ZA0, соответственно, 2U. Первый в базовой комплектации имеет четыре дисковые корзины горячей замены формата 3,5″, второй может предоставить более развитую подсистему накопителей: 24 слота формата 2,5″ с горячей заменой  в передней части и 8 в задней, из них пара — с поддержкой U.2. Ещё 8 накопителей можно получить, установив специальную корзину непосредственно в шасси сервера. Столь большое количество дисков поддерживается за счёт опционального экспандера Broadcom SAS35x48.

Обе новые модели поддерживают установку мезанинных плат расширения формата OCP 3.0. Также они обладают аппаратной поддержкой Root of Trust, что обеспечивает защиту от атак на уровне BMC и BIOS. GIGABYTE R162-ZA0 и R262-ZA0 отлично подойдут для всех сценариев, где нужны большие объёмы оперативной памяти. Именно в них серверы раскроются лучше всего и помогут владельцам снизить стоимость эксплуатации.

Технология vSMP MemoryONE от ScaleMP позволяет прозрачно увеличить видимый в системе объём оперативной памяти за счёт использования SSD таким образом, что никакая модификация со стороны ОС и ПО не требуется. Для этого используется отдельный гипервизор, который и распределяет данные между DRAM и дисками. Последние, естественно, должны быть как можно более быстрыми.

Именно эта технология лежит в основе Intel IMDT, которая ещё на платформах первого поколения Xeon Scalable позволяла задействовать для расширения памяти накопители Intel Optane. Впоследствии она стала доступна и для других разработчиков. Например, Western Digital ещё пару лет назад показала соответствующий продукт Ultrastar DC ME200 Memory Extension Drive. Intel теперь позволяет устанавливать модули памяти Optane непосредственно в DIMM-слоты, а ScaleMP ищет новые, более широкие рынки для своей технологии.

На этой неделе ScaleMP объявила о доступности в AWS Marketplace vSMP MemoryONE для EC2 девятой и десятой версий. v9 работает только с bare-metal инстансами с локальными же NVMe-накопителями, а предварительная версия v10 научилась работать и в виртуализированном окружении. ScaleMP предлагает собственный AMI-образ для EC2.

Как и для локальных версий, ScaleMP обещает близкий к обычной RAM уровень производительности для пула из DRAM и SSD, возможность увеличения доступного объёма памяти от 2 до 12 раз и снижение итоговых затрат на память на 50% и более. vSMP MemoryONE подойдёт для крупных in-memory баз данных Apache Sark, MongoDB, MySQL и прочих нагрузок, требующих хранения больших объёмов данных в оперативной памяти.