На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

На конференции Flash Memory Summit компания Samsung анонсировала ряд новинок. Среди них новые серверные накопители с интерфейсом PCIe 5.0, SSD ёмкостью 256 Тбайт, а также платформа PBSSD, предназначенная для создания систем хранения данных петабайтного класса.

Так, компания объявила о завершении работ над серией серверных SSD PM9D3a в форм-факторе SSF с интерфейсом PCIe 5.0. Они получили 8-канальный контроллер флеш-памяти. В сравнении с PM9A3 скорость последовательного чтения выросла в 2,3 раза, а случайной записи — более чем вдвое (400 тыс. IOPS). Поначалу максимальная ёмкость новинок будет составлять 7,68 Тбайт и 15,36 Тбайт, но в первой половине 2024 года появятся модели объёмом 3,84 Тбайт и 30,72 Тбайт. Заявленный уровень MTBF составляет 2,5 млн часов. Также говорится о расширенных функциях телеметрии и отладки.

Источник изображений здесь и далее: Samsung

Также Samsung создала SSD ёмкостью 256 Тбайт на базе QLC NAND, которые используют максимальный на сегодня уровень интеграции флеш-памяти. Такие накопители придутся по нраву гиперскейлерам, в том числе потому, что вопросам энергоэффективности компания уделила особое внимание: согласно тестам Samsung, один такой 256-Тбайт диск потребляет в семь раз меньше энергии, нежели массив из восьми 32-Тбайт накопителей.

Наконец, одним из самых интересных и важных стал анонс новой архитектуры PBSSD. Как описывает её сама Samsung, PBSSD представляет собой сверхвысокоплотное решение петабайтного класса с хорошей масштабируемостью. Платформа, в частности, наделена функцией Traffic Isolation, которая изолирует потоки данных при множественном доступе к накопителю, позволяя сохранить для разных нагрузок заданные для них уровни задержки и производительности.

Также будет реализована фирменная технология Flexible Data Placement (FDP), совместно разработанная Samsung и Meta✴ и уже ратифицированная консорциумом NVMe. FDP позволяет хосту определять, какие данные можно сгруппировать и записать вместе, чтобы снизить нагрузку на накопитель, улучшить предсказуемость его поведения, повысить общую производительность и снизить TCO. Первые тесты показали эффективность FDP на реальных нагрузках гиперскейлеров. ПО для работы с FDP будет открытым.

Чем активнее внедряются ИИ-системы, тем важнее становится роль памяти HBM и DDR5, а в особенности её энергоэффективность. Так, в крупномасштабных системах на базе NVIDIA A100 на долю памяти может приходиться до 40 % потребляемой энергии. Неудивительно, что крупные производители памяти объединяют свои усилия с академическими кругами, чтобы разработать более экономичную память нового поколения.

В частности, Samsung на базе CXL и 12-нм техпроцесса уже разработала чипы DDR5 ёмкостью 16 Гбайт, который на 23 % экономичнее в сравнении с аналогичными чипами предыдущего поколения. В содействии с Сеульским национальным университетом (Seoul National University) Samsung продолжает вести работы по дальнейшему снижению энергопотребления. Сам университет также ведёт исследования в этом направлении и уже разработал новую технологию DRAM Translation Layer. Ожидается, что её внедрение поможет снизить энергопотребление DRAM ещё на 31,6 %.

Источник: SK Hynix

Не отстаёт от Samsung и другой крупный производитель устройств памяти, компания SK Hynix. Она представила новое поколение LPDDR5X, в котором применен техпроцесс High-K Metal Gate (HKMG). Благодаря материалу с оптимизированной диэлектрической проницаемостью удалось впятеро повысить заряд в ячейке, снизив при этом токи утечки. В итоге новая память LPDDR5X от SK Hynix может похвастаться на 33 % более высокой производительностью при 20 % экономии в энергопотреблении, в сравнении с предыдущим поколением.

Компания Samsung Electronics объявила о создании первой в отрасли памяти DRAM ёмкостью 128 Гбайт с поддержкой стандарта Compute Express Link (CXL) 2.0. Массовое производство изделий планируется организовать до конца текущего года. Напомним, CXL — это высокоскоростной интерконнект, обеспечивающий взаимодействие хост-процессора с акселераторами, буферами памяти, устройствами ввода/вывода и пр. Финальные спецификации CXL 2.0 были обнародованы в конце 2020 года.

Память Samsung DRAM на базе CXL 2.0 использует PCle 5.0 x8 и обеспечивает пропускную способность до 35 Гбайт/с. В разработке изделия принимали участие специалисты Intel. Отмечается, что с целью создания технологий интерфейсов следующего поколения Samsung сотрудничает с рядом ЦОД, а также с производителями серверов и чипов с момента создания консорциума CXL в 2019 году.

Источник изображения: Samsung

Одним из партнёров является Montage Technology: эта компания планирует организовать массовое производство контроллеров с поддержкой CXL 2.0. Стандарт CXL 2.0 позволяет формировать пулы памяти и хостам динамически выделять память по мере необходимости. Новая технология позволит клиентам повысить эффективность использования ресурсов при одновременном снижении эксплуатационных расходов.

Samsung SDS, подразделение IT-сервисов и облачных услуг южнокорейского гиганта, по сообщению ресурса Datacenter Dynamics, открыло в Южной Корее новый ЦОД для организации HPC-вычислений. Планируется, что платформа Samsung Cloud Platform (SCP) станет доступна более широкому кругу клиентов. В глобальном масштабе Samsung SDS оперирует 17 дата-центрами.

В рамках программы по расширению облачных услуг Samsung запустила свой третий южнокорейский дата-центр: он расположен в Донтане в провинции Кёнгидо (Gyeonggi-do). Это, как утверждается, первый в стране специализированный ЦОД для HPC-задач, спроектированный с прицелом на ИИ-приложения и анализ больших данных. Площадка получила название Dongtan IDC.

Источник изображения: Samsung SDS

Дата-центр сейчас включает четыре зала. Коэффициент энергоэффективности PUE равен 1,1 — используется естественное охлаждение благодаря ветрам и прохладному климату. Введя этот ЦОД в эксплуатацию, компания рассчитывает сократить выбросы парниковых газов на 21 443 т к 2035 году. Показатели мощности ЦОД не раскрываются. Отмечается, что Dongtan IDC — это единственный кампус в Южной Корее, который предлагает взаимное резервирование между тремя дата-центрами, что обеспечивает ему дополнительную избыточность.

Хотя дисплей Stallion Техасского университета в Остине и без того имел одно из самых высоких разрешений в мире, университетская лаборатория TACC POB Visualization Laboratory обновила оборудование, позволяющее в мельчайших деталях рассматривать важные для учёных изображения. Речь идёт, например, как о снимках звёздного неба, сделанных космическими телескопами, так и о новых вариантах вируса COVID-19.

Новый Stallion, пришедший на замену системе, установленной ещё в 2008 году, работает в паре с кластером, предлагающим пользователям более 74 Гбайт графической памяти (ускорители NVIDIA Quadro K5000), 1,28 Тбайт оперативной памяти и 19 Тбайт постоянной памяти, а также 232 ядра CPU. За вывод изображения и управление «распределённым» дисплеем отвечает ПО DisplayCluster и MostPixelsEver. Обновлённый дисплей, состоит из восемнадцати (6×3) 65″ QLED-панелей Samsung, каждая — с разрешением 8К. После обновления суммарное разрешение дисплея увеличилось со 328 до 597 МПикс, а его яркость выросла.

Источник изображения: TACC

По мнению учёных, даже старый Stallion уже «менял правила игры», а его новая версия стала ещё лучше — теперь, к примеру, можно в мельчайших деталях рассматривать объекты вроде развалин древнего камбоджийского мегаполиса Ангкора. Исследователи способны будут разглядеть даже те детали, которые раньше остались бы незамеченными. В частности, активно пользуется новой технологией команда Cosmic Evolution Early Release Science Survey (CEERS), изучающая данные, снятые телескопом «Джеймс Уэбб» — даже на небольшом фрагменте можно разглядеть огромное количество незаметных ранее галактик, включая самые отдалённые из известных сегодня.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

На ежегодной конференции Samsung Tech Day 2022 компания раскрыла свои планы относительно новинок в сфере памяти NAND и DRAM. Новые чипы по классификации Samsung относятся к поколению 1b — пятому поколению DRAM-устройств, использующих технологические процессы класса 10 нм. Корпорация намеревается развернуть массовое производство таких микросхем уже в 2023 году. Одновременно ведётся разработка новых технологий и материалов (в частности, диэлектриков класса High-K), позволяющих выйти за рамки 10-нм техпроцессов для чипов DRAM.

Глава подразделения Memory Business в Samsung Electronics Чжун Бэй Ли. Источник изображения: news.samsung.com

В будущий спектр решений памяти нового поколения войдут кристаллы DDR5 ёмкостью 32 Гбит, экономичные чипы LPDDR5X с производительностью 8,5 Гбит/с на контакт и сверхскоростные микросхемы GDDR7 с невиданной ранее для этого типа памяти скоростью 36 Гбит/с на контакт. Для сравнения, GDDR6X на борту новейших ускорителей NVIDIA GeForce GTX 4090 работают на скорости всего 21 Гбит/с.

Столь быстрая память будет востребована в ЦОД нового поколения, суперкомпьютерах и кластерных системах, а также в игровой индустрии как видеопамять графических ускорителей и консолей следующих поколений. Экономичные и вместе с тем ёмкие решения, созданные с использованием новых техпроцессов, найдут своё место в мобильных устройствах и на рынке автономных транспортных средств.

Модули Samsung AXDIMM. Источник изображения: news.samsung.com

Но Samsung уделяет пристальное внимание и другим, более специализированным типам памяти, в частности, вычислительной памяти HBM-PIM (Processing-in-Memory) и AXDIMM с ускорителями на борту, а также продвижению стандарта CXL, который позволит достичь нового уровня дезагрегации инфраструктуры. За прошедшие 40 лет работы в области выпуска микросхем памяти общий их объём, произведенный компанией, достиг 1 трлн Гбайт, причем половина этого объёма выпущена за последние 3 года.

Также Samsung рассказала о восьмом и девятом поколении флеш-памяти V-NAND. В текущем восьмом поколении компания достигла наивысшей плотности упаковки ячеек среди всех TLC-устройств с ёмкостью чипа 512 Гбит, а к концу года будут доступны и микросхемы ёмкостью 1 Тбит. Девятое поколение запланировано на 2024 год, а к 2030 году компания надеется выпустить флеш-память с более чем тысячью слоёв. В связи с ростом популярности машинного обучения и возрастанием объёма ИИ-моделей Samsung ускорит процесс перехода от TLC к более ёмкой QLC NAND.

Samsung анонсировала новые решения для корпоративного сектора, которые, по словам компании, «трансформируют перемещение, хранение, обработку и управление данными в эпоху Big Data». Впрочем, подробные характеристики новинок компания не предоставила, ограничившись общими словами.

Первым в списке значится петабайтное хранилище (Petabyte Storage). Под этим компания подразумевает возможность формирования СХД ёмкостью от 1 Пбайт на базе единственного узла. Высота и компоновка такого узла не уточняются, но это не так и важно, поскольку аналогичные, пусть и поначалу специализированные, решения от других вендоров были представлены ещё два с лишним года назад. Упомянула Samsung и о возможностях расширенной телеметрии, отслеживающей состояние DRAM, NAND, контроллера и прошивки в составе SSD и позволяющей зарнее выявить потенциальные проблемы.

Изображения: Samsung

Следующий анонс касается т.н. Memory-Semantic SSD, который, по словам компании, сочетает преимущества обычных накопителей и оперативной памяти. В этом можно было бы увидеть намёк на SCM-решение, подходящее в качестве замены почивших Optane, но в данном случае прямо говорится о наличии DRAM-кеша, который позволяет до 20 раз улучшить показатели скорости и задержки на случайных операциях чтения по сравнению с обычными SSD.

Новый SSD оптимизирован для мелкоблочных чтения и записи, что, по словам Samsung, крайне важно для ИИ-нагрузок и машинного обучения. Кроме того, прямо говорится о поддержке CXL. Анонсированные вчера спецификации CXL 3.0 как раз позволяют в полной мере задействовать все возможности такого гибридного SSD в составе CXL-фабрики и GFAM. Но до массового распространения этого стандарта пока ещё очень далеко.

Наконец, компания объявила о доступности накопителей PM1743 и PM1653 — первых SSD с поддержкой PCIe 5.0 и SAS-4 соответственно. Кроме того, компания напомнила о втором поколении своих SmartSSD с FPGA на борту и CXL-модулях DDR5. Однако сейчас для Samsung, пожалуй, важнее представить новое поколение NAND, чтобы догнать Micron, SK Hynix и даже YMTC.

UPD 08.08.2022: ресурс Blocks & Files поделился некоторыми подробностями о новинках Samsung. Так, в рамках проекта Petabyte Storage компания показала 128-Тбайт SSD на базе QLC-памяти и с поддержкой ZNS. Samsung смогла уместить в SFF-корпус сразу две платы с чипами памяти. Так что новинка значительно компактнее, ёмче и быстрее предыдущего рекордсмена — 100-Тбайт Nimbus ExaDrive.

Прототип Memory-Semantic SSD базируется на PM9A3 с CXL-интерфейсом и 8-Гбайт DRAM-кешем. Он действительно предлагает как NVMe-доступ (CXL.io), так и load/store (CXL.mem). Наличие DRAM-буфера позволяет работать с блоками размером от 64 байт. Заявленная пиковая производительность для последовательного чтения достигает 139 Гбайт/с, а для случайного — 22 млн IOPS.

Идея «умных» накопителей не нова и довольно очевидна — накопители можно дополнить чипами, которые могут взять на себя первичную обработку данных непосредственно на месте их хранения, например, обслуживая рутинные операции с базами данных или (де-)компрессию на лету и без загрузки CPU хост-системы.

Samsung Electronics экспериментирует с данной технологией давно: компания демонстрировала прототипы «вычислительных SSD» ещё на SC18, а в 2020 году уже представила коммерческие накопители SmartSSD, оснащённые мощной ПЛИС Xilinx Kintex, дополненной 4 Гбайт оперативной памяти. Но пришло время двигаться дальше и сегодня компания анонсировала новое поколение накопителей.

Источник: Samsung Electronics

Во втором поколении SmartSSD компания-разработчик сменила FPGA Kintex на более универсальную и производительную платформу Versal. Сама AMD Xilinx называет эти чипы «адаптивной платформой ускорения вычислений», поскольку в них имеются блоки практически на любой случай, от классической ПЛИС до ядер Arm Cortex-A и R, а также DSP и криптодвижки.

Источник: Samsung Electronics

По словам Samsung, новые накопители обрабатывают «тяжёлые» запросы к БД на 50 % быстрее традиционных серверных SSD, при этом они на 70 % экономичнее, а выигрыш по нагрузке на CPU сервера составляет и вовсе 97 %, поскольку основную работу берёт на себя Versal. Главной областью применения SmartSSD нового поколения Samsung видит рынок машинного обучения и сетей пятого и шестого поколений, как требующий активной обработки больших объёмов данных.