Компания AMD на суперкомпьютерной конференции ISC 2023, по сообщению ресурса Tom's Hardware, раскрыла дополнительную информацию о гибридном изделии Instinct MI300. Новый APU найдёт применение в HPC-системах, а также в высокопроизводительных серверах для дата-центров.

Как говорилось ранее, MI300 — это самый крупный и сложный чип, когда-либо созданный специалистами AMD. Он содержит в общей сложности около 146 млрд транзисторов. Конструкция включает ядра CPU (Zen 4) и GPU (CDNA 3), вспомогательную логику, I/O-контроллер, а также память HBM3. В общей сложности задействованы 13 чиплетов, четыре из которых изготавливаются по 6-нм технологии, а ещё девять — по 5-нм.

По сравнению с Instinct MI250 новинка получила ряд архитектурных изменений. В частности, узел с Instinct MI250 (как у Frontier) имеет отдельные блоки CPU и GPU, дополненные единственным процессором EPYC для координации рабочих нагрузок. В свою очередь, узел Instinct MI300 содержит интегрированный 24-ядерный чип EPYC Genoa, а поэтому необходимость во внешнем CPU отпадает.

Источник изображений: AMD

Вместе с тем сохранена топология, позволяющая каждому из блоков обмениваться данными со всеми другими. Причём в случае Instinct MI300 снижается задержка и повышается общая производительность. Компоненты чипа объединены посредством Infinity Fabric четвёртого поколения. В оснащение ходят 128 Гбайт общей для CPU и GPU памяти HBM3. Похожий подход реализован в чипах NVIDIA Grace Hopper, а вот Intel от гибридности в ускорителях Falcon Shores пока отказалась.

Компания Atos объявила о заключении контракта на создание и установку нового высокопроизводительного комплекса для Общества научных исследований имени Макса Планка. В основу системы ляжет суперкомпьютерная платформа BullSequana XH3000 с новейшими процессорами AMD EPYC и ускорителями Instinct. Стоимость проекта превышает €20 млн.

Суперкомпьютер будет эксплуатироваться Вычислительным и информационным центром Общества Макса Планка (MPCDF) в Гархинге недалеко от Мюнхена (Германия). Систему планируется применять для решения задач в области астрофизики, биологических исследований, разработки передовых материалов, физики плазмы и технологий ИИ.

Комплекс получит систему прямого жидкостного охлаждения (DLC) без вентиляторов. Коэффициент эффективности использования энергии (PUE) составит менее 1,05, что намного ниже по сравнению с другими HPC-установками. В суперкомпьютере будут применяться чипы AMD EPYC Genoa и ускорители Instinct MI300A. Система будет включать 768 процессорных узлов и 192 узла с ускорителями. В состав комплекса войдёт хранилище IBM SpectrumScale.

Источник изображения: Atos

Узлы CPU планируется поставить в III квартале 2023 года, тогда как развёртывание узлов с ускорителями ожидается в первой половине 2024 года. По производительности новый суперкомпьютер в три раза превзойдёт нынешний комплекс Cobra, который используется в MPCDF и также базируется на технологиях Atos. Его пиковое быстродействие достигает 11,4 Пфлопс.

На CES 2023 компания AMD впервые показала публике новый APU Instinct MI300. На сегодняшний момент MI300 — крупнейший и самый сложный чип, когда-либо созданный в стенах Advanced Micro Devices. Он насчитывает 146 млрд транзисторов, составляющих ядра CPU и GPU, вспомогательную логику, I/O-контроллер, а также память HBM3. По сложности новинка, таким образом, превосходит и Intel Xeon Max (100 млрд транзисторов), и гибрид NVIDIA Grace Hopper (80 млрд транзисторов).

Все компоненты чипа объединены посредством 4-го поколения Infinity Fabric, физически же чиплеты разнесены не только по горизонтали, но и по вертикали, причём сами чиплеты производятся с использованием разных техпроцессов. В составе MI300 имеется 4 чиплета, выполненных по технологии 6 нм, на которых, в свою очередь, располагаются ещё 9 чиплетов, но уже использующих вышеупомянутый 5-нм техпроцесс.

Источник: AMD/YouTube

6-нм чиплетамы образуют активную подложку, которая включает I/O-контроллер (в том числе для работы с памятью) и вспомогательную логику, а более совершенный 5-нм техпроцесс использован для вычислительных ядер. CPU-ядер с архитектурой Zen 4 в составе нового процессора 24. К сожалению, именно о CDNA-ядрах говорится мало и не озвучивается даже их число. С учётом того, что в Zen 4 используются 8-ядерные чиплеты, 3 из 9 «верхних» блоков MI300 именно процессорные.

Также на снимке можно разглядеть 8 сборок HBM3, суммарный объём которых составляет 128 Гбайт. Теоретически это может означать эффективную ширину шины вплоть до 8192 бит и пропускную способность в районе 5 Тбайт/с или даже больше. Такое сочетание позволит MI300 в 8 раз опередить MI250X в ИИ-задачах (правда, речь о разреженных FP8-вычислениях), и это при пятикратном превосходстве в энергоэффективности. Последнюю цифру озвучивала и Intel, говоря о своих APU Falcon Shores, выход которых намечен на 2024 год.

Конкретные значения энергопотребления и тепловыделения пока остаются тайной, но MI300, согласно Tom's Hardware, получил LGA-упаковку (SH5), напоминающую таковую у новеньких EPYC Genoa. Также на презентации было указано, что работоспособный кремний MI300 уже получен и находится в настоящее время в лабораториях AMD. Иными словами, у «красных» всё идёт по плану — официальный анонс состоится во второй половине нынешнего, 2023 года. Впрочем, MI300 будет дорогим и редким чипом.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

SiPearl, европейский разработчик высокопроизводительных и энергоэффективных процессоров для суперкомпьютеров, и компания AMD объявили о сотрудничестве. Цель инициативы — ускорение создания HPC-систем экзафлопсного класса для Европы.

На первом этапе стороны оценят совместимость ПО AMD ROCm с Arm-процессорами SiPearl Rhea. На основе полученных результатов будет создан оптимизированный софт, который расширит возможности названных чипов в сочетании с ускорителями AMD Instinct. Данная работа направлена на портирование и оптимизацию компонентов AMD HIP, компиляторов и библиотек OpenMP.

На следующем этапе сотрудничество будет расширено за счёт привлечения сторонних европейских институтов, использующих инструменты моделирования исследований. Это позволит ключевым европейским разработчикам и владельцам кода переносить свои приложения на платформу SiPearl/AMD. Кроме того, планируется взаимодействовать с OEM-производителями, использующими чипы SiPearl Rhea вместе с ускорителями AMD Instinct.

Источник изображения: SiPearl

Предполагается, что сотрудничество поможет в создании экзафлопсных суперкомпьютеров для Европы, нацеленных на широкий спектр НРС-задач: это научные проекты, искусственный интеллект, здравоохранение, климат, энергетика, инженерия, геология и правительство.

Стартап SiPearl начал операционную деятельность в январе 2020 года. В руководящий состав входят специалисты Atos, Intel, Marvell, MediaTek и STMicroelectronics. Ранее SiPearl сообщила о партнёрстве с HPE, а также о сотрудничестве с Intel и NVIDIA.

До ввода в строй нового кластера Лос-Аламосской национальной лаборатории (LLNL) под названием El Capitan ещё остается немало времени. Тестовые мини-кластеры El Capitan уже показывают неплохие результаты; в их основе лежит привычное сочетание процессоров AMD EPYC Milan и ускорителей Instinct MI250X, однако финальная версия суперкомпьютера, как оказалось, будет использовать более прогрессивную новинку — новейшие APU MI300.

Об этом на очередном мероприятии HPC User Forum поведал миру глава центра высокопроизводительных вычислений LLNL. Поскольку полномасштабный запуск El Capitan назначен на конец 2023 года, времени на переход от EPYC 7003 с дискретными модулями ускорителей Instinct к высокоинтегрированному MI300 должно хватить. При этом ожидается, что машина будет активно эксплуатироваться минимум до 2030 года.

Источник: LLNL

MI300 — амбициозный проект AMD, который должен показать, что компания полностью освоила все преимущества чиплетной технологии: на одной подложке будут установлены чиплеты процессорных ядер Zen 4 (Genoa), блоки ускорителей с архитектурой CDNA3, модули кеша и сборки сверхбыстрой памяти типа HBM3. Таким образом, MI300 с полным основанием претендует на звание первого в мире действительно универсального процессора для HPC-систем, способного работать с любыми видами нагрузок.

Источник: LLNL (via TheNextPlatform)

Общий уровень энергопотребления El Capitan планируется удержать в рамках 40 МВт (а не 35 МВт) при FP64-производительности свыше 2 Эфлопс — удельный показатель составит порядка 50 Гфлопс/Вт. В последнем рейтинге Green500 кластер Frontier TDS показал почти 63 Гфлопс/Вт, тогда как для суперкомпьютера Frontier целиком удалось добиться 52,23 Гфлопс/Вт. В El Capitan лаборатория перейдет от использования проприетарного системного и управляющего ПО к собственному стеку NNSA Tri-Lab Operating System Stack (TOSS).

Такие узлы HPE Cray EX235a используются в тестовых кластерах El Capitan. Переход на MI300 упростит конструкцию. Источник: HPC Wire

Также было упомянуто, что у КНР есть уже два экзафлопсных суперкомпьютера, а «глобальные соперники» США за последние годы модернизировали свой ядерный арсенал. Подобная задача теперь стоит и перед самими Соединёнными Штатами. Национальное управление ядерной безопасности (National Nuclear Security Administration, NNSA) возложит эту миссию на El Capitan, начиная со II квартала 2024 года.

Напомним, на очереди среди всех экзафлопсных систем США этот суперкомпьютер третий, вторым же является 2-Эфлопс Aurora, система HPE с изрядно задержавшимися процессорами Intel Sapphire Rapids и ускорителями Ponte Vecchio, которая устанавливается в Аргоннской национальной лаборатории. Но MI300 — не единственный HPC-гибрид. В скором времени появятся несколько машин с чипами NVIDIA Grace Hopper.

C момента анонса архитектуры Zen и появления процессоров EPYC можно отсчитывать начало возвращения AMD на серверный рынок и в сферу HPC. Многие владельцы ЦОД и проектировщики суперкомпьютеров всё чаще выбирают AMD, но компания также стремится упрочнить свои позиции и на рынке систем машинного интеллекта, где долгое время доминирует NVIDIA со своей экосистемой CUDA.

Причём речь идёт о завоевании всех сегментов, от сферы периферийных вычислений до крупных облачных систем, для чего в распоряжении компании уже есть «нужный кремний и программное обеспечение». Именно такое заявление «красные» сделали на мероприятии Financial Analyst Day 2022. Глава AMD, Лиза Су (Lisa Su) отметила, что предстоит много работы, но открывающиеся перспективы роста того стоят. Наступление уже началось: отмечается интерес к процессорам EPYC для применения в инференс-системах и ускорителей Instinct для обучения нейросетей.

Охват рынка ИИ-систем и машинного обучения решениями AMD. Источник: AMD

С Instinct всё понятно, на сегодня это один из мощнейших ускорителей в отношении «чистой» производительности, а вот EPYC добились серьёзного прироста скорости исполнения инференс-нагрузок во многом благодаря благодаря библиотеке ZenDNN (Zen Deep Neural Network). Эта библиотека тесно интегрирована с популярными фреймворками TensorFlow, PyTorch и ONNXRT.

Она поддерживается процессорами EPYC, начиная со второго поколения, но компания пойдет и дальше в деле внедрения элементов ИИ в новые поколения процессоров на аппаратном уровне. Речь, в том числе, идёт о поддержке AVX-512 VNNI, которая появится в EPYC Genoa и Ryzen 7000. Ранее поддержкой таких инструкций могли похвастаться только процессоры Intel, которая активно вкладывалась в развитие ПО в течение нескольких лет.

Адаптивная архитектура XDNA. Источник: AMD

Другой путь заключается в использовании чиплетов на базе блоков Xilinx. Эта инициатива получила название адаптивной архитектуры XDNA. Нужны блоки появились ещё в серии Versal в 2018 году, а сейчас AMD намеревается снабдить аналогичным ИИ-движком ноутбучные Ryzen: Phoenix Point (2023 год) и Strix Point (2024 год). Эта же технология появится в EPYC, но точные сроки пока не оговорены, зато сообщается, что чипы с архитектурой Zen 5 c новыми оптимизациями для машинного обучения дебютируют в 2024 году.

На этом планы относительно портфолио Xilinx не заканчиваются. Решения на базе матриц Zynq давно и активно применяются в индустрии, здравоохранении, транспортных системах и «умных» производствах. Это же относится к рынку телекоммуникаций, использующему Xilinx Versal и облачным ЦОД, где довольно широко применяются ускорители Alveo и ПЛИС Kintex. И AMD ни в коем случае не собирается покидать эти секторы рынка.

Сферы и отрасли, потребности которых могут покрываться решениями AMD. Источник: AMD

Компания также активно готовит почву к пришествию своего первого серверного APU Instinct MI300. Так, пакет ROCm получил оптимизации для сценариев обучения и инференса в PyTorch и TensorFlow, и он же теперь может работать на потребительских моделях Radeon с архитектурой RDNA. AMD также разрабатывает SDK с предварительно оптимизированными моделями, что упростит разработку и внедрение ИИ-приложений.

Можно сказать, что охват рынка искусственного интеллекта и машинного обучения у AMD будет держаться на трёх китах: процессорах Ryzen и EPYC для моделей малых и средних объёмов; будущих EPYC с ИИ-блоками и ускорителях на базе Radeon и Versal для средних и больших моделей; ускорителях и APU Instinct вкупе с адаптивными чипами Xilinx для моделей большого и сверхбольшого размера.

Консолидация всех технологий ИИ, имеющихся у AMD, в единый программный стек. Источник: AMD

А для лучшей консолидации AMD активно объединяет в единый массив ранее независимые средства ПО для всех типов вычислителей. В этом она активно сотрудничает с другими компаниями, включая таких гигантов, как Microsoft и Meta*. Концепция Unified AI Stack будет развиваться и в дальнейшем, включая всё новые и новые компоненты, так что в итоге разработчику систем машинного интеллекта можно будет использовать единый набор инструментов, поддерживающий все ИИ-технологии AMD. В том же направлении движется и Intel со своей инициативой oneAPI.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Идея интеграции классического процессора с графическим не нова — очень многие клиентские CPU/APU сегодня построены именно по такой схеме. В мире серверов и HPC эта концепция внедряется не так быстро, но на мероприятии Financial Analyst Day 2022 компания AMD рассказала о планах по созданию своего первого 5-нм гибридного APU MI300. Этот чип, запланированный на 2023 год, должен объединить в себе архитектуры Zen 4 и CDNA 3.

MI300 Источник: AMD

Как известно, текущее поколение ускорителей Instinct MI200 использует вторую версию архитектуры CDNA, и теперь мы знаем о планах «красных» по внедрению следующей версии. В отличие от других планов AMD, касающихся графических процессоров и завязанных на двухгодичный цикл обновления, серверные варианты ускорителей будут обновляться раз в год. Компания также раскрыла часть деталей, относящихся к CDNA 3.

Источник: AMD

Во-первых, весь «кремний» CDNA 3 будет производиться с использованием 5-нм техпроцесса (TSMC N5/N5P), и, как и CDNA 2, он будет базироваться на чиплетной компоновке с отдельными кристаллами для памяти, кешей и вычислительных ядер. При этом AMD называет свою технологию 3D chiplet, то есть, речь идёт о плотной вертикально-горизонтальной компоновке. Так, чиплеты кеша будут располагаться под процессорными, а на самый верх «стопки» компания вынесет чиплеты логики, как наиболее прожорливые и горячие.

Источник: AMD

Самым важным новшеством в CDNA — четвёртое поколение Infinity Architecture, позволяющее, в числе прочего, сделать подсистему памяти полностью унифицированной и когерентной — в MI200 реализована только когерентность, но не единое адресное пространство. Иными словами, если старшие варианты MI200 всё ещё выглядят как пара ускорителей, то решения на базе CDNA 3 с точки зрения системы будут выглядеть и функционировать как единый чип, несмотря на чиплетную компоновку.

Источник: AMD

Что касается памяти, то это, конечно же, общая для всех HBM. Тип не уточняется, но можно с достаточной степенью уверенности предположить, что это будет HBM3. Об архитектурных улучшениях в сценариях машинного обучения известно пока немного, известно, что в CDNA 3 появится поддержка новых смешанных типов вычислений, зато AMD уверенно обещает более чем в 5 раз поднять производительность на Вт в такого рода задачах. Надо полагать, что достигнуто это будет существенным увеличением качества и количества движков для матричных вычислений.

Источник: AMD

Но самое интересное в свежих планах AMD — проект MI300. Об интеграции классических CPU с ускорителями говорилось давно, однако недостаточно тонкие и энергоэффективные техпроцессы не позволяли создать чип, укладывающийся в разумные рамки энергопотребления и тепловыделения. С 5-нм оптимизированным техпроцессом это, похоже, становится возможным.

Источник: AMD

MI300 должен объединить в себе архитектуры CDNA 3 и Zen 4, причём, благодаря Infinity Architecture они смогут равноправно пользоваться всеми ресурсами памяти (и, возможно, кешей), имеющимися на чипе, что исключает копирование одного и того же набора данных между пулами памяти, лишь снижающего общую эффективность. Не исключено также, что отпадёт нужда во внешней DRAM благодаря наличию на борту этого монстра собственного объёмного пула HBM. Впрочем, новый вариант Infinity получил поддержку CXL 2.0, что упростит работу с внешними пулами DRAM.

Источник: AMD

Пока неизвестно, сколько процессорных ядер и сколько ядер CDNA 3 получит MI300, но AMD заявляет, что новинка более чем в 8 раз превзойдёт MI250X в задачах обучения ИИ-моделей. В целом, планы AMD хорошо укладываются в современную тенденцию гибкой компоновки ресурсов в рамках чипа: этим же путём идут NVIDIA со своим проектом Grace Hopper (процессорные ядра Grace + H100) и Intel, разрабатывающая XPU Falcon Shores (x86 + Xe). Сама AMD также планирует интегрировать CPU и FPGA.

Официально эру экзафлопсных вычислений открыл не так давно суперкомпьютер Frontier, показавший в тестах устоявшуюся производительность на уровне 1,102 Эфлопс. Хотя неофициально более мощные машины уже год как работают в Китае, США готовит им достойного противника. Это система El Capitan, которая монтируется в Лос-Аламосской национальной лаборатории (LLNL) в Нью-Мексико. Даже тестовая платформа, состоящая всего из трёх шкафов, уже попала Топ-200 наиболее мощных HPC-систем на планете.

Как и Frontier, основу El Capitan составляют вычислительные узлы HPE Cray EX235a, в которых установлены процессоры AMD EPYC третьего поколения (Milan) и ускорители Instinct MI250X. Три тестовых шкафа получили названия rzVernal, Tioga и Tenaya, и в свежий список TOP500 вошли все трое. Быстрейшей оказалась rzVernal, занявшая 123 место с результатом 4,1 Пфлопс, Tioga расположилась на 135- месте (3,67 Пфлопс), а Tenaya показала всего 2,86 Пфлопс, но и этого хватило для 200 места.

Тестовые стойки El Capitan. Источник: LLNL

В 2008 году для преодоления планки в 1 Пфлопс потребовалось целое здание и система с 12960 чипами IBM Cell и 6948 процессорами AMD Opteron (IBM Roadrunner). Сегодня втрое-вчетверо быстрее работает один шкаф, включающий в себя от двух до пяти стоек. Когда El Capitan будет полностью введён в строй полностью в 2023 году его производительность должна составить свыше 2 Эфлопс. Впрочем, нынешний лидер TOP500 в лице Frontier также может приблизиться к этому рубежу.

Каждый узел El Capitan содержит пару 64-ядерных процессоров AMD EPYC 7003, а также восемь OAM-модулей Instinct MI250X, поэтому удивляться «способностям» новой системы не стоит — один такой модуль развивает 45-90 Тфлопс, в зависимости от типа вычислений, а в менее точных форматах может показать и свыше 3500 Тфлопс. В качестве интерконнекта используется фирменная сеть Cray Slingshot 11, каждый узел оснащается четырьмя адаптерами. Разумеется, при такой плотности размещения мощностей охлаждение может быть только жидкостное.

Конструкция узла HPE Cray EX235a. Источник: HPC Wire

По оценкам некоторых экспертов, у США будет лишь два с небольшим года для того, чтобы удержать ведущие позиции в HPC-сегменте, поскольку к 2025 году число китайских систем экзафлопсного класса может вырасти до 10. При этом и у SunWay (ShenWei) OceanLight, и у Tianhe-3 вполне может выявиться потенциал для модернизации. Но тем интереснее будет битва за Зеттафлоп. Возможно, потесниться в итоге придётся и Arm, и x86.

Компания ASUS сообщила о том, что её серверы отныне могут комплектоваться новейшим ускорителем AMD Instinct MI210, дебютировавшим на этой неделе. Такие системы могут применяться для ИИ-приложений, виртуализации, рендеринга материалов высокого качества и других ресурсоёмких задач.

В частности, установка акселераторов Instinct MI210 доступна для серверов ASUS ESC8000A-E11 и ESC4000A-E11, выполненных в формате 4U и 2U соответственно. Первая модель рассчитана на два процессора AMD EPYC третьего поколения в исполнении Socket SP3 (LGA 4094), вторая — на один.

Источник изображений: ASUS

Сервер ESC8000A-E11 может быть оборудован восемью ускорителями. Доступны 32 слота для модулей оперативной памяти DDR4-3200 суммарным объёмом до 8 Тбайт. Поддерживается монтаж восьми накопителей LFF или SFF, а также двух твердотельных модулей M.2.

Вариант ESC4000A-E11 рассчитан на четыре акселератора. Объём оперативной памяти DDR4-3200 может составлять до 2 Тбайт (восемь разъёмов). Могут быть задействованы восемь накопителей LFF или SFF и один модуль M.2. Серверы наделены воздушным охлаждением.