В Аргоннской национальной лаборатории Министерства энергетики США (DOE) ведут разработку переносимых гетерогенных приложений для суперкомпьютеров следующего поколения. Это в определённой степени вынужденное решение, поскольку новые машины базируются на различном аппаратном обеспечении от AMD, Intel и NVIDIA.

В частности для будущего экзафлопсного суперкомпьютера Aurora от Intel ведётся работа по адаптации инструментария HIP (C++ Heterogeneous-Compute Interface for Portability), входящего в состав платформы AMD ROCm. Исходная версия уже поддерживает ускорители AMD и NVIDIA, потому ожидается, что многие HPC-приложения так или иначе будут использовать HIP при разработке и адаптации. А уже в этом году ожидается появление поддержки ещё и ускорителей Intel.

В целом, идея состоит в максимально возможной унификации гетерогенных приложений, чтобы их можно было легко запускать на разных конфигурациях суперкомпьютеров. Разработчики опираются на результаты более раннего проекта HIPCL, позволяющего HIP работать поверх OpenCL. Однако для Aurora основным низкоуровневым API будет Level Zero из состава oneAPI, так что теперь работа ведётся в рамках проекта HIPZL. Пока что проект находится на ранней стадии, хотя уже есть несколько тестовых приложений.

Программная платформа AMD ROCm существует уже несколько лет, но официально поддерживается компанией только для дистрибутивов SLES, RHEL/CentOS и LTS-выпусков Ubuntu. При этом самостоятельная сборка всего программного стека ROCm является нетривиальной задачей. Однако теперь, похоже, в списке поддерживаемых платформ появится ещё как минимум Debian и его ответвления.

Как сообщает Phoronix, сопровождающие Debian при поддержке разработчиков из AMD при добились прогресса в портировании ROCm в пакетную базу этого дистрибутива. Если всё пойдёт по плану, то поддержку ROCm получат и наследники Debian, включая Ubuntu (обычные выпуски), Linux Mint, Pop!_OS и т.д. Также ранее говорилось о подготовке пакетов с ROCm для Fedora, но инициатива, не найдя должной поддержки, фактически заглохла. Однако по счастливому стечению обстоятельств интерес к ней снова появился со стороны одного из сотрудников AMD, который интересуется, актуальна ли она.

Сам проект ROCm подразумевает создание и развитие открытой и универсальной программной платформы для CPU, GPU и FPGA, которая сможет упростить создание, перенос и адаптацию ПО. Фактически это стек для высокопроизводительных вычислений (HPC) и ИИ-решений, который позволяет задействовать сильные стороны чипов разных архитектур.

AMD анонсировала новую платформу для разработчиков AMD Accelerator Cloud (AAC). Это приватное облако, которое обеспечивает удалённый доступ к новейшим продуктам AMD для тестирования их возможностей в задачах высокопроизводительных вычислений (HPC) и искусственного интеллекта (ИИ).

Для начала работы с платформой необходимо пройти регистрацию и получить одобрение доступа со стороны AMD, после чего пользователи получат возможность формировать по запросу необходимую конфигурацию узлов, выбирая нужные им ускорители AMD Instinct, ОС, а также версию пакета ROCm, ради продвижения которого, судя по всему, всё и затевалось.

В ближайшие месяцы в облаке появятся ускорители Instinct MI200 и новейшие процессоры AMD EPYC, которые можно будет протестировать на пригодность для выполнения планируемых пользователем рабочих нагрузок. Это упростит перенос кода, бенчмаркинг ПО или тесты по масштабированию нагрузок на большее количество вычислительных узлов.

Изображение: AMD

Компания намерена дополнить этот сервис треннингами и хакатонами, в том числе приватными, для того, чтобы потенциальные клиенты смогли быстрее отточить свои навыки и получить максимальную отдачу от решений AMD. Это немаловажная для AMD инициатива, поскольку многие разработчики приложений HPC/ИИ не так хорошо осведомлены о текущих возможностях программных решений AMD.

Аналогичный сервис два года назад представила Intel — в облачной платформе DevCloud доступны процессоры, ускорители, GPU и FPGA компании, а также наборы средств разработки, программные пакеты, библиотеки и прочее ПО, необходимое для тестирования и оптимизации программных решений. Запуск DevCloud был приурочен к анонсу oneAPI и ускорителей Intel X^e.

AMD опубликовала исходный код нового проекта под названием GPUFORT. Он будет доступен под эгидой ROCm и станет новой попыткой создать открытую альтернативу CUDA от NVIDIA, на этот раз для Fortran. Код GPUFORT опубликован на GitHub под лицензией MIT.

«Красные» уже несколько лет пытаются помочь разработчикам перенести как можно больше кода, специфичного для CUDA, на платформы и фреймворки, которые поддерживаются ускорителями Radeon и Instinct. В основном это касалось C/C++, но GPUFORT сосредоточен на портировании кода на языке Fortran и позволяет приводить код проектов для CUDA или OpenACC к OpenMP 4.5+ или HIP C++.

На данный момент это всё ещё исследовательский проект, а не готовый набор инструментов. Разработчики сами говорят, что до полной автоматизации ещё далеко, поскольку в любом случае потребуется ручная проверка транслированного кода. Тем не менее, сами они уже успешно использовали GPUFORT для переноса ряда HPC-приложений, производительность которых оказалась сравнимой с исходным CUDA-вариантом.

Компания AMD запустила Infinity Hub, новый портал для проектов с открытым исходным кодом, которые используются в HPC. Это не первая инициатива компании в данной области, но, пожалуй, пока самая интересная и многообещающая. Infinity Hub ориентирован на решения для высокопроизводительных вычислений (HPC), которые будут работать в первую очередь на ускорителях AMD Instinct, а не на Radeon.

Портал «заточен» на перенос существующего ПО на платформу Radeon Open Compute (ROCm), а не разработку новых решений с нуля. Сейчас на портале есть инструкции о том, как получить и использовать версии пакетов AMBER, Chroma, CP2K, GROMACS, NAMD, OpenMM, PyTorch, SPECFEM3D и TensorFlow, оптимизированных для ROCm. Некоторые из этих проектов уже имеют поддержку ROCm, так что в этом случае просто описываются технические аспекты.

Хотя ROCm может работать и с некоторыми потребительскими ускорителями Radeon, всё-так больше внимания уделяется именно Instinct. Как отмечается, AMD стремится сделать Infinity Hub ресурсом, который упростит развертывание рабочих нагрузок HPC на ускорителях вычислений. Эта инициатива также позволяет объединить все необходимые данные в одном месте.

На суперкомпьютерной выставке-конференции ISC 2021 AMD рассказала об обновлениях открытой платформы ROCm, представила инициативу по поддержке образовательных и исследовательских программ Education and Research (AIER) для использования ускорителей AMD Instinct, а также продемонстрировала динамику внедрения своих процессоров EPYC в отрасли высокопроизводительных вычислений (HPC).

Последний список Top500 рейтинга суперкомпьютеров демонстрирует продолжающийся рост числа процессоров AMD EPYC для HPC-систем. На процессорах AMD EPYC теперь базируется почти в 5 раз больше систем (49 против 10) по сравнению со списком июня 2020 года. Кроме того, они используются в половине 58 новых систем, пополнивших нынешний рейтинг.

«Высокопроизводительные вычисления приобретают всё большее значение при решении многих важных мировых проблем. И наша компания с помощью продуктов EPYC и Instinct стремится обеспечить такой уровень производительности и возможностей, который позволит преодолеть эксафлопсный барьер, ускорит научные открытия и внедрение инноваций» — прокомментировал Форрест Норрод (Forrest Norrod), старший вице-президент подразделения по центрам обработки данных и встраиваемым системам компании AMD.

В число новейших HPC-систем, построенных на продуктах AMD входят CSD3, COSMA8, Discoverer, Perlmutter, MeluXina, гибридная система метеобюро Великобритании, сразу четыре облачных NDv4-кластера в Microsoft Azure, вычислительный комплекс Национального суперкомпьютерного центра (NSCC) Сингапура, система Национального центра атмосферных исследований США (NCAR) и другие. Правда, около половины новых систем с EPYC, попавших в свежий список TOP500, соседствуют с ускорителями NVIDIA, которые обычно и обеспечивают основную производительность в такой связке.

top500.org

Исследование Intersect360, проведенное в 2020 году среди HPC-пользователей, показало, что AMD EPYC оставили у 78% респондентов положительные впечатления. Для сравнения, в 2016 году таких насчитывалось лишь 36%. Согласно новому исследованию Intersect360, 23% респондентов заявили о широком использовании процессоров EPYC в HPC-системах, а еще 47% в той или иной степени тестируют или используют эти процессоры. Этой тенденции, вероятно, в ещё большей степени будет способствовать недавний запуск новой серии процессоров AMD EPYC 7003.

Новых ускорителей на ISC 2021 компания не показала, но помочь учёным и исследователям воспользоваться всей мощью уже имеющихся в портфолио AMD решений Instinct призвана образовательная программа AIER. Она предлагает удалённый доступ к Instinct, учебному центру AMD ROCm и соответствующему ПО, а также к технической поддержке и руководствам по программным и аппаратным решениям AMD. Участвуют в программе как региональные партнёры, так и глобальные компании: Dell Technologies, Gigabyte, HPE и Supermicro.

Открытая программная платформа ROCm продолжает получать отраслевую поддержку, обрастая новыми приложениями, библиотеками и фреймворками для использования AMD-ускорителей. Это свидетельствует о том, что предложенный AMD инструмент для преобразования кода CUDA в C++, HIP воспринят сообществом как гетерогенная модель программирования, которую можно использовать при написании или адаптации своих кодов для ускорения на графических процессорах AMD, включая Gromacs, TensorFlow и GridTools.

В частности, теперь PyTorch для ROCm стал доступен в виде устанавливаемого пакета Python, что открывает перед разработчиками возможности для вычислений смешанной точности и крупномасштабного обучения с использованием библиотек AMD MIOpen и RCCL. А совсем недавно и CuPy, открытая библиотека для GPU-вычислений, получила версию 9.0 с поддержкой стека ROCm и ускорителей AMD.

Сегодня первое место в списке самых мощных на планете суперкомпьютеров занимает японский Fugaku, построенный на базе уникальных Arm-процессоров Fujitsu A64FX. Но времена его господства, похоже, продлятся недолго — в этом году будет запущен американский Frontier, который должен будет сместить с трона нынешнего короля супервычислений: сочетание AMD EPYC и ускорителей Instinct MI100 позволит ему преодолеть экзафлопсный барьер.

Как мы уже знаем, в основе ORNL Frontier лежит платформа HPE Cray EX. Каждый стандартный шкаф новой системы может содержать до 64 вычислительных модулей с двумя платами, несущими по два процессора AMD EPYC. Дополнят их ускорители AMD Instinct MI100, а в качестве интерконнекта будет использоваться Cray Slingshot. В отличие от Fugaku, Frontier относится к гетерогенным системам.

Суперкомпьютеры такой мощности позволят проводить исследования, недоступные учёным ранее. Одной из программ, разработанных в Ок-Ридже для Frontier, является CHOLLA. Речь идёт о комплекте специализированного программного обеспечения под общим названием «Computational Hydrodynamics on Parallel Architecture» (Вычислительная гидродинамика на параллельной архитектуре). Одна из ключевых областей применения такого ПО — астрофизика.

Структурная схема вычислительных модулей в MI100

Использование мощностей Frontier позволит понять, как происходят изменения в галактиках, устроенных подобно нашему Млечному Пути, причём, увидеть эти изменения — образование, эволюцию и гибель отдельных звёзд в масштабах целой галактики — можно будет в достаточно высоком разрешении. Будет смоделировано поведение 10 тыс. кубических ячеек космического пространства (примерно 50 тыс. парсек) в течение 500 миллионов лет. Это первый проект вычислительной астрономии, имеющий столь серьёзные масштабы.

Проект CHOLLA, запущенный на Frontier, позволит понять поведение загадочной тёмной материи

Интересно, что изначально программное обеспечение CHOLLA было рассчитано на платформу NVIDIA CUDA, но портирование на открытый аналог в лице AMD ROCm, оказалось очень простым. Как сообщает один из учёных Окриджской лаборатории, основную работу удалось проделать всего за несколько часов, а ведь речь о ПО, которое будет моделировать жизнь целой галактики. К тому же, производительность CHOLLA удалось без всяких оптимизаций поднять в 1,4 раза по сравнению с версией, выполняемой на NVIDIA Tesla V100. Оптимизированный вариант может оказаться ещё производительнее.

Чуть более месяца назад был анонсирован ускоритель AMD Instinct MI100. Но программная часть в виде Radeon Open eCosystem 4.0 (ROCm 4.0) появилась только сейчас. ROCm — это гипермасштабируемая платформа с открытым исходным кодом, предназначенная для ускорения вычислений за счёт объединения чипов разных классов (CPU, GPU, FPGA и пр.), которая не зависит от языка программирования.

Главной особенностью релиза ROCm 4.0 является поддержка архитектуры CDNA, на которой основан MI100. Помимо этого, в ROCm 4.0 также внесены различные улучшения компонентов, чтобы подготовить его к «эре экзафлопных вычислений» и применении в будущих суперкомпьютерах на базе решений AMD. Первым из них станет Frontier мощностью 1,5 Эфлопс, для которого уже ведутся подготовительные работы по монтажу.

Также в новом релизе заявлена поддержка BFloat16, возможность работы с несколькими графическими процессорами, повышение RAS (надежность, доступность и удобство обслуживания), совместимость с мультимедийным стеком Mesa и улучшения отладчика графического процессора. Более подробная информация о ROCm 4.0 доступна на GitHub.

Интересно, что в числе поддерживаемых GPU заявлены Vega (GFX9) и CDNA, тогда как более старые Polaris и Hawaii (GFX8 и GFX7) с новым стеком работать должны, но полная их поддержка не гарантируется. А вот новая архитектура RDNA Navi (GFX10), похоже, не поддерживается совсем, во всяком случае, официально. При этом свежий релиз Radeon Software для Linux с поддержкой RDNA 2 включает в себя и драйвер OpenCL на базе ROCm. Так что, по идее, совместимость есть, но по какой-то причине она заблокирована программно или ограничена.

В настоящее время можно сказать, что вычислительные устройства различных типов — ЦП, графические процессоры, ПЛИС, DPU и другие ускорители — существуют практически отдельно друг от друга. И каждый случай, требующий их совместной работы, приходится рассматривать отдельно. Однако будущее за конвергенцией: куда проще и выгоднее иметь единую открытую программную платформу, позволяющую легко комбинировать различные ускорители, составляя из них систему, способную оптимально решать поставленные перед ней задачи.

Intel продвигает oneAPI как единую, универсальную платформу для разработки под все вычислительные платформы сразу. У AMD же есть проект ROCm, который позволяет объединить усилия CPU и GPU, а теперь — хотя сделка до конца не закрыта — FPGA Xilinx. На SC20 компании провели первую демонстрацию работы.

Ускорители Xilinx Alveo, как, впрочем, и любые ускорители на базе достаточно сложных ПЛИС, имеют широчайший спектр применения, от чисто вычислительных задач до вспомогательных, вроде обслуживания «умных» сетевых соединений и работы в качестве «сопроцессора данных» (DPU). Суть проведённой AMD демонстрации в том, что за счёт службы трансляции адресов PCIe (Address Translation Service, ATS) платы Alveo получают доступ к ресурсам памяти других устройств, будь то системные процессоры или ГП-ускорители.

Платформа AMD ROCm позволяет унифицировать такие процессы, как обнаружение и резервирование ресурсов ПЛИС в ускорителях Alveo. При этом обеспечивается безопасная изоляция ресурсов памяти для каждого пользователя, синхронизация ускорителей Alveo и Instinct, а за распределение нагрузки пользовательских запросов используется тот же механизм, что и для плат Instinct.

Такой подход должен действительно упростить и унифицировать создание HPC-систем нового поколения, которые будут сочетать в себе ускорители различных типов. Подробнее о технологии ROCm можно узнать на сайте AMD. Поскольку платформа является открытой, следует ожидать появления нового кода и в репозиториях ROCm на GitHub.

AMD Instinct MI100 — первый ускоритель на базе 7-нм архитектуры CDNA, которая в отличие от RDNA ориентирована на вычисления, а не на графику, хотя и сохраняет некоторые компоненты для рендеринга. Тем не менее, пути RDNA и CDNA окончательно разошлись, и новый ускоритель предназначен исключительно для высокопроизводительных вычислений и ИИ.

Первенец серии MI100 имеет 120 CU, которые содержат новые блоки для матричных операций, которые важны в ИИ-нагрузках. Но работают они не в ущерб «классическим» вычислениям — пиковая FP64-производительность составляет 11,5 Тфлопс, а для FP32 ровно в два раза больше, 23 Тфлопс. Эти показатели выше, чем у NVIDIA A100, и AMD настаивает, что именно такой прирост производительности нужен для запланированного достижения заветной производительности в один экзафлопс.

AMD Instinct MI100

Впрочем, на другом конце спектра, в bfloat16-вычислениях, новинка от AMD проигрывает — 92,3 Тфлопс против 312 Тфлопс на Tensor Core. Прочие приведённые значения производительности для других показателей точности вычислений варьируются. Кроме того, PCIe-версия A100 в силу более низкого энергопотребления на реальных задачах может быть несколько медленнее, чем SXM-версия. А Instinct MI100, пока во всяком случае, доступна только в форм-факторе полноразмерной PCIe-карты с потреблением на уровне 300 Вт.

Карта оснащена 32 Гбайт HBM2-памяти c пропускной способностью 1,23 Тбайт/с, что несколько меньше, чем у PCIe-версии NVIDIA A100: 40 Гбайт HBM2e и 1,555 Тбайт/с соответственно. У обеих карт есть основной интерфейс PCIe 4.0 x16 (64 Гбайт/с) и дополнительная шина для прямого обмена данными между ускорителями. В случае NVIDIA это NVLink (600 Гбайт/с), который для PCIe-версии ограничен только двумя картами, а в случае AMD — это Infinity Fabric (IF).

У MI100 есть три IF-интерфейса с пропускной способностью 92 Гбайт/c (суммарно 276 Гбайт/с), что даёт возможность объединить до четырёх ускорителей, которые могут общаться друг с другом по схеме каждый-с-каждым. Причём оно не зависит от того, по какому интерфейсу, PCIe 3.0 или 4.0, сами ускорители подключены к хосту. Естественно, наиболее оптимальным вариантом для системы в целом будет связка из AMD EPYC и новых MI100.

Основной же козырь AMD, как это зачастую бывало и ранее — это стоимость новинок. Точные цены компания не приводит, но говорит о том, что по показателю производительность на доллар они 1,8-2,1 раза лучше, чем NVIDIA A100. Среди первых систем, для которых сделана валидация новых ускорителей есть Dell PowerEdge R7525, Gigabyte G482-Z54, HPE Apollo 6500 Gen10 Plus, Supermicro AS-4124GS-TNR. Избранные партнёры уже получили новые ускорители и системы на их основе для оценки производительности и адаптации ПО.

Вместе с выходом Instinct MI100 AMD представила и новый мажорный релиз ROCm 4.0, открытой программной платформы для HPC и ИИ. AMD особо отмечает рост производительности, простоту использования и готовность множества программных решений к работе с новым релизом и новым же «железом». И главное — простоту портирования кода на новую платформу, в первую очередь с NVIDIA CUDA. У некоторых разработчиков на это ушло буквально от нескольких часов до одного дня, или до нескольких недель в более сложных случаях.

Новая программно-аппаратная платформа на базе AMD EPYC, Instinct M100 и ROCm 4.0 ляжет в основу грядущих суперкомпьютеров Frontier и Pawsey. А вот будут ли новые машины с MI100 в свежем рейтинге TOP500, мы узнаем уже завтра. Конкуренцию новинкам составят новые же ускорители NVIDIA A100 с удвоенным объёмом памяти HBM2e.