Европейский Союз продолжает активно развивать собственное видение суперкомпьютеров ближайшего будущего, в основу которых ляжет архитектура RISC-V. За три с половиной года работы проекта Marenostrum Experimental Exascale Platform (MEEP) создана новая платформа, детально описывающая различные блоки и свойства таких HPC-систем.

Выбор микроархитектуры RISC-V в качестве основы MEEP вполне оправдан — она является открытой и позволяет разработчикам не зависеть от проприетарных наборов инструкций и аппаратных решений. Таким образом ЕС планирует достигнуть автономии в сфере супервычислений, обзаведясь собственной платформой.

Высокоуровневое описание эмулируемого ускорителя

В основе проекта MEEP лежит ядро Accelerated Memory and Compute Engine (ACME), изначально спроектированное с прицелом на применение высокоскоростной памяти HBM3 и состоящее из тайлов памяти (Memory Tile) и вычислительных тайлов VAS, объединённых меш-интерконнектом. Воплощение дизайна ACME в реальный кремний пока ещё дело будущего, но уже очевидно, что процессоры, разработанные в рамках проекта MEEP, будут иметь чиплетную компоновку.

Архитектура ACME и её строительные блоки

В конструкции ACME на долю Memory Tile выпадают все операции с подсистемами памяти, включая построение иерархических массивов, использующих разные типы памяти, в том числе MRAM и HBM3. Модули VAS включают себя по 8 процессорных ядер со своими разделами L2-кеша. Каждое такое ядро состоит из нескольких отдельных блоков: скалярного RISC-V, блока векторных операций, а также блоков ускорителей двух типов — SA-HEVC для обработки видео и SA-NN для нейросетевых задач, в частности, инференса.

Схема работы ускорителей в составе блоков VAS

По сути, каждый модуль VAS представляет собой вполне законченный многоядерный процессор RISC-V, способный работать со всеми современными форматами данных, автоматически распознающий расширенные инструкции и выполняющий их с помощью соответствующих ускорителей в своём составе.

Платформа, созданная в рамках проекта MEEP, уже функционирует как эмулируемый с помощью FPGA Xilinx полноценный прототип. Он позволяет не только вести разработку и отладку ПО для новой европейской суперкомпьютерной экосистемы, но и производить валидацию аппаратных компонентов для будущих ускорителей/процессоров с архитектурой ACME.

В рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), реализуемого властями Евросоюза, странами-участницами и частными компаниями с целью создания инфраструктуры высокопроизводительных вычислений, запущен суперкомпьютер Deucalion.

Комплекс разработан специалистами Fujitsu Technology Solutions. Это первая система EuroHPC, основанная на процессорах с архитектурой Arm. Применены чипы Fujitsu A64FX, а также платформа Bull Sequana от Eviden (Atos).

Суперкомпьютер располагается в Португалии: он размещён в Центре передовых вычислений Университета Минью в Гимарайнше. Общий бюджет проекта Deucalion составил €20 млн — средства выделены участниками инициативы EuroHPC и Португальским фондом науки и технологий (FCT). Deucalion — самый мощный суперкомпьютер в Португалии и восьмой вычислительный комплекс, созданный по программе EuroHPC JU.

Источник изображения: FCT

Комплекс обеспечивает производительность более 10 Пфлопс. Использовать систему в числе прочего планируется для исследований и разработок в области метеорологии и моделирования климата, гидродинамики, аэродинамики, а также астрофизики и космологии. Кроме того, суперкомпьютер будет стимулировать инновации в таких областях, как ИИ, персонализированная медицина, фармацевтика и новые материалы, пожаротушение, территориальное планирование, интеллектуальная мобильность и автономные транспортные средства.

Совместное предприятие European High Performance Computing (EuroHPC JU) объявило о запуске нового исследовательского проекта Inno4scale с целью разработки инновационных алгоритмов, которые позволят в полной мере использовать потенциал экзафлопсных и постэкзафлопсных HPC-систем.

Консорциум Inno4scale включает Барселонский суперкомпьютерный центр (BSC), SCAPOS, Центр высокопроизводительных вычислений Штутгартского университета (HLRS) и ассоциацию PRACE. Он будет финансировать разработку новых подходов к алгоритмам, выделяя средства на небольшие проекты, которые покажут эффективность для приложений с поддержкой экзафлопсных вычислений. Бюджет проекта Inno4scale составляет €5 млн.

Источник изображения: Inno4scale

Консорциум разработает и организует конкурс для предложений на основе механизма каскадного финансирования, приём которых продлится до конца сентября. Предложения будут оцениваться осенью 2023 года внешними экспертами исходя из инновационности дизайна и влияния на повышение эффективности работы экзафлопсных систем. Разработки, как ожидается, начнутся в 2024 году и продлятся год. Наиболее эффективные алгоритмы будут в дальнейшем использоваться для HPC, что, как ожидается, приведёт к значительному повышению производительности и энергоэффективности.

EuroHPC планирует построить два экзафлопсных суперкомпьютера для Европы. В прошлом году было объявлено, что в Юлихском суперкомпьютерном центре (JSC) недалеко от Аахена (Германия) будет установлен JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). А в июне стало известно, что вторая экзафлопная система будет построена консорциумом Jules Verne во Франции.

Еврокомиссия, по сообщению ресурса Datacenter Dynamics, профинансирует создание второго европейского суперкомпьютера экзафлопсного класса. Безымянный пока вычислительный комплекс будет построен во Франции. Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) выбрало консорциум Жюля Верна для размещения и эксплуатации будущего HPC-комплекса. Суперкомпьютер будет управляться GENCI — французским национальным агентством высокопроизводительных вычислений.

Ожидается, что система расположится в вычислительном центре TGCC, принадлежащем Французской комиссии по альтернативным источникам энергии и атомной энергии (CEA). Комплекс будет смонтирован на территории Брюйер-ле-Шатель, к юго-западу от Парижа. Инвестиции в проект составят приблизительно €542 млн, из которых до половины предоставит EuroHPC. Примерно €8 млн вложит Министерство культуры, образования и науки Нидерландов, а ещё €263 млн — французское правительство.

Суперкомпьютер GENCI Jean Zay. Источник изображения: CNRS / Cyril Frésillon

Запуск суперкомпьютера запланирован на 2025 год. Применять его планируется для решения ряда сложных задач, таких как моделирование климата с высокой точностью, термоядерный синтез, разработка инновационных материалов, создание цифровых двойников и пр. В настоящее время в TGCC располагается HPC-система Joliot-Curie (22 Пфлопс), установленная в 2019 году. Первым в Европе экзафлопсным суперкомпьютером станет комплекс JUPITER, который будет смонтирован в Юлихском исследовательском центре (FZJ) в Германии. А в США недавно был завершён монтаж суперкомпьютера Aurora с быстродействием на уровне 2 Эфлопс.

Совместная инициатива по высокопроизводительным вычислениям в Европе EuroHPC JU сообщила о намерении провести конкурс на финансирование проектов в области создания HPC-систем на архитектуре RISC-V. Предложения будут приниматься с 26 января по 4 апреля 2023 года.

Европейский союз планирует выделить €270 млн на развитие экосистемы RISC-V. Речь идёт как об аппаратных решениях, так и о сопутствующем ПО. В частности, будет изучаться подход, основанный на чиплетах: это позволит применять процессоры RISC-V в паре с ускорителями в одном корпусе микросхемы.

Источник изображения: HPC Wire

Инициатива нацелена на уменьшение зависимости Европы от изделий с архитектурами x86 и Arm. В начале 2022 года консорциум EuroHPC JU объявил о выделении €141 млн на развитие собственных CPU, ускорителей и суперкомпьютеров. Речь шла в том числе о решениях на основе RISC-V. В Европейском союзе уже принят Закон о чипах, нацеленный на формирование новой экосистемы производства микросхем: в документе содержатся неоднократные упоминания архитектуры RISC-V.

Научные учреждения в Европе создали экспериментальные системы на основе RISC-V. К примеру, пользователи могут получить доступ к платформам SUPER-V в Барселонском суперкомпьютерном центре (BSC) и ExCALIBUR в Эдинбургском университете. А Европейская инициатива по процессорам разработала ускорители машинного обучения RISC-V, которые в ближайшие годы появятся на экзафлопсных суперкомпьютерах. BSC и Intel совместно проектируют суперкомпьютерный чип с архитектурой RISC-V.

В целом, интерес к RISC-V со стороны IT-компаний стремительно растёт. В течение последнего времени решения в данной сфере представили сразу несколько разработчиков. Так, Ventana Micro Systems анонсировала целое семейство высокопроизводительных процессоров, первенцем в котором стал чип Veyron V1. У MIPS появилось высокопроизводительное ядро eVocore P8700 на основе RISC-V, у SiFive — ядро Performance P670. Компания Andes представила RISC-V чипы AndesCore AX60 для ИИ, 5G и ЦОД.

Совместная инициатива по высокопроизводительным вычислениям в Европе EuroHPC JU и некоммерческий консорциум CINECA, состоящий из 69 итальянских университетов и 21 национальных исследовательских центров, провели церемонию запуска суперкомпьютера Leonardo.

В основу комплекса положены платформы Atos BullSequana X2610 и X2135. Система Leonardo состоит из двух секций — общего назначения и с ускорителями вычислений (Booster). Когда строительство системы будет завершено, первая будет включать 1536 узлов, каждый из которых содержит два процессора Intel Xeon Sapphire Rapids с 56 ядрами и TDP в 350 Вт, 512 Гбайт оперативной памяти DDR5-4800, интерконнект NVIDIA InfiniBand HDR100 и NVMe-накопитель на 8 Тбайт.

Источник изображения: HPCwire

Секция Booster объединяет 3456 узлов, каждый из которых содержит один чип Intel Xeon 8358 с 32 ядрами, 512 Гбайт ОЗУ стандарта DDR4-3200, четыре кастомных ускорителя NVIDIA A100 с 64 Гбайт HBM2-памяти, а также два адаптера NVIDIA InfiniBand HDR100. Кроме того, в состав комплекса входят 18 узлов для визуализации: 6,4 Тбайт NVMe SSD и два ускорителя NVIDIA RTX 8000 (48 Гбайт) в каждом. Вычислительный комплекс объединён фабрикой с топологией Dragonfly+.

Источник: CINECA

Для хранения данных служит двухуровневая система. Производительный блок (5,4 Пбайт, 1400 Гбайт/с) содержит 31 модуль DDN Exascaler ES400NVX2, каждый из которых укомплектован 24 NVMe SSD вместимостью 7,68 Тбайт и четырьмя адаптерами InfiniBand HDR. Второй уровень большой ёмкости (106 Пбайт, чтение/запись 744/620 Гбайт/с) состоит из 31 массива DDN EXAScaler SFA799X с 82 SAS HDD (7200 PRM) на 18 Тбайт и четырьмя адаптерами InfiniBand HDR. Каждый из массивов включает два JBOD-модуля с 82 дисками на 18 Тбайт. Для хранения метаданных используются 4 модуля DDN EXAScaler SFA400NVX: 24 × 7,68 Тбайт NVMe + 4 × InfiniBand HDR.

Изображение: CINECA

В настоящее время Leonardo обеспечивает производительность более 174 Пфлопс. Ожидается, что суперкомпьютер будет полностью запущен в первой половине 2023 года, а его пиковое быстродействие составит 250 Пфлопс. Уже сейчас система занимает четвёртое место в последнем рейтинге самых мощных суперкомпьютеров мира TOP500. В Европе Leonardo является второй по мощности системой после LUMI.

Leonardo оборудован системой жидкостного охлаждения для повышения энергоэффективности. Кроме того, предусмотрена возможность регулировки энергопотребления для обеспечения баланса между расходом электричества и производительностью. Суперкомпьютер ориентирован на решение высокоинтенсивных вычислительных задач, таких как обработка данных, ИИ и машинное обучение. Половина вычислительных ресурсов Leonardo будет предоставлена пользователям EuroHPC.

Расположенная в Кракове Академия Горичзо Хутнича (AGH) ввела в эксплуатацию новый суперкомпьютер Athena. А в скором времени польская Познань приютит и один из первых квантовых компьютеров, создаваемых в рамках панъевропейского проекта European High Performance Computing Joint Undertaking (EuroHPC JU).

Новый суперкомпьютер встал в строй в компьютерном центре CYFRONET, расположенном в ЦОД Podole Data Center. Задействована передовая система управления энергией, охлаждением и кондиционированием, а выделяемое суперкомпьютером тепло используется для отопления здания. Athena имеет пиковую производительность 7,7 Пфлопс и занимает 105 место в последнем списке TOP500 самых мощных суперкомпьютеров мира. Быстродействие не так велико, но зато эта система входит в десятку самых энергоэффективных суперкомпьютеров в списке Green500. Потребляет машина всего 147 кВт.

Источник изображения: CYFRONET

Суперкомпьютер построен польской компанией Format и состоит из 48 серверов FormatServer THOR ERG21, оснащённых 6144 вычислительными ядрами — используются процессоры AMD EPYC, 384 SXM-ускорителя NVIDIA A100 (40 Гбайт) и интерконнект InfiniBand HDR. Athena предназначена в первую очередь для ИИ-нагрузок и решения медицинских задач. Новая система дополнит уже работающие в CYFRONET Prometheus (2,3 Пфлопс, HPE) и Ares (3,5 Пфлопс, Huawei).

Не менее важен и ещё один проект — в Познаньском суперкомпьютерном и сетевом центре (PSNC) будет построен квантовый компьютер при сотрудничестве с компанией Creotech Instruments. Это одна из шести европейских площадок, выбранных в рамках проекта EuroHPC. Предусматривается привлечение в центр экспертов по квантовым технологиям из Центральной и Восточной Европы, включая Австрию, Венгрию, Латвию, Литву и Словению. Помимо Польши, ко второй половине 2023 года Европа намерена ввести в эксплуатацию квантовые мощности в Германии, Испании, Франции, Италии и, наконец, Чехии.

В рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), реализуемого властями Евросоюза, странами-участницами и частными компаниями с целью создания инфраструктуры высокопроизводительных вычислений, отобраны первые локации, предназначенные для размещения квантовых компьютеров.

Представители Еврокомиссии считают, что совместный проект является важнейшим для цифрового общества региона, позволит не только внести вклад в борьбу с изменениями климата, но и станет значимым шагом на пути создания доступной квантовой инфраструктуры в ЕС.

Источник изображения: IT4Innovations

Агентство EuroHPC JU приняло решение о размещении первых квантовых компьютеров в Чехии, Германии, Испании, Франции, Италии и Польше, причём новые системы, предназначенные преимущественно для разработок и научных исследований, проводимых учёными из ЕС, могут ввести в эксплуатацию уже ко второй половине 2023 года. Системами также смогут пользоваться представители промышленности и государственного сектора.

Ожидается, что квантовые системы интегрируют в уже существующие суперкомпьютеры, а специально отобранные операторы будут управлять ими от имени EuroHPC JU. Вендоры, ответственные за выпуск квантовых систем, пока не названы. Системы будут софинансироваться EuroHPC JU посредством инициативы Digital Europe Programme и 17-ю странами ЕС. В частности, EuroHPC оплатит до половины расходов. Общие инвестиции составят порядка €100 млн, хотя точные суммы ещё предстоит выяснить.

Пока в рамках сотрудничества EuroHPC JU построено семь суперкомпьютеров: Vega в Словении, MeluXina в Люксембурге, Discoverer в Болгарии, Karolina в Чехии, Deucalion в Португалии, LUMI в Финляндии, а также Leonardo в Италии. В следующем году в Испании будет введён в эксплуатацию Marenostrum 5 производительностью 314 Пфлопс, а площадка Forschungszentrum Jülich в Германии рассматривается в качестве базы для первой системы экзафлопсного уровня — JUPITER. Также в планах есть системы относительно небольшой производительности: DAEDALUS (Греция), LEVENTE (Венгрия), CASPIr (Ирландия) и EHPCPL (Польша).

У MareNostrum-5 непростая судьба — проект был заморожен прошлым летом из-за разногласий между участниками, причём произошло это тогда, когда машинный зал в Барселонском суперкомпьютерном центре был уже практически готов. Участники не смогли выбрать поставщика оборудования между IBM с Lenovo и Atos. Теперь же стало известно, что победила Atos, весьма вовремя представившая новую HPC-платформу BullSequana XH3000.

Правда, теперь MareNostrum-5 уже не претендует на звание самого быстрого суперкомпьютера Европы в FP64-вычислениях, поскольку его производительность составит 314 Пфлопс. Но вот в ИИ-нагрузках, как сообщила NVIDIA изданию HPCWire, в Евросоюзе ему равных не будет — ожидаемый уровень производительности в этом случае составит 18 Пфлопс. Основу систему составят Arm-процессоры Grace Superchip, которые будут дополнены ускорителями H100, интерконнектом InfiniBand NDR (Quantum-2), 200-Пбайт СХД и 400-Пбайт архивным хранилищем.

Изображение: BSC

Это будет вторая после ALPS крупная европейская система, построенная на Arm-чипах Grace. Стоимость MareNostrum-5 составит €151,41 млн. Половину этой суммы оплатит EuroHPC и половина же машинного времени достанется участникам консорциума. Остальные расходы поделят между собой Испания, Португалия и Турция. Новый суперкомпьютер будет использоваться в первую очередь для медицинских исследований, разработки лекарств, создания вакцин, изучения распространения вирусов, а также для задач ИИ и Big Data.

Изображение: BSC

Впрочем, более традиционные HPC-нагрузки в области климатологии, инженерных расчётов, материаловедения и т.д. на нём тоже будут выполняться. Машина будет обладать высокой энергоэффективностью. Питать её планируется исключительно от «зелёных» источников энергии, а выделяемое тепло будет утилизировано. В этом отношении она будет похожа на финский LUMI, самый быстрый европейский суперкомпьютер на сегодняшний день. Но скоро LUMI должен будет уступить первое место экзафлопсной системе JUPITER (Германия).

Помимо LUMI под патронажем EuroHPC сейчас находятся четыре суперкомпьютера: MeluXina (Люксембург), Karolina (Чехия), Discoverer (Болгария) и Vega (Словения). В скором времени будут введены в строй системы LEONARDO (Италия) и Deucalion (Португалия). Вместе с JUPITER были анонсированы ещё четыре суперкомпьютера: DAEDALUS (Греция), LEVENTE (Венгрия), CASPIr (Ирландия) и EHPCPL (Польша). Ну а MareNostrum-5 должен заработать в 2023 году.

Всемирная гонка суперкомпьютеров экзафлопсного класса продолжается, и теперь в игру, наконец, вступил Евросоюз — консорциума EuroHPC сегодня раскрыл некоторые подробности о первой европейской система подобного уровня. Им станет машина под названием JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research), которая должна будет войти в строй в следующем году.

Система будет смонтирована в Юлихском исследовательском центре (FZJ) в Германии. Сведений об аппаратной начинке JUPITER пока не так много, но в конструкции нового HPC-монстра будет применён тот же модульный подход, что был опробован на его предшественнике, суперкомпьютере JUWELS. Последний вступил в строй в 2018 году и на данный момент содержит несколько кластеров и бустеров с различной архитектурой.

Архитектура европейской экзафлопсной системы включает необычные средства. Источник: FZJ

Новая система получит отдельные модули, куда входят вычислительные узлы, пулы памяти, узлы с различными ускорителями, узлы визуализации и т.д. Более того, она может быть дополнена блоками, которые содержат нейроморфные и квантовые системы, а также любые вычислительные модули, построенные на технологиях Евросоюза. Стоимость JUPITER оценивается примерно в €502 млн. Половину оплатит EuroHPC, четверть предоставит Министерство образования и науки Германии, оставшаяся четверть придётся на долю Министерства культуры и науки Северной Рейн-Вестфалии.

Машинный зал JUWELS. Источник: FZJ

Проектировщики уделят серьёзное внимание энергоэффективности новой системы. Ожидается, что её потребление составит около 15 МВт, то есть она будет экономичнее нынешнего лидера TOP500 в лице Frontier. Для питания JUPITER планируется задействовать возобновляемые источники энергии, а СЖО будет использовать теплоноситель с относительно высокой рабочей температурой. Рассматривается возможность утилизации выделяемого системой тепла, как это реализовано в финском LUMI.

Страны, уже запустившие системы EuroHPC отмечены тёмно-синим, светло-синие — в процессе, жёлтым отмечены новички. Источник: EuroHPC

Консорциум также анонсировал ещё четыре, более скромных суперкомпьютера. Это греческий DAEDALUS, венгерский LEVENTE, ирландский CASPIr и польский EHPCPL. В течение следующих нескольких лет EuroHPC планирует ввести в строй ещё минимум два суперкомпьютера экзафлопсного класса, так что гонка за зеттафлопом станет ещё интереснее. Впрочем, и Европе, и США надо опасаться в первую очередь Китая.