Окриджская национальная лаборатория (ORNL) Министерства энергетики США и Национальное управление океанических и атмосферных исследований (NOAA) представили новую НРС-систему Gaea для проведения научных изысканий и моделирования в области климатологии.

Комплекс станет пятым суперкомпьютером, который будет установлен в Национальном вычислительном центре климатических исследований в составе ORNL. Ранее на этой площадке уже были развёрнуты четыре системы семейства Gaea. Новый суперкомпьютер получил обозначение C5.

Источник изображения: ORNL

Полностью характеристики комплекса не раскрываются. Известно, что в основу положены узлы HPE Cray, а максимальная производительность составляет более 10 Пфлопс. Это практически вдвое превышает мощность двух предыдущих систем вместе взятых. В состав C5 входят восемь шкафов с современными процессорами. Причём один такой шкаф по производительности эквивалентен всей системе С3.

Изначально отгрузку компонентов суперкомпьютера C5 планировалось организовать осенью 2021 года. Однако дефицит комплектующих и сбои в каналах поставок привели к значительным задержкам. В итоге, оборудование было получено только летом 2022-го, после чего начались работы по его монтажу. Затем специалисты приступили к процессу тестирования и приёмки.

Ресурс insideHPC обнародовал подробности об архитектуре подсистемы хранения данных суперкомпьютера Frontier, установленного в Окриджской национальной лаборатории (ORNL) Министерства энергетики США. Этот комплекс возглавляет нынешний рейтинг TOP500, демонстрируя производительность в 1,102 Эфлопс и пиковое быстродействие в 1,685 Эфлопс.

Сообщается, что система хранения Frontier носит название Orion. Она состоит из 50 шкафов с накопителями суммарной вместимостью приблизительно 700 Пбайт. Эти устройства хранения распределены по трёхуровневой схеме, включащей SSD, HDD и другие энергонезависимые решения, на базе которых развёрнуты ФС Lustre и ZFS. Данные возрастом более 90 дней автоматически перемещаются в архив.

Источник изображения: ORNL

Один из уровней, производительный, объединяет 5 400 NVMe SSD, обеспечивающих ёмкость 11,5 Пбайт. Пиковые скорости чтения и записи информации достигают 10 Тбайт/с. Показатель IOPS (количество операций ввода/вывода в секунду) при произвольном чтении и записи превышает 2 млн. Второй уровень содержит 47 700 жёстких дисков (PMR). Их общая вместимость равна 679 Пбайт. Максимальная скорость чтения массива — 4,6 Тбайт/с, скорость записи — 5,5 Тбайт/с. В состав третьего уровня включены 480 устройств NVMe суммарной ёмкостью 10 Пбайт для работы с метаданными.

В целом, архитектура соответствует той, что была запланирована изначально. Однако теперь представитель ORNL подтвердил правильность выбранного гибридного подхода к хранению информации, отметив, что одна из выполняемых на суперкомпьютере задач генерирует 80 Пбайт в день и что ему не хотелось бы, чтобы из-за недостаточно быстрого хранилища столь мощная машина простаивала без дела.

Национальная лаборатория Ок-Ридж (ORNL) нередко упоминается в новостных заметках, как активно тестирующая и внедряющая новые суперкомпьютерные технологии. В настоящее время в вычислительном центре OLCF (Oak Ridge Leadership Computing Facility) ведутся работы по установке первого в США экзафлопсного суперкомпьютера Frontier на базе процессоров и ускорителей AMD.

Сейчас же стал известен ряд архитектурных особенностей Frontier, поскольку в Национальном центре вычислительных исследований (National Center for Computational Sciences) вступил в строй малый кластер Crusher, в котором используются практически те же узлы HPE Cray, что и для Frontier. Система используется в качестве платформы раннего доступа и состоит всего из двух шкафов. В первом установлено 128 узлов, во втором 64. Суммарная пиковая производительность заявлена на уровне 40 Пфлопс.

Сердцем каждого узла является специальная версия AMD EPYC 7A53. 64 ядра (с SMT2) разбиты на четыре NUMA-домена, обслуживаемые отдельными контроллерами памяти. Восемь каналов DDR4 (всего 512 Гбайт на узел) обеспечивают пропускную способность 205 Гбайт/с. Ускорителей в системе всего четыре, но это новейшие двухчиповые AMD Instinct MI250X, так что системе они видны как восемь отдельных раздельных GPU.

Каждый из ускорителей подключён к одному NUMA-домену посредством двух каналов Infinity Fabric, обеспечивающих по 36 Гбайт/с в каждом направлении. Чипы внутри MI250X связаны с друг другом более скоростным каналом, дающим 200 Гбайт/с в обе стороны. Все ускорители связаны между собой по схеме «каждый с каждым» 50-Гбайт/с каналами. При этом они напрямую подключены к фабрике — каждому полагается свой адаптер HPE Slingshot (200 Гбит/с).

К CPU посредством PCIe-коммутатора подключена только пара SSD ёмкостью по 1,92 Тбайт (4 Гбайт/с на запись, 1,6 млн IOPS на случайных операциях). Каждый NUMA-домен разделён на два L3-поддомена, связанных с одним ускорителем, что позволяет гибко распределять нагрузку. В качестве основного хранилища выступает внешняя СХД IBM Spectrum Scale общей ёмкостью 250 Пбайт и пиковой скоростью 2,5 Тбайт/с.

Будущий суперкомпьютер Frontier

Есть у системы и доступ к сети NCSS, хотя и не прямой. В общем NFS-хранилище каждый проект может получить по 50 Гбайт со сроком хранения данных 90 дней, а в GPFS на Spectrum Scale доступно уже 50 Тбайт. Crusher снабжен большим количеством предустановленного ПО. Пользовательская среда модульная, построенная на базе системы Lmod, написанной на Lua. За распределение нагрузки отвечает Slurm. Для аутентификации используется аппаратный токен-ключ RSA SecurID.

Вычислительный центр OLCF (Oak Ridge Leadership Computing Facility) Окриджской лаборатории Министерства энергетики США приступил к строительству комплекса Frontier — суперкомпьютера с экзафлопсной производительностью. Это важная веха в реализации американской программы по созданию HPC-систем нового поколения.

В проекте по разработке вычислительного комплекса Frontier участвуют специалисты HPE. Система объединит более 9000 узлов Cray EX, каждый из которых содержит один процессор AMD EPYC третьего поколения и четыре акселератора Radeon Instinct MI200. Задействован интерконнект Slingshot 11.

Здесь и ниже изображения ORNL/DOE

СХД суперкомпьютера состоит из двух основных компонентов: это внутрисистемное хранилище и распределённое хранилище Orion, использующее открытые решения Lustre и ZFS. В общей сложности в состав комплекса войдут около 6000 твердотельных накопителей и почти 48 тыс. жёстких дисков. Суммарная вместимость составит соответственно 10 Пбайт и 695 Пбайт.

Пиковое быстродействие Frontier, как ожидается, окажется на отметке 1,5 Эфлопс. Энергопотребление системы — приблизительно 29 МВт, или 19,33 МВт в расчёте на один Эфлопс, что делает её самой энергоэффективной системой подобного класса на текущий момент. Для охлаждения машины потребовалось почти 500 тыс. л теплоносителя и четыре насосных станции мощностью 350 л.с. каждая. Завершить ввод в эксплуатацию планируется в следующем году.

Новый суперкомпьютер вычислительного центра Окриджской лаборатории Frontier должен вступить в строй к концу этого года и стать первой системой экза-класса в США. Хотя такая вычислительная производительность и означает многие мегаватты энергопотребления, OLCF рассказала, что благодаря новым технологиям будущий суперкомпьютер превзойдет раннюю оценку в 20 МВт на Эфлопс.

Физические законы невозможно обмануть и любая вычислительная система, кроме гипотетического обратимого процессора, неизбежно потребляет энергию и выделяет тепло. Но удельную энергоэффективность повышать можно и нужно. Ещё в 2008 году исследовательское агентство DARPA опубликовало любопытное исследование на эту тему.

Четыре проблемы: потребление, надёжность, параллелизм и перемещение данных

На тот момент создание системы экза-класса уже было возможным на базе существующих технологий, но потреблять такая система стала бы гигаватт энергии; для сравнения, Новгородской области в том же 2008 году требовалось 3,55 ГВт. С учётом развития полупроводниковых технологий исследователи надеялись уложить Эфлопс в 155 МВт, а при самом агрессивном подходе даже 70 МВт.

Перемещение данных: главный пожиратель времени и энергии

Но и это было слишком большой цифрой, получить под которую финансирование было бы невозможно. Одно только энергопотребление такой системы обошлось бы в более чем $100 миллионов в течение пяти лет. В качестве реалистичной оценки, делающей экзафлопсные суперкомпьютеры реальными, была взята планка 20 МВт.

Также был озвучен и ряд других проблем, стоящих на пути к системам такого масштаба Одним из «бутылочных горлышек» стал бы интерконнект — в 2008 году ещё не было возможности «накормить» систему с такой степенью параллелизма без простоев вычислительных узлов. Время перемещения одного байта информации в подобной системе оказалось на порядки больше времени, затрачиваемого на сами вычисления.

Эволюция систем ORNL: от Titan к Frontier

С тех пор по меркам ИТ минула эпоха: утончались техпроцессы, стали популярными вычисления на GPU. Если суперкомпьютер Titan 2012 года имел соотношение ЦП к ГП 1:1, то уже в 2017 году с введением в строй его наследника Summit эта цифра выросла до 1:3, а в будущем Frontier она должна составить уже 1:4. На каждый процессор AMD EPYC придётся 4 ускорителя Radeon Instinct.

Само развитие микроэлектроники сделало возможным создание экзафлопсной системы, укладывающуюся в названную более 10 лет назад цифру 20 МВт. Сегодня никаких экзотических технологий и подходов к программированию для реализации проекта подобного масштаба не требуется. Увеличилась и плотность вычислений, и плотность хранения данных, и производительность сетевых подсистем — с 6,4 (Titan) до 100 Гбайт/с (Frontier) в последнем случае.

Развитие технологий позволит превзойти сделанные в 2008 году предсказания

На данный момент потребление Frontier оценивается в 29 МВт, что несколько больше заявленной ранее цифры, но, напомним, 20 МВт было оценкой для 1 Эфлопс вычислительной мощности, Frontier же должен развивать более 1,5 Эфлопс, так что соотношение окажется даже лучше ранее предсказанного. Проблема с хранением и перемещением данных в новом суперкомпьютере будет решена за счёт широкого использования памяти типа HBM.

Эта оценка базируется на эффективности вычислений, составляющей 80% — 41,4 Гфлопс/Вт в режиме FP64, что выше наиболее энергоэффективных систем, для которых этот показатель составляет около 30 Гфлопс/Вт. Для сравнения можно взять сегодняшннего лидера TOP500, Arm-суперкомпьютер Fugaku. Его производительность составляет 442 Пфлопс, но потребляет он почти 30 МВт. В рейтинге Green500 он занимает 20 место. Полностью презентацию, посвященную истории экзафлопсных систем, можно посмотреть здесь.

Сегодня первое место в списке самых мощных на планете суперкомпьютеров занимает японский Fugaku, построенный на базе уникальных Arm-процессоров Fujitsu A64FX. Но времена его господства, похоже, продлятся недолго — в этом году будет запущен американский Frontier, который должен будет сместить с трона нынешнего короля супервычислений: сочетание AMD EPYC и ускорителей Instinct MI100 позволит ему преодолеть экзафлопсный барьер.

Как мы уже знаем, в основе ORNL Frontier лежит платформа HPE Cray EX. Каждый стандартный шкаф новой системы может содержать до 64 вычислительных модулей с двумя платами, несущими по два процессора AMD EPYC. Дополнят их ускорители AMD Instinct MI100, а в качестве интерконнекта будет использоваться Cray Slingshot. В отличие от Fugaku, Frontier относится к гетерогенным системам.

Суперкомпьютеры такой мощности позволят проводить исследования, недоступные учёным ранее. Одной из программ, разработанных в Ок-Ридже для Frontier, является CHOLLA. Речь идёт о комплекте специализированного программного обеспечения под общим названием «Computational Hydrodynamics on Parallel Architecture» (Вычислительная гидродинамика на параллельной архитектуре). Одна из ключевых областей применения такого ПО — астрофизика.

Структурная схема вычислительных модулей в MI100

Использование мощностей Frontier позволит понять, как происходят изменения в галактиках, устроенных подобно нашему Млечному Пути, причём, увидеть эти изменения — образование, эволюцию и гибель отдельных звёзд в масштабах целой галактики — можно будет в достаточно высоком разрешении. Будет смоделировано поведение 10 тыс. кубических ячеек космического пространства (примерно 50 тыс. парсек) в течение 500 миллионов лет. Это первый проект вычислительной астрономии, имеющий столь серьёзные масштабы.

Проект CHOLLA, запущенный на Frontier, позволит понять поведение загадочной тёмной материи

Интересно, что изначально программное обеспечение CHOLLA было рассчитано на платформу NVIDIA CUDA, но портирование на открытый аналог в лице AMD ROCm, оказалось очень простым. Как сообщает один из учёных Окриджской лаборатории, основную работу удалось проделать всего за несколько часов, а ведь речь о ПО, которое будет моделировать жизнь целой галактики. К тому же, производительность CHOLLA удалось без всяких оптимизаций поднять в 1,4 раза по сравнению с версией, выполняемой на NVIDIA Tesla V100. Оптимизированный вариант может оказаться ещё производительнее.

В начале года мы опубликовали заметку, посвящённую выводу из строя суперкомпьютера Titan, расположенного в Национальной лаборатории Ок-Ридж (ORNL) и успешно выполнившего 2,8 млн задач для науки. Titan отправился на заслуженный покой, а его место займёт суперкомпьютер Frontier мощностью 1,5 Эфлопс: в настоящее время уже начаты работы по его монтажу.

Если проект суперкомпьютера Aurora для Аргонноской национальной лабораторией столкнулся с задержками из-за проблем Intel с освоением 7-нм техпроцесса, то в случае с Frontier всё идёт по плану — первый американский суперкомпьютер экзакласса будет использовать именно решения AMD. Об этом проекте стало известно в мае 2019 года, когда AMD и Cray объявили о сотрудничестве.

Разместится Frontier в Национальной лаборатории Ок-Ридж (ORNL), в помещениях своего предшественника, Titan. Сама ORNL сообщила об успешном начале работ по переоборудованию инфраструктуры под новый суперкомпьютер. А работ потребуется немало, поскольку Frontier потребует существенно больших мощностей как по питанию, так и по охлаждению. Его масса также больше, что потребует укрепить силовые структуры помещения. Помещение, известное как комната E102, расположено в здании за номером 5600, имеет площадь свыше 1800 м², и оно требует удаления всей старой инфраструктуры, включая полную замену фальшпола.

Если Titan потреблял около 10 МВт, то Frontier потребует почти 30 МВт, а система охлаждения должна будет отводить порядка 40 МВт тепловой энергии. В настоящее время новый, способный выдержать большие массы, фальшпол уже установлен, его масса составляет порядка 110 тонн. Ведутся работы по прокладке новых 24-дюймовых магистралей СЖО, способных прокачать около 19 тысяч литров жидкости в минуту. Общий же объём теплоносителя составит почти 500 тысяч литров (130 тысяч американских галлонов). За работу СЖО будут отвечать четыре насосных станции каждая мощностью 350 л.с. каждая.

Ранее пространство вокруг «комнаты 102» занимали офисы группы OLCF, но теперь там устанавливаются трансформаторы подсистем питания мощностью 28 мВт. Также пришлось изыскать место для градирен СЖО — для них был возведен новый фундамент в соседнем здании за номером 5800. В нём не прекращались научные исследования и, хотя в распоряжении проекта имелись данные о проложенных силовых линиях, было принято решение не рисковать и использовать георадары и сенсоры ЭМИ.

Архитектура вычислительного узла Frontier

Несмотря на все трудности, проект Frontier пока развивается успешно. Как правило, такие HPC-системы требуют порядка двух лет на подготовку и монтаж. К тому же пандемия внесла свои коррективы — ранее ORNL уже была вынуждена объявить об обязательном тестировании всех работников на коронавирус. Несмотря на это, завершение работ намечено на весну 2021 года. Полномасштабный запуск Frontier в эксплуатацию произойдет не позднее 2022 года.

Коммутаторы Cray Slingshot требуют довольно серьёзного охлаждения

Новый суперкомпьютер сможет поддерживать минимальную производительность на уровне 1,5 экзафлопс. В его состав войдёт более 100 стоек Cray Shasta, заполненных узлами на базе AMD EPYC Milan и ускорителей Radeon Instinct в соотношении 1 к 4. Для устранения потенциальных «бутылочных горлышек» каждый ГП в каждом узле получит свой сетевой порт Cray Slingshot, который обеспечит прямую связь между этими чипами. А программный комплекс, обеспечивающий работу Frontier, будет сочетать в себе технологии Cray Programming Environment и открытую платформу AMD ROCm. Подробнее о новом суперкомпьютере можно узнать на сайте ORNL.

Ок-Риджская национальная лаборатория (Oak Ridge National Laboratory, ORNL), владелец одних из самых производительных суперкомпьютеров в мире, выделила средства на улучшение программной поддержки таких машин. В лаборатории есть Summit (IBM POWER + NVIDIA Volta), бывший лидер TOP500, который сейчас занимает второе место в рейтинге. А недавно был демонтирован Titan, место которого займёт Frontier (AMD EPYC + Radeon Instinct).

Актуальные машины, текущая и будущая, являются гетерогенными и при этом базируются на четырёх принципиально разных архитектурах. Желание ORNL упростить разработку и обеспечить переносимость кодов в этой ситуации понятно. Лаборатория сделала ставку на открытые стандарты и технологии и наняла Mentor Graphics, ныне дочернюю компанию Siemens, для улучшения набора компиляторов GCC. Естественно, все наработки будут выложены в открытый доступ (в силу лицензии), от чего выиграют и другие разработчики и пользователи HPC-систем.

Основной фокус будет на улучшении программирования GPU-ускорителей и упрощения переноса на них тяжёлых задач. Для это предполагается значительно улучшить в GCC поддержку OpenACC вкупе с реализацией последней версии OpenMP для распараллеливания программ. Кроме того, Mentor Graphics займётся имплементацией Fortran 2018 в GCC. Сумма контракта между ORNL и исполнителем не раскрывается.

Сроки исполнения также не указываются, но можно предположить, что работа должна быть по большей части завершена к моменту запуска суперкомпьютера Frontier в 2021 году. Кроме того, есть надежда, что финансы, полученные для реализации Frontier, помогут AMD развить собственные средства разработки для CPU и GPU, которые смогут в конечном итоге составить достойную конкуренцию программным продуктам Intel и NVIDIA.

Summit, второй по мощности суперкомпьютер в мире, теперь можно осмотреть, совершив виртуальный тур на 3D-платформе Matterport. В процессе виртуального путешествия можно «ходить» вокруг массивного суперкомпьютера по дата-центру Oak Ridge National Laboratory (ORNL) в штате Теннесси, США.

Несмотря на то, что этот суперкомпьютер в Top500 был недавно свергнут новой системой Fugaku от RIKEN, вычислительная мощность Summit (148,6 ПФлопс) по-прежнему ставит его на второе место в мире и на первое место в США. Эту мощность обеспечивают 4662 сервера IBM AC922, оснащенные процессорами IBM POWER9 и ускорителями на базе NVIDIA Volta. Недавно на базе Summit была проведена важная симуляция, направленная на поиск путей лечения вируса Covid-19 (SARS-CoV-2).

Summit не первый суперкомпьютер, доступный для виртуального тура, за последние месяцы подобные проекты были реализованы Hawk в Центре высокопроизводительных вычислений Университета Штутгарта (HLRS) и MareNostrum в Барселонском суперкомпьютерном центре (BSC). Некоторые суперкомпьютерные центры, такие как BSC, предлагают и физические туры, но из-за Covid-19 многие из этих туров были отменены. Summit, с другой стороны, никогда не был регулярно доступен для посетителей, что делает этот тур еще более редким.

До сих пор все три виртуальные тура проводились на платформе Matterport. В процессе тура пользователи могут перемещаться по коридорам и серверным шкафам, с управлением аналогичным Google Street View. Есть возможность взаимодействовать с различными объектами дата-центра, например, можно получить информацию о файловой системе Oak Ridge, узнать о победах в рейтинге Top500 ORNL, просмотреть сертификаты и многое другое.

Пользователи, которым требуется еще большее погружение, могут использовать встроенную возможность виртуальной реальности (при наличии соответствующей гарнитуры).

Вы можете отправиться в виртуальный тур по этой ссылке, используя только браузер, регистрация и какие-то дополнительные устройства не требуются.

Пандемия коронавируса представляет собой беспрецедентную проблему для учёных: скорость, с которой распространяется вирус, означает, что специалисты должны ускорить свои исследования. Помощь в этом вполне могут оказать современные суперкомпьютеры вроде Summit от IBM, который считается самым мощным по рейтингу Top 500.

Он использует почти 28 000 графических ускорителей NVIDIA Tesla V100, более 9 000 22-ядерных CPU IBM POWER9 и потребляет около 10 МВт энергии.

Мы уже писали, что Summit был задействован для поиска соединений, которые могут эффективно остановить заражение клеток вирусом. Суперкомпьютер выявил 77 таких химических веществ. Это многообещающий шаг к созданию эффективного лекарства. Исследователи из Национальной лаборатории Ок-Риджа опубликовали свои выводы в журнале ChemRxiv.

Summit был создан IBM по заказу Министерства энергетики США в 2018 году с целью решения мировых проблем, которой он и служит сейчас. Summit смоделировал, как различные химические соединения могут препятствовать распространению коронавируса в клетках. Ранее Summit позволил выявить закономерности в клеточных системах, предшествующие болезни Альцгеймера; проанализировал гены, способствующие таким признакам, как зависимость от опиоидов; и предсказал экстремальные изменения в погоде на основе моделирования климата.

Вирусы заражают клетки-хозяев, вводя им молекулы ДНК или РНК со своим генетическим материалом. Работа Summit состоит в том, чтобы найти лекарственные соединения, которые могли бы препятствовать этому «впрыску» и потенциально остановить распространение болезни. Исследователь из Ок-Риджа Миколас Смит (Micholas Smith) создал модель коронавируса на основе исследований, опубликованных в январе. На суперкомпьютере он смоделировал, как атомы и частицы матричного белка коронавируса (спайк-белок, который играет ключевую роль в проникновении возбудителя в клетки организма и его воспроизведении внутри них) будут реагировать на различные соединения.

Суперкомпьютер запустил моделирование более 8000 соединений, которые могут связываться со спайк-белком и ограничивать его способность распространяться в клетках-хозяевах. Summit идентифицировал 77 эффективных соединений и оценил их в зависимости от вероятности блокирования спайк-белка.

Далее команда снова запустит моделирование на Summit, используя более точную модель спайк-белка коронавируса, которая была опубликована в этом месяце. Несмотря на всю свою мощь, Summit может лишь выявить перспективные соединения. Затем необходимо провести экспериментальные исследования, чтобы доказать на деле, какие вещества работают лучше всего.

«Наши результаты не означают, что мы нашли лекарство от коронавируса или лечение от него», — сказал, директор Национального центра молекулярной биофизики Университета Теннесси в Ок-Ридже Джереми Смит (Jeremy Smith). Но полученные данные могут послужить основой для будущих исследований. И последние необходимы для создания наиболее эффективной коронавирусной вакцины, до создания которой пройдёт минимум год.