В четверг, 28 мая, на виртуальном совещании министров науки стран-членов «Большой семерки» (Group of Seven, G7) было объявлено о присоединении Великобритании к консорциуму COVID-19 HPC Consortium. Координировать участие британской стороны в проекте, благодаря которому его мощности вырастут более чем на 20 петафлопс, будет неправительственная организация UK Research and Innovation (UKRI).

COVID-19 HPC Consortium — частно-государственная инициатива, предоставляющая бесплатный доступ к обработке высокопроизводительных вычислений учёным, занимающимся поиском действенных средств борьбы с коронавирусом с использованием технологий на основе искусственного интеллекта.

Компания IBM, которая в марте этого года помогла сформировать консорциум вместе с Управлением науки и технологий Белого дома и Министерством энергетики США, опубликовала обновлённую информацию о расширении программы и ее исследовательской работе.

Сообщается, что члены европейской суперкомпьютерной ассоциации PRACE (Partnership for Advanced Computing in Europe) обязались предоставить проекту доступ к своим суперкомпьютерным платформам, включая Piz Daint Швейцарского национального суперкомпьютерного центра, шестому по величине суперкомпьютеру в мире, согласно рейтингу Топ-500.

В свою очередь, UK Research and Innovation (UKRI) предоставит три своих суперкомпьютера, в том числе ARCHER, систему в 2,55 петафлопс в Эдинбургском университете, а также мощности правительственного агентства Science and Technology Facilities Council (STFC) DIRAC и Института Эрлхэма (Норидж) Научно-исследовательского совета по биотехнологиям и биологическим наукам (BBSRC).

«COVID-19 — глобальная проблема, поэтому важно, чтобы мы запустили инструменты для её решения в как можно больше мест по всему миру, — заявил Дейв Турек (Dave Turek), вице-президент IBM по техническим вычислениям. — Вот почему, несмотря на то что консорциум возник в США, мы сосредоточены на добавлении участников из других регионов, чтобы обеспечить изыскания с использованием суперкомпьютеров везде, где это необходимо исследователям».

В COVID-19 HPC Consortium теперь входит более 56 команд исследователей, имеющих доступ к суперкомпьютерам с суммарной производительностью 430 петафлопс.

ASRock представила два высокоплотных решения для HPC, аналитики и виртуализации. Подобные анонсы у конкурентов последнее время не редкость, однако ASRock известна прежде всего относительно низкими ценами на свои решения, поэтому интерес к ним всегда повышенный.

3U16N-C242 представляет собой шасси типоразмера 3U с 16 серверными узлами. 

Каждый узел поддерживает установку одного процессора Intel Xeon E-2100/2200, имеет 2 слота для оперативной памяти DDR-4 и два слота для твердотельных накопителей в форм-факторе M.2. По умолчанию каждый узел имеет 2 медных сетевых порта 1 Гбит/с и один выделенный порт управления (IPMI).

Дополнительно в платформу можно установить четыре однопортовых сетевых адаптера Mellanox MCX4431M-GCAN (50 Гбит/с) или MCX445-CCAN (100 Гбит/с). Питание обеспечивают четыре блока мощностью 1200 Вт, с резервированием по схеме 3+1.

2U4N-F/ROME-M3 представляет собой шасси типоразмера 2U, с четырьмя серверными узлами. Каждый узел поддерживает установку одного процессора AMD EPYC 7002, имеет 8 слотов для памяти DDR4-4 и четыре отсека под 2,5” накопители на передней панели, с возможностью горячей замены (поддерживаются NVMe SSD).

Дополнительно в каждом узле можно установить два твердотельных накопителя форм-фактора M.2, а наличие двух слотов расширения PCIe 4.0 x16 позволяет использовать любые карты расширения. Также имеется мезонин OCP 3.0 PCIe 4.0 x16. Питание обеспечивают два блока мощностью 1600 Вт, с резервированием по схеме 1+1.

Компания Fujitsu продолжает развивать успешно начатое наступление на рынок супервычислений. Ранее сообщалось о вводе в строй новейшего суперкомпьютера Fugaku, использующего разработанные этой компанией процессоры A64FX.

Сейчас стало известно, что Национальные лаборатории Сандия (Sandia National Labs) станут первым подразделением Министерства энергетики США, которое получит систему на базе новейших процессоров Fujitsu.

Процессоры A64FX сочетают в себе достоинства ЦП и ГП: они обладают собственной быстрой памятью и поддерживают «широкие векторы»

Этой системой станет Fujitsu PRIMEHPC FX700 — за поставку, наладку и монтаж отвечает компания Penguin Computer. В числе преимуществ данной архитектуры называется отсутствие проблем с пропускной способностью подсистем памяти — системы на базе A64FX не обязаны «протискивать» данные через шину PCIe или NVLink между традиционными процессорами и ускорителями на базе ГП.

Процессоры A64FX универсальны и поддерживают широкий спектр вычислительных режимов

Процессоры A64FX обладают интегрированной подсистемой памяти на базе сборок HBM2. Объём достаточно велик, 32 Гбайт на процессор, при этом пропускная способность составляет 1024 Гбайт/с, что заведомо выше, нежели у PCIe 4.0 x16 (16 Гбайт/с в каждую сторону) или NVLink 2.0 (150 Гбайт/с в каждую сторону). Кроме того, A64FX имеют распространённую ARM-архитектуру и программирование под эти системы существенно проще, нежели под гетерогенные комплексы типа «ЦП + ГП».

Как мы уже отмечали, с энергоэффективностью у A64FX дела обстоят отлично: процессоры Fujitsu демонстрируют лучшую удельную производительность, нежели гетерогенные системы с ускорителями NVIDIA Tesla V100. Про x86 говорить не приходится — тот же Fugaku в пересчете на ватт энергии производит почти в три раза больше вычислений.

Задачей Sandia National Labs станет оценка эффективности приложений Министерства энергетики США, выполняемых на процессорах A64FX; учёные поделятся достигнутыми результатами с Fujitsu и Penguin Computer.

A64FX созданы с учётом масштабируемости: возможно создание систем с более чем 150 тысячами процессорных узлов

В тестировании будут использованы так называемые mini- и proxy-версии — компактные, управляемые и снабжённые средствами мониторинга варианты крупного программного обеспечения. Отметим, что они также будут иметь открытый код, что должно облегчить работу по оптимизации и адаптации различного ПО под архитектуру A64FX и конкретные задачи.

Глава проекта Vanguard по оценке новых технологий в супервычислениях, Джеймс Ларос (James Laros) отметил, что новая система Fujitsu-Penguin окажет существенную помощь в исследовании архитектуры ARM в мире HPC и создании ориентированного на неё программного обеспечения. Первой ARM-платформой в распоряжении лабораторий стала система Astra на базе процессоров ThunderX2.

Межузловые соединения реализованы на базе шины TofuD (6,35 Гбайт/с измеренная пропускная способность, задержка ~0,5 микросекунды)

Национальные лаборатории Сандия не отказываются от архитектуры x86: 20 мая организация опубликовала видеоролик, посвящённый монтажу суперкомпьютера Attaway на базе Intel Xeon Gold 6140. За эту систему также отвечает компания Penguin Computer. А более подробно об архитектуре Fujitsu A64FX и решениях на её основе может рассказать эта презентация.

Из 32 стран, участников совместного предприятия «EuroHPC JU» (European High Performance Computing Joint Undertaking) со штаб-квартирой в Люксембурге, лишь 16 подтвердили намерение участвовать в софинансировании проектов EuroHPC, намеченных на 2020 год.

Ранее ещё один активный участник проекта, Великобритания, вышел из состава EuroHPC в связи с Brexit'ом. 

Две страны — Нидерланды и Эстония — уже заявили, что не собираются финансировать какую-либо деятельность EuroHPC. Другие страны пока не озвучили свою позицию по этому поводу. Между тем первый взнос в проекты необходимо внести в июле 2020 года. Подготовка предложений для реализации проектов будет очень сложной для заявителей, поскольку те не знают, на какое финансирование они могут располагать.

Среди всех 32 стран, участников EuroHPC, Нидерланды, являющиеся одной из 7 стран, инициировавших Декларацию EuroHPC в марте 2017 года, оказались единственной страной, не принявшей участия ни в одном проекте EuroHPC.

Для организаций из Нидерландов, занятых в сегменте высокопроизводительных вычислений (HPC), это означает, что им придётся самим оплачивать 50 % своего участия в проектах, которое не будет финансироваться из бюджета EuroHPC. Вместе с тем организации в других странах получат для участия в проектах 50 % средств из национальных фондов.

В рамках EuroHPC, в частности, планируется создание 3 суперкомпьютеров преэкзафлопсного класса и 5 суперкомпьютеров петафлопсного уровня. Предполагается, что половину средств на проекты выделит фонд EuroHPC, а вторую внесут страны-участницы. 

Суперкомпьютеры нередко используются в химических и биологических исследованиях; последние часто имеют целью нахождение способов лечения различных заболеваний, из которых на сегодня самым актуальным является COVID-19. Мы уже рассказывали о том, что будущий японский флагман супервычислений, машина Fugaku, включится в борьбу с эпидемией.

Сейчас стали известны некоторые любопытные факты, касающиеся этого проекта. Интереснее всего, конечно, то, что Fugaku смонтирован с опережением всех планов — система уже установлена и в настоящее время вводится в строй, дабы присоединиться к вычислительной армии, сражающейся на поле битвы с коронавирусом.

Это последний суперкомпьютер, базирующийся на традиционной архитектуре с применением только CPU. В разработке Fujitsu, напоминаем, используются процессоры A64FX. Они имеют доработанную архитектуру ARM (v8.2), усиленную 512-битными блоками векторных вычислений SVE, чем идеологически напоминают Xeon Phi. 

Прототип вычислительного модуля Fujitsu на базе A64FX

К сожалению, такой подход сказывается на общей эффективности проекта: разогнать его до производительности на уровне экзапфлопа технически реально. На это требуется порядка 60 ‒ 80 МВт и от 1,5 до 2 миллиардов долларов. Бюджет проекта на его начало в 2016 году составлял примерно $910 миллионов (110 миллиардов японских иен). Первоначальная оценка производительности Fugaku, напомним, составляет порядка 400 Пфлопс при потреблении 30 ‒ 40 МВт.

Правда, достижение экза-класса и не было целью Fugaku, как отметил директор директор Центра компьютерных наук RIKEN, Сатоши Мацуока (Satoshi Matsuoka). В качестве задачи ставилось стократное ускорение в сравнении с предыдущим суперкомпьютером RIKEN, машиной K, с производительностью 10,51 Пфлопс.

Процессор A64FX содержит в себе память HBM2 и контроллер межсоединений Tofu

Следует отметить, что ни RIKEN, ни Fujitsu изначально не ставили задачи достижения «чистого» экзафлопа, на вычислениях двойной точности (FP64). Тем не менее, последние оценки производительности Fugaku выглядят даже лучше, чем прошлогодние.

Машина на данный момент состоит из 400 стоек и располагает 158 976 процессорами A64FX, каждый из которых имеет 48 основных и 4 вспомогательных ядра и работает на частоте 2,2 ГГц. На операциях типа INT8 Fugaku развивает 4,3 экзаопа, в более привычных единицах FP16 (половинная точность) результат также вызывает уважение — 2,15 экзафлопа. Но, повторимся, удельная производительность у Fugaku не рекордная.

Хотя производительность в INT8 хороша сама по себе и ненамного ниже производительности суперкомпьютера Saturn V, использующего различные ускорители NVIDIA Tesla от P100 до A100. Но при равных 4,3 экзаопах затраты на машину типа Saturn V составят всего 860 серверов и $171 миллион. Это в 5,3 раза дешевле Fugaku. Впрочем, когда речь заходит о простоте программирования, решение Fujitsu выигрывает.

Характеристики Fujitsu A64FX

Цифры в режимах FP32 и FP64 скромнее, они составляют 1,07 экзафлопс и 537 петафлопс соответственно, что, впрочем, всё равно достаточно серьёзный показатель. Общий объём оперативной памяти составляет 4,85 Пбайт, причём это быстрая память HBM2 с пропускной способностью более 1 Тбайт/с. Совокупная же скорость составляет внушительные 163 Пбайт/с.

Зарубежные обозреватели, в частности, Next Platform, не без оснований считают Fugaku сбалансированной машиной, сочетающей в себе в нужных пропорциях вычислительную мощность, производительность системы межсоединений и пропускную способность оперативной памяти.

Не всё так плохо даже с удельной производительностью: прототип Fugaku в прошлом году показал 16,78 Гфлопс на Ватт, что оказалось быстрее кластеров на базе Tesla V100 с их пиковыми 15,77 Гфлопс на Ватт, и тем более, быстрее «чистых» систем на базе Xeon SP Gold с 5,84 Гфлопс на Ватт. Скорее всего, NVIDIA с выпуском A100 возьмёт реванш, особенно на вычислениях двойной точности и возглавит первое место в рейтинге Green500, но Fugaku, как только пройдёт финальные тесты, ответит на это доминированием в HPCG и Graph500.

Fujitsu A64FX: лебединая песнь традиционных супервычислений?

Тем не менее, очевидно, что будущее за гибридными решениями, сочетающими в себе ЦП, ГП и иные специализированные ускорители. Более точно об этом можно будет рассказать в 2021 году, когда Fugaku выйдет на полную мощность официально. В настоящее время, как уже было сказано, он находится в процессе подключения к битве против COVID-19. Это будет серьёзное подспорье и остаётся лишь похвалить Fujitsu, сумевшую досрочно запустить столь серьёзный проект, несмотря на все проблемы с логистикой и производством, которые были вызваны эпидемией.

На Fugaku запущено уже пять проектов, связанных с COVID-19. Среди них симуляция воздушно-капельных процессов заражения, поиск кандидатов в лекарства против коронавируса, анализ белков SARS-CoV-2, статистический анализ распространения заболевания в Японии, а также оценка влияния эпидемии на экономику страны в период карантина.

Один из крупнейших и наиболее известных в мире производителей суперкомпьютеров, компания Atos, анонсировала первую систему на базе новейшей графической архитектуры NVIDIA Ampere.

Она будет производиться и поставляться под торговой маркой BullSequana. Машина на основе BullSequana X2415 станет первой в Европе, использующей процессоры NVIDIA A100.

Базовая плата NVIDIA HGX A100, версия с четырьмя ускорителями

Вчера NVIDIA представила миру наследницу Turing — микроархитектуру Ampere и первый ускоритель на её основе, A100. Его производительность в традиционных режимах с плавающей запятой составляет 19,5 (FP32) и 9,7 (FP64) Тфлопс, вызывают уважение и показатели на тензорных операциях. Как и V100, A100 является, в первую очередь, вычислительным ускорителем, а не графическим процессором.

Если верить анонсу, вычислительные модули BullSequana X2415 будут более чем вдвое превосходить модели предыдущего поколения, но при этом продемонстрируют более высокую энергоэффективность за счёт применения фирменной жидкостной системы охлаждения DLC (Direct Liquid Cooling).

Машинный зал суперкомпьютера JUWELS

Основой новых вычислительных узлов станет плата с двумя процессорами AMD EPYC второго поколения, дополненными 32 Гбайт оперативной памяти. Каждая из ускорительных плат Nvidia HGX A100 получит по четыре ускорителя A100, соединённых между собой шиной NVLink 3.0.

Юлихский исследовательский центр, один из крупнейших научных центров Европы, планирует модернизировать с помощью новых модулей Atos уже имеющийся в его распоряжении суперокомпьютер JUWELS, также произведенный BullSequana. Это сделает JUWELS самым мощным суперкомпьютером на европейском континенте — после модернизации его производительность должна превысить 70 Пфлопс. Система будет использована в ряде научных проектов, включая проект еврокомиссии «Human Brain Project», ей также планируют воспользоваться Юлихские лаборатории климатологии и молекулярных систем.

Nvidia A100, версия NVLink

Массовая доступность BullSequana X2415, насколько этот термин вообще может быть применён к суперкомпьютерам, ожидается во втором квартале текущего года.

На мероприятии OCP Virtual Summit 2020 Penguin Computing представила новую модель сервера RELION XO1122eAP на базе Intel Xeon Cascade Lake-AP. Данное решение разработано с учетом стандартов OCP (Open Compute Project) и предназначено для использования в областях высокопроизводительных вычислений (HPC), ИИ и машинного обучения (AI/ML). 

Сервер RELLION XO1122eAP имеет форм-фактор 1U и предназначен для платформы TUNDRA AP второго поколения.

В компактном корпусе располагаются два узла Intel Server System S9200WK, каждый из которых включает в себя два процессора Intel Xeon 9200, до 3 Тбайт оперативной памяти DDR4 и два накопителя форм-фактора M.2.

Для отвода тепла от такой компактной системы используется жидкостная система охлаждения CoolIT. Питается система от стойки — для этого используется три независимых модуля с напряжением 48В постоянного тока (OCP Rack V.2). Данный сервер не предполагает использование дополнительных GPU/ускорителей. В портфолио Penguin Computing есть подобные решения, но они не обладают такой высокой плотностью размещения.

Таким образом, в 1U-сервере можно получить систему с 224 ядрами и 6 Тбайт оперативной памяти. При этом цена такой системы будет невысока — разработчик в своем пресс-релизе делает на этом акцент. Именно простота обслуживания и низкие эксплуатационные расходы являются преимуществами оборудования на базе OCP.

В стандартной стойке OCP Rack можно разместить до 40 подобных серверов, что делает это решение одним из самых компактных на рынке.

Граф — важное понятие в математике и информационных технологиях, позволяющее удобно описывать взаимные связи между множеством объектов. Неудивительно, что существует отдельный рейтинг Graph500, оценивающий производительность суперкомпьютеров именно на операциях с графами.

Суперкомпьютер Summit, смонтированный в Национальной лаборатории Ок-Ридж и занимающий первую строчку в списке TOP500, дебютировал и в Graph500 — впервые в своей истории. При этом он доказал высокую эффективность в задачах подобного рода.

Summit, он же OLCF-4, уже доказал своё право на лидерство в TOP500 и подтвердил высокую эффективность своей гибридной архитектуры, основой которой являются два типа процессоров: IBM POWER9 и NVIDIA Tesla V100. В свежей версии Summit сумел  сразу же занять четвёртое место. Это весьма достойный результат.

Основой тестов Graph500 служит задача о вычислении графа с более чем миллиардом вершин, между которыми имеется примерно 16 миллиардов связей. Для решения данной задачи в Summit задействовалось 86016 процессорных ядер — речь идёт только о традиционных процессорах, но не о ГП-ускорителях. Это примерно 45% всех мощностей суперкомпьютера. Для сравнения, лидер этого списка, китайский суперкомпьютер Sunway TaihuLight использовал свыше 10 миллионов вычислительных ядер (точное число — 10599680 ядер).

Главный соперник Summit, Sunway TaihuLight

Таким образом, удельная производительность Summit оказалась существенно выше, что объяснимо как большей архитектурной сложностью POWER9 в сравнении с достаточно простой RISC-архитектурой процессоров Sunway SW26010, так и более высокой эффективностью межузловых подсистем связи суперкомпьютера. Любопытно, что 2 и 3 места принадлежат системам c процессорами IBM, это машины Blue Gene/Q, установленные в Аргоннской национальной лаборатории и Ливерморской национальная лаборатории им. Э. Лоуренса (LLNL).

Специализированный суперкомпьютер Anton 2, разработанный лабораторией D. E. Shaw Research и установленный в Питтсбургском суперкомпьютерном центре (Pittsburgh Supercomputing Center, PSC), стал доступен для специалистов, занимающихся поиском методов лечения коронавирусной инфекции.

Система способна проводить моделирование механики биохимических молекулярных взаимодействий с молекулами потенциальных лекарственных препаратов.

Эта информация является крайне важной для понимания особенностей нового коронавируса, вызвавшего пандемию COVID-19. Кроме того, она может существенно ускорить поиск и разработку новых эффективных методов лечения, профилактики и, возможно, вакцины от нового коронавируса.

Суперкомпьютер Anton 2 был разработан специально с целью моделирования молекулярной динамики белков, нуклеиновых кислот, липидов и других видов молекул. Система способна проводить эту работу в среднем в четыре раза быстрее и может моделировать движения молекулярных систем примерно в пять раз большего размера по сравнению с классическими суперкомпьютерами.

Высокий уровень производительности Anton 2 даст учёным возможность проведения длительного моделирования и наблюдения за сложными биомолекулярными системами, а также их взаимодействием с природными сигнальными молекулами и частицами препаратов-кандидатов.

Доступ к суперкомпьютеру Anton 2 предоставляется американским исследовательским командам для некоммерческих исследований на безвозмездной основе благодаря финансовой поддержке Национальных институтов здравоохранения США.

Заявки на использование суперкомпьютера Anton 2 в Питтсбургском суперкомпьютерном центре принимаются через консорциум High Performance Computing (HPC) Consortium. Им же устанавливается время использования суперкомпьютера для исследований вопросов, связанных с COVID-19.

Аналитическая компания Hyperion Research, выпустила обновлённый анализ потенциального воздействия пандемии COVID-19 на рынок высокопроизводительных вычислений (HPC), основанный на недавних дискуссиях с поставщиками и покупателями систем HPC.

Существуют значительные вариации в воздействии пандемии коронавируса на различные сегменты данного рынка. Hyperion Research разрабатывает подробный анализ этих воздействий с целью создания обновлённых прогнозов для серверов HPC, AI, ML, DL и расходов на публичное облако для выполнения рабочих нагрузок HPC.

Генеральный директор Hyperion Research Эрл Джозеф заявил, что компания всё ещё придерживается мнения, высказанного в марте о том, что пока слишком рано точно определять конкретное влияние COVID-19 на мировой HPC-рынок, хотя уже сейчас видно, что для некоторых секторов, включая промышленность, мультимедиа и геонауки, уже наступают трудные времена.

В краткосрочной перспективе мировые доходы для сегмента суперкомпьютеров (серверные системы HPC по цене $500 000 и выше) будут соответствовать прогнозу Hyperion Research до наступления пандемии COVID-19. Тем не менее затяжной экономический спад и ужесточение государственного финансирования в ближайшие несколько лет могут привести к сокращению заказов, что приведёт к снижению high-end закупок в 2023 году и далее.

Hyperion Research полагает, что этот сегмент имеет некоторый потенциал роста в течение прогнозируемого периода из-за растущего глобального спроса на исследования COVID-19 с использованием суперкомпьютеров. Но после завершения пандемии правительства столкнуться с дефицитом бюджета, что может привести к закрытию некоторых программ с использованием HPC.

Сегмент рабочей группы (серверные системы HPC стоимостью $100 000 или менее), вероятно, больше всего пострадает от пандемии, поскольку заказы для него редко размещаются задолго до поставок и могут быть с большей готовностью отложены или отменены во время экономических спадов. Даже до пандемии прогноз среднегодового темпа роста (CAGR) в этом сегменте составлял лишь 3.4 % на прогнозируемый период.

Прогноз Hyperion Research по вертикальным сегментам показывает, что некоторые будут чувствовать себя лучше, но в конечном итоге каждый сектор столкнется с трудным финансовым выбором: на что лучше всего выделять ограниченные средства.

• Биологические науки. Hyperion Research прогнозировала 9,7 % роста CAGR до начала пандемии. Этот сегмент, вероятно, получит дополнительный прирост, особенно в 2021 и 2022 годах, в связи с ростом спроса на исследования COVID-19 с использованием систем HPC.
• Правительственные лаборатории и оборона. Эти важные сегменты HPC должны достичь прогнозов роста, показанных в таблице выше, хотя, возможно, с некоторыми задержками в цепочке поставок в 2020 и 2021 годах.
• Медиа (создание цифрового контента). Этот сектор уже сильно пострадал из-за закрытия кинопроизводств и кинотеатров по всему миру из-за пандемии. Может пройти год или два, прежде чем зрители смогут находиться в кинотеатрах без соблюдения норм социального дистанцирования.
• Нефть и газ (энергетика). Этот сектор, скорее всего, пострадает больше всего из-за «идеального шторма» низких цен, огромного снижения спроса из-за ограничений на поездки и связанных с этим экономических последствий.