Согласно свежему рейтингу суперкомпьютеров TOP500, технологии NVIDIA используются в 342 системах (68%), включая 70% всех новых систем списка и в 8 из 10, занимающих первые строчки. Речь, естественно, не только про ускорители, но и про сетевые решения. Новый рейтинг показал, что центры высокопроизводительных вычислений (HPC) всё чаще применяют ИИ, и что потребители продолжают использовать сочетание программно-аппаратных решений NVIDIA для выполнения своих научных и коммерческих рабочих нагрузок.

Так, в TOP500 есть 15 систем на базе фирменных узлов NVIDIA DGX, а количество систем, использующих InfiniBand, выросло по сравнению с прошлым годом на 20 %, что повысило её рейтинг в качестве предпочтительного типа интерконнекта для обработки растущего потока данных ИИ, HPC и моделирования с низкой задержкой и ускорением ряда операций.

Ещё одним признаком растущей важности рабочих нагрузок ИИ является то, что для 10 систем в списке были предоставлены реузультаты HPL-AI, что в 5 раз больше, чем в июне прошлого года (или вдвое больше, чем в ноябре). Более того, часть систем заметно улучшила результаты. Так производительность суперкомпьютера Summit выросла с 415 Пфлопс до 1,15 Эфлопс.

Причина такого резкого скачка — серьёзная оптимизация кода HPL-AI, выпущенного в марте. Это первое обновление бенчмарка с тех пор, как он был выпущен исследователями из Университета Теннесси в конце 2018 года. Одна только оптимизация обмена данными между чипами вкупе с повышением параллелизации позволила получить на некоторых нагрузках почти трёхкратный прирост. Это в очередной раз подчёрквает важность программной экосистемы.

В TOP500 также есть две уникальные системы, так называемые «супероблака» — суперкомпьютеры с новыми возможностями на стыке ИИ, HPC и облачного подхода. Так, публичное облако Microsoft Azure вышло на новый уровень с кластерами, которые заняли четыре места подряд (с 26-го по 29-е) в TOP500. Они являются частями супероблака, глобального ИИ-суперкомпьютера, доступного сегодня по запросу для любого пользователя на планете. Каждая из четырёх систем Azure показала FP64-производительность в 16,59 Пфлопс в тесте HPL (High Performance LINPACK).

NVIDIA также выделила несколько наиболее интересных с её точки зрения HPC-систем в TOP500. Например, Кембриджский университет представил Wilkes-3 — самую быструю академическую систему в Великобритании, занявшую 3-е место в списке самых энергоэффективных систем в мире Green500. Кроме того, это первый в мире суперкомпьютер с облачным подходом. Perlmutter из Национального вычислительного центра энергетических исследований (NERSC) занял 5-е место в TOP500 с 64,59 Пфлопс — это единственная новая и крупная машина в первой десятке TOP500.

HiPerGator AI занял 22-е место в рейтинге с показателем 17,2 Пфлопс и 2-е место в рейтинге Green500, что сделало его самым энергоэффективным академическим ИИ-суперкомпьютером в мире. Наконец, Суперкомпьютер MeluXina из Люксембурга занял 37-е место с 10,5 Пфлопс. Это одна из первых систем, дебютировавших в списке сети европейских национальных суперкомпьютеров, которые будут применять ИИ и аналитику данных в научных и коммерческих приложениях.

Среди новых систем в июньском TOP500 есть и одна российская. Это суперкомпьютер MTS GROM на базе NVIDIA DGX SuperPOD (DGX A100), который ввели в эксплуатацию менее чем за месяц. Система находится на 241-ом месте и имеет FP64-производительность 2,26 Пфлопс. Ресурсы системы будут доступны в облаке #CloudMTS.

Ноябрьский рейтинг суперкомпьютеров TOP500 оказался ещё более скудным на новинки в сравнении с летним. Тогда в списке появилось менее сотни новых машин, сейчас — всего 44. Составители списка вновь вынуждены констатировать, что это новый антирекорд с момента выхода первого рейтинга в 1993 году. Однако перспективы не так плохи — до 2026 года мы должны увидеть от 28 до 38 систем мощностью от 1 Эфлопс, на создание которых уйдёт $10-15 млрд.

Лидером же нынешнего TOP4500 остаётся Fugaku, который с лета немного «нарастил мускулы» благодаря доукомплектации новыми узлами и, что не менее важно, за счёт программных оптимизаций. Теперь у него 7,3 млн ядер, которые выдают на-гора 442 Пфлопс реальной производительности. И он всё ещё практически в три раза быстрее второго места в списке, суперкомпьютера Summit. В более современном и комплексном бенчмарке HPCG разрыв между ними ещё заметнее: 16 Пфлопс против 2,93 Пфлопс. А в специализированном HPL-AI и вовсе разгромный — 2 Эфлопс против 0,55 Эфлопс.

Однако и «цена» за такую производительность немаленькая — почти 30 МВт! По показателю Гфлопс/Вт Fugaku чуть лучше того же Summit, а в Green500 он опустился на 10 место. И вот, что интересно — в первой десятке сейчас сплошь системы на базе AMD EPYC 7002 с NVIDIA A100 (верхняя часть списка) и IBM POWER или Intel Xeon с NVIDIA V100 (нижняя), если не учитывать специализированную машину Preferred Networks MN-3. Да и в целом по TOP500 более четверти машин (136) используют ускорители NVIDIA или в редких случаях другие акселераторы. Новых MI100 пока в списке нет.

Зато AMD, процессорами EPYC которой теперь оснащена 21 машина (19 из них Rome), теперь представлена в 12 из 44 новых участников списка. Из них 9 — с 64-ядерными CPU. И это очень сильно контрастирует с наиболее массовыми конфигурациями от 16 до 24 ядер на сокет, которые суммарно занимают почти 60% списка. Что любопытно, среди этих 21 машин шесть имеют ускорители NVIDIA A100, причём одна половина в составе DGX A100 и с 64-ядерными CPU, а вторая — с 24-ядерными. Ещё 14 машин не имеют никаких ускорителей, и 11 из них тоже базируются на 64-ядерных EPYC.

Так что можно аккуратно сказать, что решения AMD интересны и в качестве основы для систем с ускорителями (и тут необязательно использовать старшие SKU), и в составе CPU-only машин. Тем не менее, 90% нынешнего списка остаётся за Intel. Половина новых участников списка всё так же используют Intel Xeon Cascade Lake, а остальные — либо более старые поколения Intel, либо более экзотичные архитектуры. Ладно, A64FX уже не такой экзотичный, а вот пара машин с NEC SX-Aurora Vector Engine Type10AE в качестве основных процессоров на фоне остальных выделяется.

Загадывать наперёд смысла нет, но всё же интересно, что будет дальше делать IBM после реструктуризации, и особенно интересно — что сделает NVIDIA с Arm. Fujitsu A64FX, который лежит в основе Fugaku, всё же довольно нетипичный чип во всех отношениях, а Marvell, только-только получив новые процессоры ThunderX3, похоже, отказывается от серверных CPU. Из альтернатив, готовых составить компанию A100 прямо сейчас, остаётся, по-видимому, только Arm-платформы Ampere. Для A100 же от нынешних EPYC нужны, пожалуй, именно линии PCIe 4.0, которые требуются и самим акселераторам, и сетевым адаптерам, чтобы упростить масштабирование кластера. И вот с интерконнектом и вообще с сетями у NVIDIA после покупки Mellanox всё неплохо.

Особенно интересны в этом контексте DPU, которые потенциально могут значительно снизить потребность в обычных CPU, но насколько это будет применимо именно в HPC, ещё вопрос. Да, половина списка TOP500 опирается на Ethernet, однако совокупная мощность всех систем с InfiniBand составляет 40% от суммарной мощности всех суперкомпьютеров списка. Ещё столько же приходится на проприетарные и кастомные интерконнекты вкупе с Omni-Path (есть даже одна машина с OPA от Cornelis Networks). Следующий шаг NVIDIA уже объявлен — адаптеры, DPU и коммутаторы следующего поколения NDR InfiniBand с базовой скоростью 400 Гбит/с появятся в ближайшие пару лет. Правда, со стороны хоста им опять понадобится или много линий PCIe 4.0, или вовсе PCIe 5.0.

Прямо сейчас такой порядок скоростей на узел есть только у Fugaku. Любопытно, что из всех известных на данный момент проектов экзафлопсных машин, по данным Hyperion Research, только для одной китайской в планах явно указывается использование 400G-интерконнекта «домашней выделки». Причём эта система NUDT Tiahne-3 будет полагаться на некий Arm-чип (вероятно, развитие Phytium), но с учётом последних событий — санкций на современные техпроцессы и неразбериху в китайском офисе Arm — пока не очень понятно, как это всё будет реализовано и когда. Всего у Китая есть три проекта машин экзафлопсного класса.

Евросоюз тоже рассчитывает получить три таких машины в 2022-2023 году, и одна из них будет базироваться на Arm-процессорах собственной разработки SiPearl Rhea. А пока в рамках проекта EuroHPC, который испытывал проблемы с финансированием, будут построены сразу несколько суперкомпьютеров в разных регионах, включая весьма мощные. Великобритания, покинувшая проект в связи с Brexit’ом, по оценкам, будет вынуждена выложить от 0,7 до 1,2 млн фунтов, чтобы получить на рубеже 2022-2023 г.г. собственный экзафлопсный компьютер.

Наконец, в США пока разрабатываются три главных экзафлопсных системы: Aurora, Frontier и El Capitan. Первая из-за пересмотра проекта и ряда проблем Intel задержится примерно на год, так что вторая в конце 2021 года станет первой такой системой в США. В её основу лягут AMD EPYC на базе Zen3, которые должны показать в начале следующего года, и ускорители на базе архитектуры AMD CDNA. Из особенностей отмечается высокая плотность — 300 кВт на стойку, что требует СЖО — и суммарное потребление на уровне 40 МВт. Примерно того же стоит ждать и от суперкомпьютера El Capitan, который будет основан на следующем поколении CPU и GPU AMD и заработает в 2023 году.

Есть и ещё одна система с производительностью около 1 Эфлопс, которая будет поэтапно введена в строй в 2020-2021 г.г. — это Perlmutter на базе AMD EPYC Zen3 и ускорителей NVIDIA. Интересно, вся эта «фантастическая четвёрка» будет базироваться на платформе HPE Cray EX. Последовательная покупка SGI и Cray резко укрепила позиции HPE на рынке суперкомпьютеров. По итогам 2019 года, согласно данным Hyperion Research, она занимает более 37% рынка HPC-серверов. На втором месте Dell с долей 22%, а все прочие игроки занимают менее 7% каждый.

При этом совокупный среднегодовой темп роста до 2024 года именно этого сегмента будет не так велик — 6,8% вместо ранее предсказанных 8,7%. Наибольший прирост придётся на большие во всех смыслах машины, включая экзафлопсные. Быстрее всего будет расти сегмент СХД — 8,3%. Тут в лидерах как раз Dell и IBM, а HPE и DDN на третьем и четвёртом местах соответственно. Хуже всего придётся нижнему сегменту HPC-серверов начального уровня (до $100 тыс.) — после кризиса 2008 года она так и не восстановился, а сейчас скорее пойдёт в облака.

Да и вообще HPC в облаках будет расти более чем в 2,5 раза быстрее, чем в on-premise — CAGR до 2024 года составит 17,6% против 6,7%. Впрочем, разница в объёмах рынках всё равно будет составлять более 4,3 раз в пользу on-premise. Тем не менее, облака добавят $8,8 млрд к общему объёму рынка HPC, который вырастет до более чем $47 млрд. Следует учитывать, что всё это пока что предварительные прогнозы, которые теперь будут обновляться гораздо чаще. Пандемия COVID-19, как теперь стало понятно, заметно повлияла на рынок HPC.

Общие выводы Hyperion Research, в целом, совпадают с данными доклада Intersect360, о котором мы уже писали ранее — многие проекты отложены или заморожены, и не все из них будут реализованы даже после снижения влияния пандемии на мировую экономику. Во всех случаях основным препятствием для закупок, как и прежде, останется стоимость систем. Но для on-premise также будут важны затраты на питание и охлаждение и ограничения по площади. А основными критериями при выборе новых систем помимо очевидного соотношения цена/производительность также станут безопасность, скорость работы CPU и способность работы с ИИ и Big Data.

Всего год, а может быть и меньше, отделяет EuroHPC от запуска новейших суперкомпьютеров, созданных в рамках проектов этой организации. В связи с этим обозреватель Primeurmagazine Эд Эммен (Ad Emmen) проанализировал присутствие EuroHPC в последнем издании рейтинга TOP500.

В 2020 году в TOP500 вошли 96 европейских систем общей производительностью 379 петафлопс. По сравнению с предыдущим рейтингом выросла их общая производительность, хотя количество систем не увеличилось. Сейчас устанавливаются все более и более мощные суперкомпьютеры, но аналитик отметил, что даже если объединить все европейские системы, вошедшие в TOP500, Европа всё ещё далека до суммарной производительности систем в экзафлопс.

Если говорить только о странах, входящих в EuroHPC, то в TOP500 присутствует 93 их системы. На системы EuroHPC приходится порядка 17 % общей производительности, и этот показатель не сильно изменился с годами. И европейская система никогда не возглавляла топ-10 суперкомпьютеров.

В настоящее время в топ-10 входят три системы EuroHPC. Это HPC5 итальянской нефтегазовой компании Eni, Marconi-100, находящаяся в исследовательском центре CINECA в Италии, а также замыкающая десятку Piz Daint, установленная в Швейцарском национальном суперкомпьютерном центре (CSCS) в Лугано (Швейцария).

Таким образом, на EuroHPC приходится треть суперкомпьютеров в Топ-10, что соответствует первоначальной цели организации. Если говорить о Топ-100, то в этот рейтинг входит в среднем 35 европейских систем, что также составляет одну треть. Напомним, что проект EuroHPC направлен на укрепление независимости Европейских стран в области высокопроизводительных вычислений, на него придётся более 1€ млрд.

Появлению первого ARM-суперкомпьютера Fugaku на первом месте TOP500 мы уже порадовались. Но если взглянуть на оставшуюся часть списка, поводов для радости уже не так много. Шутка ли, в этом году в число новых машин в списке оказалось наименьшим с момента основания рейтинга.

Существенный прирост суммарной мощности всего списка с 1,65 до 2,23 Эфлопс обеспечила опять же машина Fugaku, внеся тем самым лёгкую сумятицу — отрыв между первым и вторым местом очень существенен. Однако тут есть два важных момента. Во-первых, A64FX концептуально ближе к Xeon Phi — собственная память, стандартные ядра + «широкие» инструкции сбоку — и стоит ли его причислять к CPU или всё же к ускорителям, ещё надо подумать. Во-вторых, энергоэффективность у этой 28-МВт машины оказалась практически идентичной показателю Summit (POWER9 + Volta).

Лидером Green500 вообще оказался специфический суперкомпьютер Preferred Networks MN-3 c ускорителями PFN MN-Core. Как и PEZY, это ещё одно японское чудо, которое вряд ли станет массовым. Остальные же места в «зелёном» списке, как и прежде, по большей части принадлежат машинам на базе процессоров Intel или POWER вкупе с ускорителями NVIDIA. Собственный суперкомпьютер NVIDIA Selene на базе DGX A100 (с AMD EPYC 7002 внутри) занимает в Green500 и TOP500 второе и седьмое место соответственно.

При этом, в целом, соотношение между производителями компонентов практически не поменялось. 470 систем используют процессоры Intel, ещё 11, включая Hygon, используют AMD. Причём Rome полгода назад было всего пару штук, а теперь уже восемь. Всего 4 машины базируются на ARM: Fugaku и её прототип, Flow на базе Fujitsu PRIMEHPC FX1000 с теми же процессорами A64FX и Astra на базе Marvell ThunderX2. Есть под одному SPARC и ShenWei, остальные — IBM POWER. Ускорители установлены почти в трети систем, в подавляющем большинстве случаев это NVIDIA разных поколений.

Теперь NVIDIA имеет право зачесть в свои активы заслуги Mellanox. Формально среди интерконнектов лидирует Ethernet, используемый более чем в половине систем. За ним идёт InfiniBand — почти треть машин. Остальное приходится на проприетарные решения. Однако суммарная производительность суперкомпьютеров с Ethernet почти на треть меньше, чем этот же показатель у машин с IB или проприетарными интерконнектами. Массово Ethernet начинает встречаться у систем после первой сотни позиций TOP500.

Примерно такая же картина наблюдается со странами и производителями. Формально по числу суперкомпьютеров лидирует, конечно, Китай (226 шт.) и большая тройка Lenovo, Sugon, Inspur. В США машин 114, в Японии 30, а в России и вовсе 2 (36-е место у SberCloud Christofari и 131-е у Ломоносов-2 в МГУ). Однако по суммарной мощности лидирует США, а Япония, благодаря всё тому же Fugaku, идёт вровень с Китаем.

Из необычного — в первой десятке свежего рейтинга на шестом месте находится промышленный суперкомпьютер HPC5 итальянской корпорации Eni, который является самым быстрым в Европе вообще. Не то, чтобы у нефтегазовых компаний не хватало возможностей получить такую машину, просто далеко не всегда они готовы делиться информацией.

Составители TOP500 отдельно отметили, что рынки коммерческих и академических суперкомпьютеров отличаются кардинально, и впервые проанализировали первую сотню машин в каждой категории. Собственно говоря, коммерческих машинах как раз уже давно довольно много, но топовые позиции традиционно удерживаются по большей части не ими.

По суммарным числу и производительности коммерческих установок в лидерах опять Китай и китайские же компании. А вот для академических систем картина совершенно иная. По числу машин в лидерах уже США и Япония, по производительности опять же Япония (снова всплеск из-за Fugaku) и США, а среди вендоров верхние строчки занимают привычные имена: Cray + HPE, Atos, IBM, Fujitsu. Среди производителей чипов в количественном выражении лидируют Intel и связка Intel+NVIDIA в обоих сегментах. В плане производительности для коммерческих суперкомпьютеров картинка такая же, а вот в исследовательских машинах доминирует пара POWER+NVIDIA и теперь уже ARM.

В целом же, скорость прироста общей производительности за последние десятилетия осталась практически неизменной. Малое число новых систем в рейтинге успешно скомпенсировал Fugaku, а в скором будущем нас ожидают как минимум три сверхмощные машины экзафлопсного класса Aurora, El Capitane и Frontier. Fugaku же хоть и не дотянул до этой заветной цифры в FP64-вычислениях, но на уровне организации системы его уже можно причислить к суперкомпьютерам нового поколения.

Конечно же, речь идёт о японском суперкомпьютере Fugaku на базе ARM-процессоров A64FX, который досрочно начал трудиться весной этого года. Эта машина стала самым мощным суперкомпьютером в мире сразу в трёх рейтингах: классическом TOP500, современном HPCG и специализированном HPL-AI.

Суперкомпьютер состоит из 158976 узлов, которые имеют почти 7,3 млн процессорных ядер, обеспечивающих реальную производительность на уровне 415,5 Пфлопс, то есть Fugaku почти в два с половиной раза быстрее лидера предыдущего рейтинга, машины Summit. Правда, оказалось, что с точки зрения энергоэффективности новая ARM-система мало чем отличается от связки обычного процессора и GPU, которой пользуется большая часть суперкомпьютеров. Так что на первое место в Green500 она не попала.

Однако на стороне Fugaku универсальность — понижение точности вычислений вдвое приводит к удвоение производительности. Так что машина имеет впечатляющую теоретическую пиковую скорость вычислений 4,3 Эопс на INT8 и не менее впечатляющие 537 Пфлопс на FP64. Это помогло занять её первое место в бенчмарке HPL-AI, которые использует вычисления разной точности. А общая архитектура процессора, включающего набортную память HBM2, и системы, использующей интерконнект Tofu, способствовали лидерству в бенчмарке HPCG, который оценивает эффективность машины в целом.

Официально список 500 самых производительных суперкомпьютеров мира последний раз обновлялся в ноябре прошлого года, номинально в нём лидирует американская система Summit с уровнем быстродействия более 200 терафлопс. Прежде чем США в следующем году шагнут за предел в один эксафлопс, Япония рассчитывает возглавить список Top 500, расположив на его вершине суперкомпьютер Fujitsu Fugaku.

Известно, что в следующем году Национальная лаборатория Ок-Ридж получит на вооружение создаваемую в сотрудничестве с AMD систему Frontier, которая поднимет планку быстродействия до 1500 петафлопс. Это на какое-то время сделает американский суперкомпьютер недосягаемым для конкурентов, особенно с учётом санкций против Китая, который в последние годы является главным соперником США в этой сфере.

Источник изображения: Kyodo

Как отмечает издание Nikkei Asian Review, японские власти готовы поддержать инициативу Fujitsu по созданию суперкомпьютера Fugaku, чей уровень быстродействия достигнет примерно 530 петафлопс. Сейчас самый производительный японский суперкомпьютер ABCI занимает восьмую строчку в мировом рейтинге, а на его вершине японская система в последний раз присутствовала восемь с половиной лет назад. Прототип Fugaku занимает в том же рейтинге 159 место, лидируя при этом в Green500.

Примечательно, что Fugaku уже используется японскими учёными для поиска методов лечения нового коронавируса, поэтому даже если его лидерство в перечне Top 500 будет краткосрочным, определённую пользу он принесёт и не для защиты чести страны на международной арене.

Суперкомпьютер Fugaku будет построен на основе 150 тысяч процессоров Fujitsu A64FX с ARM-совместимой архитектурой. Своего предшественника, который сейчас занимает восьмую позицию в мировом рейтинге, он превзойдёт по быстродействию в 16 раз, как минимум, а уровень энергопотребления при этом будет в три раза ниже. Окончательный ввод в строй Fugaku должен состояться не ранее 2021 года, и возможность возвращения Японии на вершину рейтинга будет сильно зависеть от расторопности HPE/Cray и других компаний, создающих для американцев в три раза более производительный Frontier.

Авторы проекта TOP500 обратились к сообществу владельцев высокопроизводительных вычислительных систем (HPC) с просьбой представить информацию для составления 55-й редакции рейтингов TOP500 и Green500.

Рейтинг самых мощных публичных вычислительных систем мира TOP500 и рейтинг самых энергоэффективных суперкомпьютеров Green500 публикуются два раза в год — в июне и ноябре.

Публикация новых рейтингов произойдёт в ходе крупнейшей в Европе выставки, посвященной высокопроизводительным вычислениям (HPC), сетевым технологиям и системам хранения ISC High Performance, которая в этом году в связи с пандемией COVID-19 пройдёт в цифровом формате с 22 по 24 июня. Это изменение не повлияет на график представления и публикации июньской версии рейтингов.

Авторов TOP500 в первую очередь интересуют новые позиции, а также позиции, которые больше не действительны.

msstate.edu

Из-за пандемии коронавируса аналитики вынуждены вносить корректировки в прогноз дальнейшего развития рынка суперкомпьютеров. Впрочем, мнения по этому поводу высказываются разные, иногда диаметрально противоположные.

Например, аналитическая компания Hyperion Research считает, что пока слишком рано говорить о влиянии пандемии на мировой рынок HPC. Вместе с тем она допускает такие последствия распространения коронавируса, как задержки с исполнением заказов и поставками продукции, падение доходов, а также задержку с разработкой новых продуктов. В свою очередь, компания Intersect360 Research скорректировала свой прогноз развития рынка HPC на текущий год, указав, что пандемия приведёт к его значительному сокращению.

Пандемия коронавируса резко изменила ИТ-отрасль, так как многие компании были вынуждены пересмотреть сроки выпуска новых продуктов, отложив их выход на неопределённое время.

В то же время HPC-индустрия объединяет усилия для противодействий дальнейшему распространению коронавируса и поиска эффективного лекарства. Например, IBM сформировала консорциум COVID-19 High Performance Computing, объединяющий крупные суперкомпьютеры различных исследовательских институтов и технологических компаний США. Недавно к консорциуму присоединилась NVIDIA.

Сегодня была представлена новая, 32-ая по счёту редакция 50 самых производительных суперкомпьютеров СНГ. Суммарная производительность всех систем Top50 в тесте Linpack с момента публикации прошлой редакции полгода назад выросла до 20 Пфлос, а пиковая — до 30,6 Пфлопс. В 31-й редакции списки значения были 12,8 и 20,9 Пфлопс соответственно.

Лидером списка, как и ожидалось, стал суперкомпьютер Кристофари (Christofari), принадлежащий облачному подразделению Сбербанка.

В мировом рейтинге TOP500 он находится на 29-ом месте. Его пиковая производительность равна 8,8 Пфлос. Для сравнения — предыдущий лидер Топ-50, суперкомпьютер «Ломоносов-2» в МГУ, имеет пиковую производительность 4,9 Пфлопс. С появлением Кристофари большая часть систем сместилась на одну позицию вниз, а порог для входа в Топ-50 соответственно поднялся до 56,84 Тфлопс.

Кроме того, в рейтинге появились две новые машины. Одна занимает 15-е место с пиковым показателем 496,9 Тфлопс, другая — 37-е с 150,24 Тфлопс. Первая принадлежит газодобывающей компании НОВАТЭК и предназначена для расчётов в области геофизики, а вторая, PetaNode 1.0 Cluster, ориентирована на моделирование климата.

Также ряд машин получил обновления. В частности, одна из систем «Политехник» сохранила за собой пятое место в рейтинге, нарастив пиковую производительность до 1,15 Пфлопс благодаря установке нового сегмента из 30 узлов на базе Intel Xeon Platinum 8268. Аналогичные узлы, но уже в количестве 51 шт. получил суперкомпьютер МВС-10П ОП2. За счёт апгрейда эта система стала вдвое быстрее (427,6 Тфлопс) и поднялась на 12-ю строчку рейтинга.

Наконец, обновление суперкомпьютера «Уран» и соответствующий рост пиковой производительности до 326,85 Тфлопс позволили ему подняться на 18-е место — система получила новые узлы на базе Intel Xeon Gold 6240 и NVIDIA Tesla V100. Все три обновлённые машины работают в научно-образовательной и исследовательской сферах. Всего в рейтинге есть 23 системы для науки и образования, машин для конкретных прикладных исследований стало 10 (было 13), а суперкомпьютеров для промышленности так и осталось 3.

Все суперкомпьютеры текущего списка Топ-50 используют процессоры Intel, а 27 из них также оснащены различными ускорителями. Подавляющее большинство из них приходится на решения NVIDIA, но есть 7 систем с Intel Xeon Phi. Упомянутый выше новичок рейтинга PetaNode 1.0 Cluster — единственная система с ускорителями AMD. В данном случае это Radeon Instinct MI50.

HPE установила наибольшее число систем в списке 13. За ней следуют отечественные производители РСК и «Т-Платформы», имеющие по 11 систем в портфолио. Впрочем, активность в последнее время проявляет только РСК, и если конкуренты не предпримут ответных действий, она останется лидером среди российских компаний. За IBM числится лишь одна система.

Уже традиционно в рамках конференции SC была опубликована свежая версия TOP500, рейтинга пятисот самых производительных суперкомпьютеров в мире.

В новой версии списка стало больше систем из Китая, и в то же время сократилось количество систем, расположенных в США. Значительно увеличилась общая производительность всех систем, однако десятка лидеров рейтинга изменений не претерпела.

За последние шесть месяцев число китайских суперкомпьютеров в рейтинге TOP500 увеличилась с 219 до 228, и в итоге их доля составила 45,6 %. В то же время количество американских суперкомпьютеров достигло минимума в 117 систем, что составляет 23,4 %. Однако общая производительность систем из США выше — 37,1 % от общей, в то время как доля Китая здесь составляет 32,2 %. Суммарная производительность всех пятисот самых мощных суперкомпьютеров в мире составляет 1,65 Экзафлопс.

Российских машин в рейтинге три. На 29 месте TOP500 теперь находится суперкомпьютер Кристофари, принадлежащий Сбербанку.

Количество систем, использующих ускорители вычислений и сопроцессоры также возросло, со 134 до 145. Большинство из них использует продукты на базе NVIDIA Volta, a также Pascal и Kepler. Что касается центральных процессоров, то здесь безоговорочным лидером остаётся Intel — 94,8 % систем из TOP500 построены на её чипах.

И здесь же хотелось бы отметить, что в свежем рейтинге TOP500 появилась первая система на процессорах AMD EPYC Rome. Это французский суперкомпьютер Joliot-Curie, построенный на платформе AtoS BullSequana XH2000, которая включает 64-ядерные процессоры AMD EPYC 7H12. Данный суперкомпьютер обладает производительностью 9,4 Пфлопс, он разместился на 59 строке рейтинга TOP500.

Значительно увеличилась и минимальная производительность систем рейтинга TOP500. Теперь пятисотая система в рейтинге обладает производительностью в 1,142 Петафлопс. Полгода назад эта система располагалась на 399 месте. А чтобы претендовать на сотое место в рейтинге, системе теперь необходимо обладать производительностью более чем в 2,57 Пфлопс.

Рейтинг наиболее энергоэффективных систем — Green500 — возглавила японская система от Fujitsu. Это прототип суперкомпьютера на базе процессоров A64FX, который обеспечивает производительность в 16,9 Гфлопс на 1 ватт энергии. В общем рейтинге TOP500 данная система занимает 159 строку с общей производительностью в 2 Пфлопс.

Интересно, что система обладает всего лишь 36 864 ядрами и не использует ускорители, что делает её результаты ещё более впечатляющими. Кстати, среднее количество ядер на систему из списка TOP500 также увеличилось — с 118 213 до 126 308.

Недавно мы писали большой материал, посвящённый июньскому обновлению публичного рейтинга суперкомпьютеров Top 500. В нём, в частности, упоминались проблемы, связанные с оценкой реальной производительности систем. Дело в том, что в список попадают суперкомпьютеры, которые прошли тест High-Performance Linpack (HPL) вне зависимости от того, используются ли они для реальных нагрузок HPC или ИИ. Но есть и другая сторона дела: Linpack оценивает 64-бит производительность систем в вычислениях с плавающей запятой, но многие современные нагрузки в области ИИ не всегда требуют такой точности, и потому реальная производительность может быть заметно выше.

Именно это недавно продемонстрировала Национальная лаборатории Ок-Риджа, протестировав свой суперкомпьютер Summit (текущий лидер среди участников публичного рейтинга Top500, создан IBM при участии NVIDIA и Mellanox) в особом тесте HPL-AI, призванном оценивать производительность суперкомпьютеров в задачах машинного обучения и искусственного интеллекта. В этом тесте Summit набрал 445 петафлопс — втрое больше стабильных 148,6 петафлопс в тесте HPL.

HPL, представленный три десятка лет назад, остаётся эталоном для измерения производительности систем Top500 в задачах HPC. Более современная альтернатива — HPCG Benchmark — пока так и не достигла заветной цифры в 500 участников рейтинга.

Однако нынешние суперкомпьютеры теперь используются и в сфере «искусственного интеллекта», а не только для классических «тяжёлых» расчётов. При этом в большинстве ИИ-моделей применяются вычисления половинной или смешанной точности — принципиально иной метод, который позволяет исследователям повысить вычислительную эффективность, получив доступ к неиспользованному потенциалу производительности современных суперкомпьютеров.

Чтобы учесть этот фактор и был предложен тест HPL-AI, представляющий собой развитие HPL для оценки производительности вычислений смешанной точности, широко используемых для обучения моделей искусственного интеллекта. Методология HPL-AI изложена в документе, опубликованном на SC 2018 Аззамом Хайдаром (Azzam Haidar), Джеком Донгаррой и его командой.

«Методы смешанной точности становятся все более важными для повышения вычислительной эффективности суперкомпьютеров, как для традиционного моделирования с методами итеративного уточнения, так и для задач ИИ, — отметил господин Донгарра. — Так же, как HPL позволяет сравнивать потенциал систем в вычислениях двойной точности, этот новый подход, основанный на HPL, позволяет сравнивать возможности суперкомпьютеров в задачах смешанной точности».

NVIDIA удалось осуществить весь массив вычислений в рамках тестового запуска HPL-AI на Summit всего за полчаса — втрое быстрее, чем исполняется оригинальный HPL. В ряде задач, как можно видеть, это может давать кратно ощутимое преимущество. Напомним: в Summit используется 27 000 графических ускорителей NVIDIA Tesla V100.

Учёные используют суперкомпьютеры с поддержкой вычислений смешанной точности для моделирования и задач искусственного интеллекта в области химии, атомной энергетики, нефтегазовой промышленности и так далее.