Очередной рейтинг TOP500 теперь включает сразу две экзафлопсных системы. Суперкомпьютер Frontier, занимающий в рейтинге первое место с весны 2022 года, так и остался лидером, чуть прибавив в производительности за последние полгода — 1,206 Эфлопс на практике и 1,715 Эфлопс в теории. Aurora, дебютировавшая в ноябрьском TOP500, стала практически вдвое производительнее в бенчмарках и едва-едва преодолела экзафлопсный барьер (1,012 Эфлопс).

Пиковая теоретическая FP64-производительность Aurora составляет 1,98 Эфлопс, однако формально система всё ещё не принята, а текущий результат был получен на 87 % доступных узлов (9234 шт). Всего же машина включает 166 стоек, 10624 узлов, 21248 процессоров Intel Xeon Max (Sapphire Rapids с HBM) и 63744 ускорителя Intel Data Center GPU Max. При этом энергопотребление её составляет почти 38,7 МВт против 22,7 МВт у Frontier.

Источник изображения: Intel

Совсем скоро должен заработать старший брат Frontier — 2-Эфлопс суперкомпьютер El Capitan на базе AMD Instinct MI300. Так что времени у Intel на то, чтобы тоже преодолеть этот барьер, не так уж много. Пока компания оправдывается тем, что, например, в бенчмарке HPCG, который в отличие от HPL более корректно отображает производительность машины в реальных задачах, Aurora показала 5,6 Пфлопс, задействовав лишь 39 % имеющихся узлов. Вот только у Frontier и Fugaku этот показатель составляет 14 и 16 Пфлопс соответственно, причём японскую систему в HPCG уже четыре года никто обогнать не может.

Источник изображения: TOP500

Наконец, Intel сообщила, что Aurora (точнее, 89 % узлов) лидирует в ИИ-бенчмарке HPL-MxP (HPL-AI), где показала 10,6 Эфлопс на вычислениях смешанной точности. Обновлённый рейтинг пока не выложен, но у Frontier в прошлом году результат был 9,95 Эфлопс. Как бы то ни было, Intel заявляет, что Aurora теперь является самым быстрым ИИ-суперкомпьютером для научных задач, который доступен открытом сообществу. NVIDIA, вероятно, поспорит с этим утверждением.

Источник изображения: TOP500

Любопытно, что у Frontier за прошедшие полгода конфигурация не изменилась, только чуть выросло энергопотребление. У системы Microsoft Azure Eagle, которая по-прежнему занимает третье место в TOP500, неожиданно стало вдвое больше ядер, но на производительности это никак не отразилось. MareNostrum 5 ACC чуть похудел в ядрах, но в то же время нарастил производительность.

Источник изображения: CSCS

Ну а главное изменение в десятке лидеров TOP500 — это появление на шестом месте швейцарского суперкомпьютера Alps, анонсированного ещё три года назад. Машина включает 2688 узлов с «фантастической четвёркой» Quad GH200 от NVIDIA, которые выдают 270 Пфлопс в FP64 и потребляют всего 5,19 МВт. На самом деле суперкомпьютер включает и другие кластеры на базе AMD EPYC, MI300A и MI250X, а также NVIDIA A100. Главное тут не чистая производительность, а энергоэффективность, что для Швейцарии весьма актуально.

Собственно говоря, ключевые изменения есть именно в Green500 — первые три места (и половину первой десятки вообще) занимают тестовые системы на базе NVIDIA Grace Hopper. Наиболее энергоэффективной является машина JEDI (JUPITER Exascale Development Instrument), которая является тестовой платформой для первого в Европе экзафлопсного суперкомпьютера Jupiter. Она предлагает 72,733 Гфлопс/Вт, тогда как тестовая платформ Frontier TDS — 62,684 Гфлопс/Вт. Однако насколько хорошим будет масштабирование у новых платформ NVIDIA, покажет время. Например, у малой системы preAlps и полноценной Alps показатели энергоэффективности составляют 64,381 и 51,983 Гфлопс/Вт соответственно.

Источник изображения: NVIDIA

Всего же в TOP500 новых систем на базе Grace Hopper набралось семь штук (просто Grace нет), но их будет гораздо больше. На базе AMD EPYC Genoa построено 16 машин, на базе Intel Xeon Sapphire Rapids — 38. Есть даже один новый суперкомпьютер с Fujitsu A64FX (всего в списке таковых девять) — португальский Deucalion. Систем с AMD Instinct MI300A появилось сразу три, причём все они абсолютно одинаковые: Tuolumne, RZAdams и «кусочек» El Capitan. Они занимают в списке места 46, 47 и 48 и представляют собой фактически одну стойку с производительностью 19,65 Пфлопс (в пике 32,1 Пфлопс).

Всего в нынешнем TOP500 есть 49 новых машин, часть из них даже не имеет имён. По количество установленных систем снова лидирует Lenovo (32,4 %), за которой следуют HPE (22,2 %) и Eviden (9,8 %). По суммарной производительности картина тоже прежняя, поскольку HPE опять в лидерах (36,1 %), а за ней идут Eviden (9,6 %) и Lenovo (7,4 %). И по количеству (33,8 %), и по общей мощности (53,6 %) суперкомпьютеров в списке лидируют США. Увы, Китай продолжает игнорировать TOP500.

Компания Nebius N.V. со штаб-квартирой в Нидерландах, созданная бывшими сотрудниками «Яндекса», вошла в первую двадцатку ноябрьского рейтинга мощнейших суперкомпьютеров мира TOP500 со своей НРС-системой ISEG. Этот вычислительный комплекс, названный в честь сооснователя «Яндекса» Ильи Сегаловича, расположился на 16-й строке списка.

Источник изображения: Nebius

В основу ISEG положены HGX-узлы Gigabyte G593-SD0 с двумя процессорами Intel Xeon Sapphire Rapids и восемью ускорителями NVIDIA H100 (SXM). В частности, задействованы чипы Platinum 8468 (48 ядер; 96 потоков; 2,1–3,8 ГГц; 350 Вт). Общее количество ядер в составе суперкомпьютера достигает 218 880. Применён интерконнект Infiniband NDR400.

Производительность ISEG достигает 46,54 Пфлопс (FP64), пиковое быстродействие — 86,79 Пфлопс. С такими показателями система оставляет далеко позади все российские суперкомпьютеры. В частности, самый мощный НРС-комплекс РФ — «Червоненкис» компании «Яндекс» — располагается только на 36-й позиции с результатом 21,53 Пфлопс. Таким образом, по быстродействию этот суперкомпьютер уступает системе ISEG более чем в два раза.

Источник изображения: Nebius

Forbes отмечает, что в процессе создания ISEG интеллектуальная собственность и технологии «Яндекса» не использовались. Тестирование суперкомпьютера для рейтинга TOP500 проводилось с ОС Ubuntu Linux 20.04. Энергопотребление системы составило 1,32 МВт. В списке Green500 машина занимает 15-е место.

Свежая, 62-ая по счёту редакция рейтинга TOP500 самых производительных суперкомпьютеров мира среди тех, кто пожелал в нём участвовать (это снова отсылка к Китаю) принесла не очень много изменений, но зато интересных. Первое место по-прежнему удерживает AMD-система Frontier с показателем 1,194 Эфлопс и всё такой же приличной энергоэффективностью на уровне 52,59 Гфлопс/Вт, которая с лета обновлений не получала. А вот второе место…

Второе место, наконец-то, досталось суперкомпьютеру Aurora, с анонса которого прошло восемь лет, а архитектура и заявленная производительность неоднократно пересматривались. Формально машина, использующая процессоры Intel Xeon Max с HBM-памятью и ускорители Data Center GPU Max (Ponte Vecchio), объединённых интерконнектом HPE Slingshot 11 (как у Frontier), была смонтирована ещё летом этого года, но процесс ввода в эксплуатацию этой уникальной системы завершится только в 2024 году. К тому моменту Aurora должна достичь заявленной производительности 2 Эфлопс. Столько же предложит AMD-система El Capitan.

Фото: Intel

Но для Intel и Аргоннской национальной лаборатории (ANL) попадание в лидеры TOP500, похоже, стало делом принципа — за потраченные деньги (суммарно $500 млн) и время надо отчитаться. Поэтому в тесте участвовала лишь половина машины, которая добралась до отметки 585,34 Пфлопс. При этом разница между фактической и теоретической пиковой производительностью составляет почти два раза, а сама система уже потребляет больше Frontier и в Green500 находится в конце третьего десятка с показателем 23,71 Гфлопс/Вт. Так что простор для оптимизаций ещё есть.

В целом, в свежем рейтинге сразу два десятка из полсотни новичков рейтинга используют Sapphire Rapids, причём пять систем ещё и Xeon Max, но ускорителями Intel Xe обзавелось лишь четыре системы. У AMD же сейчас есть десяток систем с Instinct MI250X (и ещё одна с MI210) и пять систем EPYC Genoa. Всего на EPYC’ах разных поколений базируется 140 систем против 331 на базе Xeon. Ускорителями NVIDIA оснащено 166 машин в списке, из которых только десять имеют новые H100, причём одна в необычной конфигурации. Без акселераторов обходятся 314 машин.

Фото: Microsoft

Третье место заняла облачная система, которые в TOP500 встречаются всё чаще, а в будущем и вовсе станут неизбежны. Эта Microsoft Azure Eagle на базе инстансов NDv5 (Intel Xeon Platinum 8480C + NVIDIA H100 + Infiniband NDR400) набрала 561,2 Пфлопс. Впрочем, технически классические и облачные HPC-системы становятся всё ближе — суперкомпьютер NVIDIA EOS, который построен на ровно тех же компонентах, что Eagle, и который в TOP500 занял девятое место (121,4 Пфлопс), фактически тоже использует облачную архитектуру. А на примере MLPerf обе компании показали эффективность масштабирования нагрузок.

Пятое место досталось финской системе LUMI, которая после очередного апгрейда набрала 379,7 Пфлопс. Наконец, на восьмом месте с показателем 138,2 Пфлопс закрепился европейский суперкомпьютер MareNostrum 5 с непростой судьбой. Точнее, его GPU-часть (ACC), поскольку CPU-часть (GPP) набрала 40,1 Пфлопс. ACC использует узлы Eviden BullSequana XH3000 с Intel Xeon Platinum 8460Y+ и ускорителями NVIDIA H100, но с 64 Гбайт памяти. GPP базируется на узлах Lenovo ThinkSystem SD650 v3 с Intel Xeon Platinum 8480+. Объединяет всю систему интерконнект Infiniband NDR200.

Изображение: NVIDIA

Fugaku, некогда самая мощная машина, да ещё и на Arm, опустилась на четвёртую строчку рейтинга. Правда, в HPCG ей равных всё равно нет (16 Пфлопс), а второе и третье места достались Frontier (14,05 Пфлопс) и LUMI (4,59 Пфлопс). В Green500 семь машин из первой десятки представлены опять-таки связками AMD EPYC + Instinct, хотя лидерство всё ещё за Henri (Intel Xeon Ice Lake-SP + NVIDIA H100). Результаты HPL-MxP (ранее HPL-AI) с июня не обновлялись, так что в тройку лидеров входят Frontier (9,95 Эфлопс), LUMI (2,35 Эфлопс) и Fugaku (2 Эфлопс).

Тройка лидеров среди производителей по количеству машин включает Lenovo (169 шт.), HPE (103 шт.) и Eviden (48 шт.), но по производительности с большим отрывом лидирует HPE (34,9 %), а за ней уже идут Eviden (9,8 %) и Lenovo (8,6 %). Впрочем, Китай, где как раз много однотипных машин Lenovo, направляет всё меньше заявок на включение в рейтинг, а США — всё больше. По суммарной производительности суперкомпьютеров Штаты тоже лидируют — 53 % от всего списка.

Обнародован очередной рейтинг 500 наиболее производительных вычислительных комплексов мира TOP500. Лидирующую позицию сохранил суперкомпьютер Frontier, установленный в Национальной лаборатории Окриджа (ORNL) Министерства энергетики США. Причём его быстродействие поднялось до 1,194 Эфлопс с 1,102 Эфлопс в ноябре 2022 года.

На втором месте в списке находится система Fugaku, расположенная в японском Институте физико-химических исследований (RIKEN): она обеспечивает производительность на уровне 442,01 Пфлопс. Замыкает тройку лидеров комплекс LUMI, смонтированный в Каяани (Финляндия): его результат — 309,10 Пфлопс.

Источник изображения: ORNL

Приблизительно 72,0 % суперкомпьютеров в свежем списке TOP500 оснащены процессорами Intel — против 75,8 % шестью месяцами ранее. Доля систем с чипами AMD за полгода поднялась с 20,2 % до 24,2 %. Минимальный порог для входа в рейтинг увеличился до 1,87 Пфлопс против 1,73 Пфлопс в ноябре прошлого года. Суммарная производительность всех машин TOP500 теперь составляет 5,24 Эфлопс, тогда как полгода назад она равнялась 4,86 Эфлопса.

Источник: TOP500

В новом рейтинге 185 суперкомпьютеров используют различные ускорители/сопроцессоры (полгода назад показатель составлял 179 систем). Из них в 76 машинах применяются решения с архитектурой NVIDIA Volta, в 74 — NVIDIA Ampere, в 16 — AMD Instinct. Наиболее распространены ускорители NVIDIA Tesla V100 — они задействованы в 61 HPC-комплексе.

Источник: TOP500

Наибольшее количество суперкомпьютеров располагается в США — здесь функционируют 150 машин из нового рейтинга, или 30,0 %. На втором месте с географической точки зрениях находится Китай: 134 НРС-комплекса, или 26,8 %. Третья позиция досталось Германии, которая оперирует 36 машинами (7,2 %). Россия находится на 12-й строке: в нашей стране работают семь суперкомпьютеров (1,4 %), попавших в свежий список ТОР500. Если говорить о целых континентах, то в Азии построены 192 машины из списка, в Северной Америке — 160 систем, а в Европе — 133 суперкомпьютера.

Источник изображения: RIKEN

Ведущим поставщиком суперкомпьютерных узлов является Lenovo, на чьих решениях основаны 168 систем из списка, или примерно 33,6 %. На втором месте располагается HPE — 100 суперкомпьютеров и 20 %. Третью позицию занимает Inspur с 43 системами и 8,6 %.

Наиболее распространённая технология интерконнекта — Ethernet, которая применяется в 227 машина из списка: это около 45,4 %. В 200 суперкомпьютерах (40 %) задействована технология Infiniband, ещё в 35 (7 %) — Omnipath. Наиболее распространены процессоры Intel Cascade Lake-SP, установленные в 142 машинах (28,4 %). На втором месте по популярности значатся изделия Intel Skylake-SP, применяющиеся в 125 системах (25 %). Бронза досталась чипам AMD Zen-2 (Rome) — 63 комплекса НРС и 12,6 %. 

Суперкомпьютер Frontier производительностью 1,102 Эфлопс так и остался лидером списка TOP500. Быстродействие машины не улучшилось, но и новых официальных конкурентов у неё не появилось. Кроме того, Frontier продемонстрировал результат 7,94 Эфлопс в вычислениях смешанной точности в тесте HPL-MxP (ранее HPL-AI). При этом суперкомпьютер всё ещё находится в стадии отладки и страдает от сбоев.

Система Fugaku, ранее занимавшая первое место в течение целых двух лет, сохранила за собой второе место (0,442 Эфлопс) и осталась лидером HPGC (16 Пфлопс), поскольку Frontier в последнем тесте набрал 14 Пфлопс. Машина LUMI тоже со своего третьего места в TOP500 не сдвинулась, хотя и была с лета подвергнута серьёзной модернизации, которая вдвое увеличила её производительность, до 0,309 Эфлопс.

Изображение: CINECA

Четвёртое место досталось единственному новичку в нынешнем Топ-10 — итальянскому суперкомпьютеру Leonardo, созданному в рамках EuroHPC. Машина достигла показателя 0,174 Эфлопс с 1 463 616 ядрами. Суперкомпьютер базируется на платформе Atos BullSequana XH2000 с 32-ядерными процессорами Intel Xeon Ice Lake-SP 8358 и SXM-ускорителями NVIDIA A100 (40 Гбайт), дополненных интерконнектом NVIDIA HDR100 Infiniband.

Источник: TOP500

Leonardo — система до некоторой степени необычная. Анонсирована она была ещё два года назад, так что среди новых топовых систем в рейтинге она стала единственной на базе Intel Xeon, тогда как остальные используют AMD EPYC и уже устаревшие по нынешним временам ускорители A100 первой волны. Leonardo сместил вниз всех остальных участников Топ-10. Но Китай упорно игнорирует TOP500 с лета прошлого года! А у него есть как минимум две системы экзафлопсного класса, OceanLight и Tianhe-3, и, по данным Hyperion Research, есть свидетельства, что у Китая имеется по меньшей мере ещё пять мощных машин, которые вписываются в Топ-10.

Источник: TOP500

В следующем году в США, наконец, должна заработать экзафлопсная система Aurora, выход которой так надолго задержала Intel. Причём для неё всё ещё приводятся данные об энергопотреблении на уровне 60 МВт. В 2023 ожидается и 2-Эфлопс суперкомпьютер El Capitan, вероятно, первый на базе гибридных APU. Ещё одну интересную машину под названием EOS готовит NVIDIA. В Европе, по данным Hyperion Research, за пару лет должны появиться две системы экзафлопсного класса, причём одна получит чипы от EPI и это, надо полагать, будут Arm-процессоры SiPearl.

Фото: ALCF

По количеству машин в TOP500 всё так же лидируют Китай и США — 162 (было 173) и 126 позиций соответственно. Но если рассматривать Европу целиком, а не по отдельным странам, то соотношение уже иное, поскольку число машин выросло за полгода со 118 до 131. Всего в ноябрьском TOP500 появилась 41 новая система и, как легко догадаться, более половины из них относятся к однотипным решениям Lenovo для китайских заказчиков. Российских систем по-прежнему семь штук, но рассчитывать на новые позиции в рейтинге вряд ли стоит, даже если какие-то машины будут созданы или просто существенно модернизированы.

Источник: TOP500

Минимальный порог для входа в рейтинг поднялся до 1,729 Пфлопс. В остальном существенных подвижек в рейтинге нет. Например, доля Ethernet увеличилась с 226 до 233 машин, а Infiniband сократилась со 196 до 194. Omnipath ужался с 40 до 36 машин, а систем с экзотическими интернконнектами теперь не 6, а 4. Доля систем на базе процессоров AMD продолжает нарастать, равно как и количество систем с ускорителями, которые в массе своей представлены решениями NVIDIA.

Фото: Lenovo/Flatiron Institute

Новейшие ускорители последней впервые дебютировали в TOP500, причём весьма скромная по всем остальным параметрам машина (2,038 Пфлопс, 405 место) Henri сразу стала лидером GREEN500, оказавшись самой энергоэффективной системой рейтинга — 65,09 Гфлопс/Вт. Суперкомпьютер имеет 5920 ядер и использует процессоры Intel Xeon Platinum 8362 (да, это старая платформа, даже без PCIe 5.0) и PCIe-ускорители H100. Разница с Frontier (52,23 Гфлопс/Вт) велика, но и масштаб систем несопоставим.

Источник: Hyperion Research

В целом, HPC-рынок с точки зрения неоднократно упомянутой Hyperion Research ждёт позитивное будущее. Показатель CAGR на протяжении пяти лет (2021–2026 гг.) составит 6,4 %, а общий объём составит $40,4 млрд. Наибольший рост (CAGR 8,6 %) по-прежнему будут показывать хранилища, которые становятся всё более ёмкими и быстрыми, чтобы поспевать за объёмами данных. В частности, для ИИ-серверов на том же промежутке времени предсказывается CAGR уже на уровне 22 %. Чуть меньший показатель только для HPC в облаках — 17,6 %.

Источник: Hyperion Research

И с учётом облаков общий объём рынка составит уже порядка $50 млрд. Аналитики отмечают существенный сдвиг в сторону облаков именно в этом году, теперь они рассматриваются не только как дополнение к локальным системам. Впрочем, есть и другие любопытные изменения. Так, согласно опросу, только у 29 % респондентов время исполнения наиболее важных или наиболее часто используемых нагрузок составляет более 24 часов, тогда как в прошлом году таковых было 40 %. Ещё один интересный сдвиг — не просто ожидаемый отказ от CentOS в пользу RHEL и Rocky Linux, но и рост популярности Ubuntu.

При этом HPC-рынок страдает одновременно и от сокращения квалифицированных работников, и от всё нарастающей сложности самих систем. Суперкомпьютеры со временем будут включать не только ускорители различных типов, включая DPU, без которых уже вряд ли обойтись, но и квантовые платформы — исследователи насчитали аж 44 компании-разработчика квантового «железа». Кроме того, благодаря усилиям вендоров в HPC пришли и корпоративные пользователи с теми же самыми проблемами, которые как-то придётся решать.

Официально эру экзафлопсных вычислений открыл не так давно суперкомпьютер Frontier, показавший в тестах устоявшуюся производительность на уровне 1,102 Эфлопс. Хотя неофициально более мощные машины уже год как работают в Китае, США готовит им достойного противника. Это система El Capitan, которая монтируется в Лос-Аламосской национальной лаборатории (LLNL) в Нью-Мексико. Даже тестовая платформа, состоящая всего из трёх шкафов, уже попала Топ-200 наиболее мощных HPC-систем на планете.

Как и Frontier, основу El Capitan составляют вычислительные узлы HPE Cray EX235a, в которых установлены процессоры AMD EPYC третьего поколения (Milan) и ускорители Instinct MI250X. Три тестовых шкафа получили названия rzVernal, Tioga и Tenaya, и в свежий список TOP500 вошли все трое. Быстрейшей оказалась rzVernal, занявшая 123 место с результатом 4,1 Пфлопс, Tioga расположилась на 135- месте (3,67 Пфлопс), а Tenaya показала всего 2,86 Пфлопс, но и этого хватило для 200 места.

Тестовые стойки El Capitan. Источник: LLNL

В 2008 году для преодоления планки в 1 Пфлопс потребовалось целое здание и система с 12960 чипами IBM Cell и 6948 процессорами AMD Opteron (IBM Roadrunner). Сегодня втрое-вчетверо быстрее работает один шкаф, включающий в себя от двух до пяти стоек. Когда El Capitan будет полностью введён в строй полностью в 2023 году его производительность должна составить свыше 2 Эфлопс. Впрочем, нынешний лидер TOP500 в лице Frontier также может приблизиться к этому рубежу.

Каждый узел El Capitan содержит пару 64-ядерных процессоров AMD EPYC 7003, а также восемь OAM-модулей Instinct MI250X, поэтому удивляться «способностям» новой системы не стоит — один такой модуль развивает 45-90 Тфлопс, в зависимости от типа вычислений, а в менее точных форматах может показать и свыше 3500 Тфлопс. В качестве интерконнекта используется фирменная сеть Cray Slingshot 11, каждый узел оснащается четырьмя адаптерами. Разумеется, при такой плотности размещения мощностей охлаждение может быть только жидкостное.

Конструкция узла HPE Cray EX235a. Источник: HPC Wire

По оценкам некоторых экспертов, у США будет лишь два с небольшим года для того, чтобы удержать ведущие позиции в HPC-сегменте, поскольку к 2025 году число китайских систем экзафлопсного класса может вырасти до 10. При этом и у SunWay (ShenWei) OceanLight, и у Tianhe-3 вполне может выявиться потенциал для модернизации. Но тем интереснее будет битва за Зеттафлоп. Возможно, потесниться в итоге придётся и Arm, и x86.

59-я редакция TOP500, публичного рейтинга самых производительных суперкомпьютеров мира, стала наиболее знаменательной за последние 14 лет, поскольку официально был преодолён экзафлопсный барьер. Путь от петафлопса оказался долгим — первой петафлопсной системой стал суперкомпьютер IBM Roadrunner, и произошло это аж в 2008 году. Но минимальным порогом для попадания в TOP500 эта отметка стала только в 2019 году.

Как и было обещано, официально и публично отметку в 1 Эфлопс в бенчмарке HPL на FP64-вычислениях первым преодолел суперкомпьютер Frontier — его устоявшаяся производительность составила 1,102 Эфлопс при теоретическом пике в 1,686 Эфлопс. Система на платформе HPE Cray EX235a использует оптимизированные 64-ядерные процессоры AMD EPYC Milan (2 ГГц), ускорители AMD Instinct MI250X и фирменный интерконнект Slingshot 11-го поколения. Система имеет суммарно 8 730 112 ядер, потребляет 21,1 МВт и выдаёт 52,23 Гфлопс/Вт, что делает её второй по энергоэффективности в мире.

Суперкомпьютер Frontier (Фото: AMD)

Впрочем, первое место в Green500 по данному показателю всё равно занимает тестовый кластер в составе всё того же Frontier: 120 832 ядра, 19,2 Пфлопс, 309 кВт, 62,68 Гфлопс/Вт. Третье и четвёртое места достались европейским машинам LUMI и Adastra, новичкам TOP500, которые по «железу» идентичны Frontier, но значительно меньше. Да и разница в Гфлопс/Вт между ними минимальна. Скопом они сместили предыдущего лидера — экзотичную японскую систему MN-3 от Preferred Networks.

Японская система Fugaku, лидер по производительности в течение двух последних лет, сместилась на второе место TOP500. Третье место у финской системы LUMI с показателем производительности 151,9 Пфлопс — обратите внимание, насколько велик разрыв в первой тройке машин. Наконец, в Топ-10 последнее место занял новичок Adastra (46,1 Пфлопс), который расположен во Франции.

Источник: TOP500

В бенчмарке HPCG всё ещё лидирует Fugaku (16 Пфлопс), но, судя по всему, только потому, что для Frontier данных пока нет. Ну и потому, что результат суперкомпьютера LUMI, который почти на порядок медленнее Frontier, в HPCG составляет 1,94 Пфлопс. Наконец, в HPL-AI Frontier также отобрал первенство у Fugaku — 6,86 Эфлопс в вычислениях смешанной точности против 2 Эфлопс. В общем, у Frontier полная победа по всем фронтам, и эту машину можно назвать не только самой быстрой в мире, но первой по-настоящему экзафлопсной системой.

Если, конечно, не учитывать неофициальные результаты OceanLight и Tianhe-3 из Поднебесной, которые в TOP500 никто не заявил. Число китайских систем в нынешнем рейтинге осталось прежним (173 шт.), тогда как США «ужались» со 150 до 127 шт. Российских систем в списке всё так же семь. Лидерами по числу поставленных систем остаются Lenovo, HPE и Inspur, а по их суммарной производительности — HPE, Fujitsu и Lenovo. С другой стороны, массовых изменений и не было — в нынешнем списке всего около сорока новых систем.

Источник: TOP500

Однако нельзя не отметить явный прогресс AMD — да, чуть больше трёх четвертей машин из списка используют процессоры Intel, но AMD удалось за полгода отъесть около 4 %. При этом AMD EPYC Milan присутствует в более чем трёх десятках систем, а доля Intel Xeon Ice Lake-SP вдвое меньше, хотя эти процессоры появились практически одновременно. Ускорители ожидаемо стали использовать больше — они применяются в 170 системах (было 150). Подавляющее большинство приходится на решения NVIDIA разных поколений, но и для новых Instinct MI250X нашлось место в восьми машинах. Ну а в области интерконнекта Infiniband потихоньку догоняет Ethernet: 226 машин против 196 + ещё 40 с Omni-Path + редкие проприетарные решения.

Последняя версия публичного рейтинга самых производительных в мире суперкомпьютеров TOP500 так и осталась без экзафлопсных машин. Китай не захотел включать в него две системы такого класса и пошёл обходным путём, номинировав работы своих учёных на премию Гордона Белла — в соответствующих научных работах даны неполные характеристики машин и показатели их производительности.

Поэтому лидером списка остаётся обновлённая японская система Fugaku, 7,6 млн ядер которой выдают 442 Пфлопс. И она всё ещё втрое быстрее своего ближайшего конкурента Summit. Первые результаты сборки Frontier в список попасть не успели. Всего в ноябрьском рейтинге есть порядка 70 новых систем, но, как и прежде, больше половины из них — однотипные системы Lenovo, массово устанавливаемые в Китае. На Китай вообще приходится более трети (34,6%) систем в списке. На втором месте находятся США (29,8%), а на третьем — Япония (6,4%).

По суммарной производительности Топ-3 тот же, но порядок иной: США (32,5%), Япония (20,7%), Китай (17,5%). В число лидеров также входят Германия, Франция, Нидерланды, Канада, Великобритания, Южная Корея и Россия. У РФ теперь есть сразу семь машин в списке с суммарной производительностью 73,715 Пфлопс. Для сравнения — Perlmutter (5 место) после апгрейда выдаёт 70,87 Пфлопс, а у Южной Кореи тоже есть семь машин, но с чуть более высокой суммарной производительностью в 82,177 Пфлопс.

Суперкомпьютер Chervonenkis (Фото: Яндекс)

К уже имевшимся в TOP500 российским системам MTS GROM (294 место), Lomonosov-2 (Ломоносов-2, 241 место) и Christofari (Кристофари, 72 место) добавились Christofari Neo (Кристофари Нео, 43 место), а также сразу три системы Яндекса: Ляпунов (Lyapunov, 40 место), Галушкин (Galushkin, 36 место) и Червоненкис (Chervonenkis, 19 место). Примечательно, что все российские системы этого года используют AMD EPYC Rome и NVIDIA A100, а также интерконнект Infininiband.

Машины для МТС и Сбера сделала сама NVIDIA (это всё DGX), а вот у Яндекса путь особый. Ляпунов (12,81 Пфлопс) создан китайским Национальным университетом оборонных технологий (National University of Defense Technology, NUDT) и Inspur на базе серверов NF5488A5 (AMD EPYC 7662@2 ГГц + A100 40 Гбайт). Червоненкис (21,53 Пфлопс) и Галушкин (16,02 Пфлопс) разработаны IPE, NVIDIA и Tyan. В этих системах используются EPYC 7702 (тоже 64-ядерные с базовой частотой 2 ГГц) и более новые A100 (80 Гбайт).

Среди прочих новых систем TOP500 особо выделяется Voyager-EUS2, которая замыкает Топ-10. Это ещё система на базе обновлённых инстансов Microsoft Azure ND A100 v4 с 80-Гбайт версией A100. Однако ещё одной облачной машиной уже никого не удивить, в отличие от совершенно неожиданного возврата японской PEZY, пропавшей с радаров после скандала 2017 года. Новая ZettaScaler3.0 занимает 453 место и базируется на AMD EPYC 7702P и фирменных ускорителях PEZY-SC3.

Изображение: OGAWA, Tadashi (twitter.com/ogawa_tter)

В целом, последний год был удачным и для AMD, и для NVIDIA. Первая почти втрое нарастила число систем на базе EPYC — их теперь в списке 74 (или почти треть новых участников списка), если учитывать Naples/Hygon (таких систем 3). Если же смотреть более детально именно на CPU, то тут лидером всё равно остаётся Intel, хотя она и потеряла несколько процентных пунктов за последние полгода — всего 408 машин используют её процессоры. Правда, новейших Ice Lake-SP среди них всего 10, тогда как у EPYC Milan уже 17.

Без акселераторов обходятся 350 суперкомпьютеров списка, зато из 150 оставшихся 143 используют различные поколения ускорителей NVIDIA. Удивительно, но ни одной системы с ускорителями AMD Instinct в ноябрьском рейтинге нет. Остальные акселераторы представлены в единичном экземпляре. И это либо устаревшие системы, либо экзотика из Китая и Японии. Последняя в лице MN-3 всё ещё лидирует по энергоэффективности в Green500.

Систем с Infiniband в списке 178, с Ethernet — 242. Как обычно, по производительности систем лидирует именно IB — 44,5% против 22,4% у Ethernet. Это, к слову, несколько отличается от показателей HPC-индустрии в целом, где в количественном выражении у них практически равные доли. На Omni-Path пришлось 40 систем в TOP500, и столько же на проприетарные интерконнекты. Тут интересно разве что появление второй машины с Atos BXI V2.

Среди производителей по количеству машин лидируют Lenovo (180 шт., это в основном уже упомянутые типовые развёртывания в Китае), HPE (84 шт., сюда же входит наследие Cray и SGI) и Inspur (50 шт.). По производительности картина иная, в Топ-3 входят HPE, Fujitsu (во многом благодаря Fugaku) и Lenovo. По HPC-рынку в целом, согласно данным Hyperion Research, в денежном выражении тройка лидеров включает HPE, Dell и Fujitsu (да, опять «виноват» Fugaku).

Конечно же, речь идёт о японском суперкомпьютере Fugaku на базе ARM-процессоров A64FX, который досрочно начал трудиться весной этого года. Эта машина стала самым мощным суперкомпьютером в мире сразу в трёх рейтингах: классическом TOP500, современном HPCG и специализированном HPL-AI.

Суперкомпьютер состоит из 158976 узлов, которые имеют почти 7,3 млн процессорных ядер, обеспечивающих реальную производительность на уровне 415,5 Пфлопс, то есть Fugaku почти в два с половиной раза быстрее лидера предыдущего рейтинга, машины Summit. Правда, оказалось, что с точки зрения энергоэффективности новая ARM-система мало чем отличается от связки обычного процессора и GPU, которой пользуется большая часть суперкомпьютеров. Так что на первое место в Green500 она не попала.

Однако на стороне Fugaku универсальность — понижение точности вычислений вдвое приводит к удвоение производительности. Так что машина имеет впечатляющую теоретическую пиковую скорость вычислений 4,3 Эопс на INT8 и не менее впечатляющие 537 Пфлопс на FP64. Это помогло занять её первое место в бенчмарке HPL-AI, которые использует вычисления разной точности. А общая архитектура процессора, включающего набортную память HBM2, и системы, использующей интерконнект Tofu, способствовали лидерству в бенчмарке HPCG, который оценивает эффективность машины в целом.

Уже традиционно в рамках конференции SC была опубликована свежая версия TOP500, рейтинга пятисот самых производительных суперкомпьютеров в мире.

В новой версии списка стало больше систем из Китая, и в то же время сократилось количество систем, расположенных в США. Значительно увеличилась общая производительность всех систем, однако десятка лидеров рейтинга изменений не претерпела.

За последние шесть месяцев число китайских суперкомпьютеров в рейтинге TOP500 увеличилась с 219 до 228, и в итоге их доля составила 45,6 %. В то же время количество американских суперкомпьютеров достигло минимума в 117 систем, что составляет 23,4 %. Однако общая производительность систем из США выше — 37,1 % от общей, в то время как доля Китая здесь составляет 32,2 %. Суммарная производительность всех пятисот самых мощных суперкомпьютеров в мире составляет 1,65 Экзафлопс.

Российских машин в рейтинге три. На 29 месте TOP500 теперь находится суперкомпьютер Кристофари, принадлежащий Сбербанку.

Количество систем, использующих ускорители вычислений и сопроцессоры также возросло, со 134 до 145. Большинство из них использует продукты на базе NVIDIA Volta, a также Pascal и Kepler. Что касается центральных процессоров, то здесь безоговорочным лидером остаётся Intel — 94,8 % систем из TOP500 построены на её чипах.

И здесь же хотелось бы отметить, что в свежем рейтинге TOP500 появилась первая система на процессорах AMD EPYC Rome. Это французский суперкомпьютер Joliot-Curie, построенный на платформе AtoS BullSequana XH2000, которая включает 64-ядерные процессоры AMD EPYC 7H12. Данный суперкомпьютер обладает производительностью 9,4 Пфлопс, он разместился на 59 строке рейтинга TOP500.

Значительно увеличилась и минимальная производительность систем рейтинга TOP500. Теперь пятисотая система в рейтинге обладает производительностью в 1,142 Петафлопс. Полгода назад эта система располагалась на 399 месте. А чтобы претендовать на сотое место в рейтинге, системе теперь необходимо обладать производительностью более чем в 2,57 Пфлопс.

Рейтинг наиболее энергоэффективных систем — Green500 — возглавила японская система от Fujitsu. Это прототип суперкомпьютера на базе процессоров A64FX, который обеспечивает производительность в 16,9 Гфлопс на 1 ватт энергии. В общем рейтинге TOP500 данная система занимает 159 строку с общей производительностью в 2 Пфлопс.

Интересно, что система обладает всего лишь 36 864 ядрами и не использует ускорители, что делает её результаты ещё более впечатляющими. Кстати, среднее количество ядер на систему из списка TOP500 также увеличилось — с 118 213 до 126 308.