Один из крупнейших облачных провайдеров, компания Amazon Web Services объявила о доступности новых инстансов EC2 на базе процессора Graviton3E. Новый чип — наследник анонсированного в конце 2021 года Graviton3, 5-нм 64-ядерного процессора на дизайне Arm Neoverse V1 (Zeus) с поддержкой DDR5 и PCI Express 5.0.

Graviton3 использует набор команд Armv8.4 c расширениями Neon (4×128 бит) и SVE (2×256 бит) и поддерживает работу с популярными в сфере машинного обучения форматами данных INT8 и BF16. В сравнении c Graviton2 процессор быстрее на 25-60 % при сохранении аналогичного уровня тепловыделения. Дизайн серверов AWS предусматривает наличие трёх процессоров на узел высотой 1U.

Изображения: AWS

Новый процессор Graviton3E представляет собой дальнейшее развитие Graviton3. Чип оптимизирован с учётом потребностей рынка высокопроизводительных вычислений и основное внимание в его архитектуре уделено повышению производительности на операциях с плавающей запятой и вычислениях с использованием векторной математики.

AWS, к сожалению, пока не раскрывает деталей относительно архитектуры Graviton3E, но прирост производительности на векторных операциях относительно обычного Graviton3 может достигать 35 %. Помимо классического теста HPL новый процессор хорошо проявляет себя в тестах, имитирующих медико-биологические и финансовые задачи.

Сценарии нагрузок, характерные для HPC, как правило, активно оперируют перемещением крупных объемов данных. Чтобы оптимизировать этот процесс, в новых инстансах AWS использует сеть на базе Elastic Fabric с новыми адаптерами Elastic Network Adapter (ENA). Такая сеть оперирует т. н. Scalable Reliable Datagram (SRD) вместо всем привычных TCP-пакетов. SRD позволяет организовать повторную отправку пакетов за микросекунды вместо миллисекунд в классическом Ethernet.

Сердцем же новых инстансов AWS стало пятое поколение аппаратных гипервизоров Nitro 5. В сравнении с предыдущим поколением, Nitro 5 обладает вдвое более высокой вычислительной производительностью, на 50 % повышенной пропускной способностью памяти, а также позволяет обрабатывать на 60 % больше сетевых пакетов при сниженной на 30 % латентности.

Здесь и далее источник изображений: AWS

Инстансы Hpc7g с процессорами Graviton3E получат внутреннюю сеть с пропускной способностью 200 Гбит/с и станут доступны в различных конфигурациях вплоть до 64 vCPU и 128 ГиБ памяти. Аналогичные параметры имеют инстансы C7gn, предназначенные для задач с интенсивным сетевым трафиком: виртуальных маршрутизаторов, сетевых экранов, балансировщиков нагрузки и т.п.

Также компания анонсировала инстансы R7iz, в которых используются процессоры Intel Xeon Scalable четвёртого поколения (Sapphire Rapids) с постоянной частотой всех ядер 3,9 ГГц. Они могут иметь конфигурацию до 128 vCPU с 1 ТиБ памяти.

Совместная инициатива по высокопроизводительным вычислениям в Европе EuroHPC JU и некоммерческий консорциум CINECA, состоящий из 69 итальянских университетов и 21 национальных исследовательских центров, провели церемонию запуска суперкомпьютера Leonardo.

В основу комплекса положены платформы Atos BullSequana X2610 и X2135. Система Leonardo состоит из двух секций — общего назначения и с ускорителями вычислений (Booster). Когда строительство системы будет завершено, первая будет включать 1536 узлов, каждый из которых содержит два процессора Intel Xeon Sapphire Rapids с 56 ядрами и TDP в 350 Вт, 512 Гбайт оперативной памяти DDR5-4800, интерконнект NVIDIA InfiniBand HDR100 и NVMe-накопитель на 8 Тбайт.

Источник изображения: HPCwire

Секция Booster объединяет 3456 узлов, каждый из которых содержит один чип Intel Xeon 8358 с 32 ядрами, 512 Гбайт ОЗУ стандарта DDR4-3200, четыре кастомных ускорителя NVIDIA A100 с 64 Гбайт HBM2-памяти, а также два адаптера NVIDIA InfiniBand HDR100. Кроме того, в состав комплекса входят 18 узлов для визуализации: 6,4 Тбайт NVMe SSD и два ускорителя NVIDIA RTX 8000 (48 Гбайт) в каждом. Вычислительный комплекс объединён фабрикой с топологией Dragonfly+.

Источник: CINECA

Для хранения данных служит двухуровневая система. Производительный блок (5,4 Пбайт, 1400 Гбайт/с) содержит 31 модуль DDN Exascaler ES400NVX2, каждый из которых укомплектован 24 NVMe SSD вместимостью 7,68 Тбайт и четырьмя адаптерами InfiniBand HDR. Второй уровень большой ёмкости (106 Пбайт, чтение/запись 744/620 Гбайт/с) состоит из 31 массива DDN EXAScaler SFA799X с 82 SAS HDD (7200 PRM) на 18 Тбайт и четырьмя адаптерами InfiniBand HDR. Каждый из массивов включает два JBOD-модуля с 82 дисками на 18 Тбайт. Для хранения метаданных используются 4 модуля DDN EXAScaler SFA400NVX: 24 × 7,68 Тбайт NVMe + 4 × InfiniBand HDR.

Изображение: CINECA

В настоящее время Leonardo обеспечивает производительность более 174 Пфлопс. Ожидается, что суперкомпьютер будет полностью запущен в первой половине 2023 года, а его пиковое быстродействие составит 250 Пфлопс. Уже сейчас система занимает четвёртое место в последнем рейтинге самых мощных суперкомпьютеров мира TOP500. В Европе Leonardo является второй по мощности системой после LUMI.

Leonardo оборудован системой жидкостного охлаждения для повышения энергоэффективности. Кроме того, предусмотрена возможность регулировки энергопотребления для обеспечения баланса между расходом электричества и производительностью. Суперкомпьютер ориентирован на решение высокоинтенсивных вычислительных задач, таких как обработка данных, ИИ и машинное обучение. Половина вычислительных ресурсов Leonardo будет предоставлена пользователям EuroHPC.

Облачный провайдер Microsoft Azure анонсировал инстансы новых серий HBv4 и HX, оптимизированные для различных задач высокопроизводительных вычислений (HPC), таких как вычислительная гидродинамика (CFD), анализ методом конечных элементов, автоматизация проектирования электроники (EDA), визуализация, молекулярная динамика, геофизические исследования, моделирование погоды, ИИ-инференс, анализ финансовых рисков и т.д.

Спецификации новых ВМ:

• Процессоры AMD EPYC Genoa (IV квартал 2022 г.).
• Процессоры AMD EPYC Genoa-X (I полугодие 2023 г.).
• Память DDR5 с ПСП 800 Гбайт/с (Stream Triad).
• 400-Гбит/с интерконнект NVIDIA ConnectX-7 (платформа Quantum-2 InfiniBand NDR).
• 80-Гбит/с подключение Azure Networking.
• NVMe SSD PCIe 4.0 (последовательное чтение до 12 Гбайт/с, запись — до 7 Гбайт/с).

Ниже приведены предварительные тесты производительности инстансов серий HBv4 и HX с процессорами EPYC Genoa в нескольких распространенных приложениях и областях HPC в сравнении с инстансами HBv3 прошлого поколения с процессорами Milan-X, а также усреднённым 4-летним HPC-сервером на базе Intel Xeon Skylake-SP (на примере инстансов серии Azure HC).

Инстансы Azure HBv3 с процессорами AMD EPYC Milan-X с технологией 3D V-Cache уже обеспечивают высокий уровень производительности HPC, предлагая до 27 раз лучшее масштабирование MPI-нагрузок, чем в других облаках, и превосходя многие ведущие суперкомпьютеры в мире. С внедрением серии HBv4 компания поднимает планку, предлагая лучшую поддержку для массивно-параллельных нагрузок и для нагрузок с интенсивным использование памяти и вычислений.

Инстансы Azure HBv3 также активно используется для EDA-нагрузок, но новые инстансы серии HX предлагают до 3 раз больший объём оперативной памяти, чем любая виртуальная машина серии H прошлых поколений — до 60 Гбайт RAM на ядро. Отдельно стоит отметить, что в инстансах HBv4 и HX впервые в Azure используется 400G-интерконнект NVIDIA InfiniBand NDR (Quantum-2). Инстансы с суффиксом r также предлагают поддержку RDMA, а с суффиксом s — поддержку быстрых локальных SSD.

Используя новые инстансы серии HBv4 или HX и стандартный инструмент управления набором инстансов Azure VMSS, клиенты смогут масштабировать MPI-нагрузки вплоть до уровня 50 000 CPU-ядер на задачу. HBv4 и HX скоро появятся в облачных регионах США (East US, South Central US, West US3) и Западной Европе (West Europe).

В ходе конференции SC22 продемонстрирован ряд систем на новейшей аппаратной платформе Intel Xeon Sapphire Rapids от различных поставщиков. Кроме того, показаны ускорители для дата-центров Intel Max (Ponte Vecchio).

Как мы сообщали ранее, у Intel возникли проблемы с выпуском Xeon Sapphire Rapids, которые были представлены ещё в августе прошлого года. В корпорации заявляют, что все трудности удалось преодолеть, но дебют процессоров состоится только 10 января будущего года.

Источник изображений: Twitter / IntelGraphics и Twitter / IntelHPC

В ходе SC22 продемонстрированы такие решения, как HPE Intel Aurora Exascale Compute Board и HPE Cray EX420 Blade. Первое из названных устройств — суперкомпьютерный модуль, оборудованный ускорителями Intel Max. Различные варианты этих ускорителей показаны на одной из фотографий ниже. Компания Lenovo продемонстрировала сервер ThinkSystem SD650 I V3 Florence с четырьмя ускорителями Intel Max, оборудованный фирменной системой жидкостного охлаждения Neptune.

Кроме того, представлено решение ThinkSystem SD650 V3 Seoul. В число других новинок вошли узлы Quanta QuantaGrid D54Q-2U, Supermicro X13 Hyper, Atos Bullsequana X3410 и ASUS Z13PP D32. В ближайшие месяцы все эти новинки дебютируют на коммерческом рынке в составе HPC-систем и комплексов для дата-центров.

Компания Supermicro анонсировала большое количество серверов на новейшей платформе Intel — Xeon Sapphire Rapids. Новинки серии X13 пополнили семейства SuperBlade, Hyper, BigTwin, GrandTwin, SuperEdge, FatTwin, CloudDC, WIO, MP Servers, Petascale Storage Systems и др.

SuperBlade — это высокопроизводительный сервер с высокой плотностью компоновки. Мультиузловая конфигурация и дублирование критических компонентов обеспечивают возможность уменьшения физических размеров и высокую надёжность. Эти системы предназначены для ИИ, аналитики данных, HPC, облачных и корпоративных рабочих нагрузок.

Источник изображений: Supermicro

В серии Hyper и Hyper-E войдут стоечные решения с высокой производительностью, гибкими возможностями в плане конфигурации подсистемы хранения данных и средств ввода/вывода. В свою очередь, BigTwin — мультиузловые системы с поддержкой двух процессоров Xeon Sapphire Rapids на узел. Они подойдут для облачных платформ и хранилищ данных. Что касается Petascale Storage, то это All-Flash (NVMe) СХД типоразмера 1U. Благодаря использованию накопителей EDSFF можно формировать хранилища высокой ёмкости в компактном исполнении.

В семействе GrandTwin будут представлены устройства на базе нескольких узлов с модульной архитектурой. Особенность — возможность адаптации под конкретные задачи путём добавления нужных компонентов. Серия FatTwin будет включать модели формата 4U с четырьмя или восемью узлами (один процессор на узел). Поддерживаются гибридные хранилища NVMe/SAS/SATA: до шести накопителей на узел у 8-узловых систем и до восьми накопителей на узел у 4-узловых решений.

Серверы Edge для периферийных вычислений отличаются компактными размерами и расширенным температурным диапазоном — до +55 °C. А модели SuperEdge имеют повышенную плотность компоновки: три однопроцессорных узла в формате 2U. Кроме того, анонсированы серверы Universal GPU и PCIe GPU для платформ ИИ и НРС. Например, модульное решение X13 Universal GPU будет комплектоваться двумя процессорами, а также ускорителями разного типа — PCIe, OAM и SXM.

Серия CloudDC вберёт в себя системы «всё в одном» для облачных инфраструктур. Будут доступны модели с двумя и шестью разъёмами PCIe 5.0, а также двумя слотами AIOM (PCIe 5.0; OCP 3.0). Семейство WIO — это устройства с расширенными возможностями организации подсистемы I/O. Наконец, MP Servers обеспечат максимальную гибкость конфигурирования и масштабируемости в формате 2U.

Увы, техническими подробностями о новинках компания пока не поделилась, поскольку анонс самих процессоров намечен только на январь 2023 года. Тем не менее, Supermicro в рамках программы Jumpstart уже предоставляет удалённый демо-доступ к некоторым системам серии X13. Аналогичная программа действует и для систем серии H13 на базе новейших AMD EPYC Genoa, анонс которых уже состоялся.

Моделирование и цифровые двойники позволят проектировщикам дата-центров, строителям и операторам возводить высокоэффективные объекты. Но создать цифрового двойника ЦОД с точным представлением всех компонентов суперкомпьютерного комплекса для HPC и ИИ-задач — непростая задача.

С ней поможет справиться платформа моделирования NVIDIA Omniverse для совместного виртуального проектирования. На конференции SC22 компания NVIDIA продемонстрировала, как эту платформу можно использовать для улучшения проектирования и разработки сложных подсистем суперкомпьютерных ЦОД.

Omniverse позволяет операторам ЦОД агрегировать данные из сторонних приложений автоматизированного проектирования, моделирования и мониторинга, обеспечивая возможность работы с полными наборами данных в реальном времени. На конференции также была продемонстрирована NVIDIA Air, платформа моделирования сети ЦОД. С помощью NVIDIA Air разработчики смогут смоделировать и предварительно проверить точную физическую и логическую топологию сети.

Изображения: NVIDIA

Сообщается, что при создании одного из новейших ИИ-суперкомпьютеров NVIDIA было использовано несколько наборов инженерных данных из сторонних отраслевых инструментов, таких как Autodesk Revit, PTC Creo и Trimble SketchUp. Это позволило проектировщикам создать точную модель машины и ЦОД в формате Universal Scene Description (USD), используя которую они совместно дорабатывали проект в режиме реального времени.

Разработчики также использовали PATCH MANAGER, приложение для планирования прокладки сети, учитывающего всё вплоть до физического расположения кабелей. С PATCH MANAGER, подключенным к Omniverse, сложная топология соединений (от порта до порта), компоновка стоек и узлов, а также кабели могут быть интегрированы непосредственно в модель ЦОД. Для прогнозирования воздушных потоков и теплообмена использовалось ПО Cadence 6SigmaDCX, дополненное ИИ-моделями от NVIDIA Modulus, которые позволяют в режиме, близком к реальному времени, моделировать изменения теплоотдачи и охлаждения в сложных условиях.

После завершения строительства ЦОД его датчики, систему управления и телеметрии можно подключить к цифровому двойнику в Omniverse, чтобы отслеживать его работу в режиме реального времени. Благодаря идеально синхронизированному цифровому двойнику инженеры смогут моделировать часто случающиеся инциденты, такие как скачки мощности или сбои системы охлаждения. Операторы смогут использовать ИИ-рекомендации для повышения энергоэффективности дата-центра и сокращение выбросов CO₂. Цифровой двойник также позволит им тестировать и проверять обновления ПО и компонентов перед их установкой в реальном ЦОД.

Компания Dell в ходе конференции SC22 анонсировала платформу Quantum Computing Solution — систему гибридных квантовых вычислений. Поначалу решение будет доступно в США и Канаде, а в течение следующего года появится и в других регионах.

Концепция предусматривает использование двух физических уровней. Первый состоит из серверов PowerEdge 750xa со специализированным ПО, в том числе квантовым симулятором. На этом уровне осуществляются классические вычисления с использованием стандартных CPU и ускорителей.

Второй уровень — квантовый компьютер IonQ Aria, доступ к которому предоставляется через интернет. Здесь пользователи смогут протестировать свои приложения, разработанные с применением симулятора. При обработке задач определённых типов квантовая система даст многократный выигрыш в производительности по сравнению с обычными HPC-решениями. Таким образом, гибридная модель Dell Quantum Computing Solution позволит использовать преимущества обоих миров — классической схемы и квантовой модели.

Источник изображения: IonQ

«Клиент сможет выполнять любое экспериментальное моделирование локально, а когда ему потребуется доступ к реальной физической квантовой платформе, трафик будет передаваться через интернет», — отметил Кен Дураццо, вице-президент по исследованиям Dell.

Библиотека Qiskit Dell Runtime даст возможность создавать квантовые приложения по принципу «напишите один раз, запускайте где угодно». Иными словами, процесс написания кода и его выполнения будут одинаковыми на виртуальном и физическом квантовых процессорах. Похожее решение предлагают Atos и IQM.

Компании Atos и IQM объявили о подписании партнёрского соглашения, нацеленного на совместное развитие технологий квантовых вычислений. В рамках договора блок квантовой обработки (QPU) IQM будет интегрирован в состав Atos Quantum Learning Machine (QLM), а также в состав платформы разработки квантовых приложений Atos.

Сотрудничество позволит клиентам создавать приложения для квантовых систем и запускать их для проверки в среде QLM, эмулируя все атрибуты целевого квантового оборудования (топология, набор вентилей, модель шума). Таким образом, заказчики смогут запускать такие приложения на реальном оборудовании IQM Quantum Computing без необходимости их модификации.

Источник изображения: IQM

Atos QLM является симулятором квантовых систем. Стратегия Atos заключается в использовании ИИ и квантовых вычислений для повышения производительности традиционных НРС-систем. Предполагается, что суперкомпьютеры будут использовать Atos QLM в качестве шлюза для доступа к квантовым платформам в гибридной вычислительной среде.

Партнёрство позволит клиентам создавать гибридные приложения с использованием платформы программирования Atos QLM, способной эмулировать до 41 кубита, и IQM QPU с архитектурой до 20 кубитов сегодня и до 50 кубитов в 2023 году. Кроме того, компания Atos сообщила о заключении соглашения о сотрудничестве с Aspen Systems. Инициатива направлена на то, чтобы обеспечить доступ к Atos QLM клиентам на территории Соединённых Штатов и Канады.

В Объединённом институте ядерных исследований (ОИЯИ) в Дубне состоялась презентация модернизированного суперкомпьютера «Говорун»: быстродействие системы поднялось практически на четверть (на 23,5 %) и достигло 1,1 Пфлопс.

В ходе нынешнего этапа модернизации, ставшего третьим по счёту, специалисты РСК установили 32 новых вычислительных узла. Каждый из них содержит два 38-ядерных процессора Intel Xeon Platinum 8368Q (2,6 ГГц), 256 Гбайт памяти DDR4 + 2 Тбайт энергонезависимой памяти Intel Optane PMem и четыре NVMe-накопителя EDSFF E1.S суммарным объёмом 16 Тбайт. Кроме того, каждый узел снабжён двумя адаптерами Omni-Path с пропускной способностью 100 Гбит/с.

Источник изображения: РСК

Вычислительный комплекс оборудован полностью жидкостным охлаждением на «горячей воде». Суперкомпьютер использует гиперконвергентную архитектуру, в основе которой лежит подход объединения ресурсов для вычисления и хранения на каждом узле. Это позволяет наиболее эффективно масштабировать общие ресурсы системы с увеличением количества узлов. Заявленная скорость работы файловой системы на чтение/запись информации превышает 300 Гбайт/с.

«Применение жидкостного охлаждения в суперкомпьютере ОИЯИ позволяет не только существенно экономить электроэнергию во время работы вычислительного комплекса (на его охлаждение расходуется менее 3 % электричества, требуемого для функционирования всей системы), но и использовать самые высокопроизводительные серверные процессоры Intel Xeon Platinum 8368Q», — говорится в публикации.

«Говорун» применяется для ускорения комплексных теоретических и экспериментальных исследований в области физики высоких энергий, ядерной физики и физики конденсированных сред, в том числе для реализации мега-проекта NICA по созданию на базе ОИЯИ ускорительного комплекса для воссоздания в лабораторных условиях особого состояния вещества, в котором пребывала Вселенная в первые мгновения после Большого Взрыва — кварк-глюонной плазмы.

Компания NVIDIA объявила о заключении соглашения о многолетнем сотрудничестве с Microsoft для создания одного из самых мощных ИИ-суперкомпьютеров, основанного на передовой инфраструктуре Microsoft Azure в сочетании с ускорителями и интерконнектом NVIDIA, а также полным стеком программного обеспечения для ИИ.

Облачный суперкомпьютер Azure будет включать мощные масштабируемые инстансы серий ND и NC, оптимизированные для распределённого обучения и инференса, 400G-интерконнект InfiniBand NDR (Quantum-2), ускорители NVIDIA H100 и программный пакет NVIDIA AI Enterprise. Отмечается, что Azure станет первым публичным облаком с такими возможностями. Кроме того, оно получит десятки тысяч ускорителей A100 и H100.

В свою очередь, Microsoft оптимизирует свою библиотеку DeepSpeed для нового «железа» NVIDIA. Кроме того, полный набор готовых ИИ-решений NVIDIA и комплекты для разработки программного обеспечения, оптимизированные для Azure, будут доступны корпоративным клиентам Azure.

Источник: NVIDIA

В рамках сотрудничества NVIDIA будет использовать экземпляры масштабируемых виртуальных машин Azure для исследований в области генеративного ИИ — области ИИ, позволяющей нейросети с помощью машинного обучения создавать собственный контент на основе имеющихся образцов. Базовые модели, такие как Megatron Turing NLG 530B, являются основой для создания с помощью самообучающихся алгоритмов текста, кода, цифровых изображений, видео или аудио.