Портфолио Lenovo TruScale пополнилось новым решением High Performance Computing as a Service (HPCaaS), предоставляющим возможности высокопроизводительных вычислений (HPC) с помощью облачных технологий организациям любого размера. TruScale HPCaaS является управляемой услугой с оплатой по факту использования.

HPC-нагрузки в новом сервисе смогут динамически получать доступ к ресурсам по требованию и буквально в один клик. Всё это позволит избежать узких мест, обойтись без задержек из-за утверждения расходов, легко визуализировать потребление и учёт расходов, а также получать доступ к специализированному оборудованию. По словам компании, HPCaaS также обеспечивает повышенную безопасность, поскольку кластеры HPC TruScale работают без необходимости доступа к публичному облаку или внешней сети.

Источник: StorageReview

Клиенты сохраняют полный контроль над данными, но избавляются от рутинных задач по внедрению, эксплуатации и сопровождению IT-парка — заботы по администрированию систем ложатся на плечи инженеров Lenovo, а клиентам доступна специальная группа поддержки. Переход к полностью интегрированной стратегии «как услуга» позволяет заказчикам решать распространённые бизнес-задачи, не потеряв в производительности. Аналогичные решения HPE в рамках Greenlake были представлены ещё год назад, а Dell на днях объявила о добавлении HPC-решений в портфолио APEX.

Хотя многие вендоры ещё не отчитались о финансовых показателях IV квартала прошедшего года, аналитики компании Hyperion Research предполагают, что рынок высокопроизводительных вычислений (HPC) по итогам 2021 года продемонстрирует беспрецедентный рост. На основе показателей роста в предыдущих кварталах ушедшего года — 13,3 % (I), 23,9 % (II) и 18,6 % (III) — компания ожидает, что рост доходов от продаж локальных HPC-систем в IV квартале составит минимум 12 % или более $15 млрд.

Рост в этом и смежных сегментах, включая рынки сопутствующего ПО, СХД и услуг техподдержки, обеспечит рост общему рынку локальных HPC-систем до $31+ млрд. Это сопоставимо с общим объёмом рынка HPC-решений в 2020 году, составившим $27,3 млрд. Если добавить доходы от облачных HPC-систем, то суммарный объём рынка HPC превысит $36 млрд. По словам аналитиков, исключительный рост рынка HPC в прошлом году обусловлен проникновением HPC-решений на более массовые рынки, появлениям машин высокого класса (в том числе преэкзафлопсных), а также ростом востребованности хранилищ и облачных решений.

Источник: Hyperion Research

Hyperion Research ожидает, что к 2025 году рынок локальных HPC-решений преодолеет отметку в $38 млрд, а облачных — $9 млрд. То есть совокупный объём рынка HPC составит $47 млрд. Хотя компания пока воздерживается от точных поквартальных прогнозов, ожидается, что показатели будут зависеть от того, насколько системы (пре-)экзафлопсного класса будут востребованы среди заказчиков. В любом случае растущий спрос на HPC в сегментах ИИ-систем, облачных решений, квантовых и периферийных вычислений ускорит рост этого стремительно меняющегося рынка.

Таинственная компания Ceremorphic, основанная в апреле 2020 года, раскрыла, наконец, свои планы. А планы эти весьма масштабны и главным пунктом в них значится создание полноценной системы-на-чипе с уровнем производительности, пригодным для использования в «приложениях завтрашнего дня» — от HPC до натаскивания сложных нейросетей и управления автономным транспортом.

Довольно смелое заявление, с учётом того, что HPC и машинное обучение используют как минимум разные форматы данных, но компания надеется на собственную уникальную архитектуру и возможности 5-нм техпроцесса TSMC. Основателем и главой Ceremorphic является Венкат Маттела (Venkat Mattela), ранее возглавлявший компанию Redpine Signals, которая смогла создать уникальные сверхэкономичные беспроводные решения, а в итоге была продана Silicon Labs за $308 млн.

Изображение: Ceremorphic

Иными словами, опыт в создании сложной электроники у Ceremorphic есть, но и задача перед разработчиками стоит гораздо более амбициозная — ни много ни мало создание нового класса вычислительных устройств, которые они сами называют Hierarchical Learning Processor (HLP). Ceremorphic обещает, что чип будет включать множество самых различных блоков:

• Процессор общего назначения с поддержкой SMT на базе RISC-V (1 ГГц) на базе ThreadArch от Redpine Signals;
• Кастомный математический FPU-сопроцессор (2 ГГЦ);
• Кастомный сопроцессор для машинного обучения MLP (2 ГГЦ);
• Кастомные графические движки (1 ГГц), которые пригодятся для метавселенных, дополненные Arm Cortex-M55 (v1);
• Кастомный контроллер PCIe 6.0/CXL 3.0.

Первый вариант HLP будет называться QS1. Ожидается, что он уложится в рамки теплопакета 250 Вт и будет устанавливаться на стандартную плату расширения PCI Express. То есть речь идёт скорее об ускорителе, хотя и весьма «многостаночном» в отличие от более узкоспециализированных Groq или Habana Gaudi. Избежать проблем с ПСП разработчик, по всей видимости, планирует именно благодаря PCIe 6.0, хотя решений с поддержкой этой шины ещё нет на рынке.

Не существует в природе пока ещё и самого HLP, но первые образцы кремния QS1 Ceremorphic надеется получить уже к 16 марта. Новый чип, по словам компании, получит совместимость с Open AI и собственный оптимизирующий компилятор с набором необходимых библиотек. Сейчас Ceremorphic активно нанимает новых сотрудников и к 2024 году планирует довести их количество до 400. На счету у неё более 100 патентов в области разработки сложных микроэлектронных устройств.

К сожалению, пока подробностей об устройстве HLP компания не представила, ограничившись общими сведениями. Отметим, что Ceremorphic далеко не первая, кто пытается создать универсальный высокопроизводительный процессор. Так, Tachyum занимается разработкой такого CPU и обещает вот-вот представить первый образец чипа. А европейский универсальный ускоритель EPAC 1.0 гораздо скромнее HLP, но уже получен в кремнии.

Meta (ранее Facebook) анонсировала новый крупномасштабный исследовательский кластер — ИИ-суперкомпьютер Meta AI Research SuperCluster (RSC), предназначенный для ускорения решения задач в таких областях, как обработка естественного языка (NLP) с обучением всё более крупных моделей и разработка систем компьютерного зрения.

На текущий момент Meta RSC состоит из 760 систем NVIDIA DGX A100 — всего 6080 ускорителей. К июлю этого года, как ожидается, система будет включать уже 16 тыс. ускорителей. Meta ожидает, что RSC станет самым мощным ИИ-суперкомпьютером в мире с производительностью порядка 5 Эфлопс в вычислениях смешанной точности. Близкой по производительность системой станет суперкомпьютер Leonardo, который получит 14 тыс. NVIDIA A100.

Изображения: Meta

Meta RSC будет в 20 раз быстрее в задачах компьютерного зрения и в 3 раза быстрее в обучении больших NLP-моделей (счёт идёт уже на десятки миллиардов параметров), чем кластер Meta предыдущего поколения, который включает 22 тыс. NVIDIA V100. Любопытно, что даже при грубой оценке производительности этого кластера он наверняка бы попал в тройку самых быстрых машин нынешнего списка TOP500.

Новый же кластер создаётся с прицелом на возможность обучения моделей с триллионом параметров на наборах данных объёмом порядка 1 Эбайт. Именно такого объёма хранилище планируется создать для Meta RSC. Сейчас же система включает массив Pure Storage FlashArray объемом 175 Пбайт, 46 Пбайт кеш-памяти на базе систем Penguin Computing Altus и массив Pure Storage FlashBlade ёмкостью 10 Пбайт. Вероятно, именно этой СХД и хвасталась Pure Storage несколько месяцев назад, не уточнив, правда, что речь шла об HPC-сегменте.

Итоговая пропускная способность хранилища должна составить 16 Тбайт/с. Meta RSC сможет обучать модели машинного обучения на реальных данных, полученных из социальных сетей компании. В качестве основного интерконнекта используются коммутаторы NVIDIA Quantum и адаптеры HDR InfiniBand (200 Гбит/с), причём, судя по видео, с жидкостным охлаждением. Каждому ускорителю полагается выделенное подключение. Фабрика представлена двухуровневой сетью Клоза.

Meta также разработала службу хранения AI Research Store (AIRStore) для удовлетворения растущих требований RSC к пропускной способности и ёмкости. AIRStore выполняет предварительную обработку данных для обучения ИИ-моделей и предназначена для оптимизации скорости передачи. Компания отдельно подчёркивает, что все данные проходят проверку на корректность анонимизации. Более того, имеется сквозное шифрование — данные расшифровываются только в памяти узлов, а ключи регулярно меняются.

Однако ни о стоимости проекта, ни о потребляемой мощности, ни о физическом местоположении Meta RSC, ни даже о том, почему были выбраны узлы DGX, а не HGX (или вообще другие ускорители), Meta не рассказала. Для NVIDIA же эта машина определённо стала очень крупным и важным заказом.

Национальная лаборатория Ок-Ридж (ORNL) нередко упоминается в новостных заметках, как активно тестирующая и внедряющая новые суперкомпьютерные технологии. В настоящее время в вычислительном центре OLCF (Oak Ridge Leadership Computing Facility) ведутся работы по установке первого в США экзафлопсного суперкомпьютера Frontier на базе процессоров и ускорителей AMD.

Сейчас же стал известен ряд архитектурных особенностей Frontier, поскольку в Национальном центре вычислительных исследований (National Center for Computational Sciences) вступил в строй малый кластер Crusher, в котором используются практически те же узлы HPE Cray, что и для Frontier. Система используется в качестве платформы раннего доступа и состоит всего из двух шкафов. В первом установлено 128 узлов, во втором 64. Суммарная пиковая производительность заявлена на уровне 40 Пфлопс.

Сердцем каждого узла является специальная версия AMD EPYC 7A53. 64 ядра (с SMT2) разбиты на четыре NUMA-домена, обслуживаемые отдельными контроллерами памяти. Восемь каналов DDR4 (всего 512 Гбайт на узел) обеспечивают пропускную способность 205 Гбайт/с. Ускорителей в системе всего четыре, но это новейшие двухчиповые AMD Instinct MI250X, так что системе они видны как восемь отдельных раздельных GPU.

Каждый из ускорителей подключён к одному NUMA-домену посредством двух каналов Infinity Fabric, обеспечивающих по 36 Гбайт/с в каждом направлении. Чипы внутри MI250X связаны с друг другом более скоростным каналом, дающим 200 Гбайт/с в обе стороны. Все ускорители связаны между собой по схеме «каждый с каждым» 50-Гбайт/с каналами. При этом они напрямую подключены к фабрике — каждому полагается свой адаптер HPE Slingshot (200 Гбит/с).

К CPU посредством PCIe-коммутатора подключена только пара SSD ёмкостью по 1,92 Тбайт (4 Гбайт/с на запись, 1,6 млн IOPS на случайных операциях). Каждый NUMA-домен разделён на два L3-поддомена, связанных с одним ускорителем, что позволяет гибко распределять нагрузку. В качестве основного хранилища выступает внешняя СХД IBM Spectrum Scale общей ёмкостью 250 Пбайт и пиковой скоростью 2,5 Тбайт/с.

Будущий суперкомпьютер Frontier

Есть у системы и доступ к сети NCSS, хотя и не прямой. В общем NFS-хранилище каждый проект может получить по 50 Гбайт со сроком хранения данных 90 дней, а в GPFS на Spectrum Scale доступно уже 50 Тбайт. Crusher снабжен большим количеством предустановленного ПО. Пользовательская среда модульная, построенная на базе системы Lmod, написанной на Lua. За распределение нагрузки отвечает Slurm. Для аутентификации используется аппаратный токен-ключ RSA SecurID.

В апреле прошлого года глава NVIDIA Дженсен Хуанг (Jensen Huang) раскрыл первые сведения о серверном Arm-процессоре под кодовым именем Grace. Главным «мозговыми центром» компании, ответственным за его создание, станет израильский центр исследований и разработок. Он уже насчитывает около 2800 сотрудников, но компания хочет организовать новую рабочую группу, связанную именно с HPC-решениями, и планирует нанять ещё минимум несколько сотен специалистов, сообщает Globes.

Столь серьёзных масштабов израильский исследовательский отдел NVIDIA достиг за счёт приобретения компанией известного разработчика сетевых чипов и технологий Mellanox. Также NVIDIA активно сотрудничает с местной экосистемой стартапов и разработчиков посредством программ NVIDIA Inception Program и Developer Program.

Изображения: NVIDIA

Новая рабочая группа, ориентированная на создание процессоров, будет тесно сотрудничать с уже имеющимися командами, работающими в области DPU и ИИ. Последнее немаловажно, поскольку Grace в первую очередь нужен для поддержки работы ускорителей NVIDIA. Это поможет компании избавиться от зависимости со стороны AMD и Intel, чьи процессоры используются в платформах DGX/HGX. Новый чип NVIDIA должен увидеть свет в начале 2023 года.

Архитектура Grace изначально будет рассчитана на тесную интеграцию с ускорителями и высокоскоростной памятью

Ожидается, что использование Grace позволит получить десятикратный рост производительности в сравнении с существующими решениями. Новый чип будет использовать шину NVLink 4.0 с пропускной способностью до 900 Гбайт/с, что позволит сделать интеграцию CPU и ускорителей более тесной. Первые заказчики систем на базе Grace уже известны — это Лос-Аламосская национальная лаборатория и Швейцарский национальный суперкомпьютерный центр CSCS. Оба суперкомпьютера построит HPE.

Монолитная компоновка для современных сложных чипов уже становится слишком неэффективной. Бороться с этим можно по-разному. Один из путей подразумевает интеграцию всё более сложных структур на уровне единой кремниевой подложки, а другой — использование мультичиповой (MCM) или, иначе говоря, чиплетной компоновки. К последнему варианту и склоняется NVIDIA, хотя причины несколько отличаются от тех, которыми руководствуются другие вендоры.

GPU и ускорители становятся сложнее гораздо быстрее CPU, и на текущий момент мощные вычислители для ЦОД подбираются к пределам возможностей основных контрактных производителей, таких как TSMC и Samsung. Но это только половина уравнения. Вторая заключается в том, что взрывная популярность систем и алгоритмов машинного интеллекта требует иных вычислительных возможностей, нежели более привычные HPC-задачи.

Дивергенция GPU: вычислительный (сверху) и машинного обучения. (Изображения: NVIDIA)

Как следствие, разработчикам приходится делать выбор, чему в большей мере отдать предпочтение в компоновке новых поколений ускорителей: FP32/64-движкам или блокам, оптимизированным для вычислений INT8, FP16 и прочих специфических форматов. И здесь использование MCM позволит скомпоновать конечный продукт более гибко и с учётом будущей сферы его применения.

Различиые варианты конфигурации в рамках NVIDIA COPA

Ещё в публикации NVIDIA от 2017 года было доказано, что компоновка с четырьмя чиплетами будет на 45,5% быстрее самого сложного на тот момент ускорителя. А в 2018-м компания рассказала о прототипе RC 18. В настоящее время известно, что технология, разрабатываемая NVIDIA, носит название Composable On Package GPU, но в отличие от прошлых исследований упор сделан на обкатке концепции различных составных ускорителей для сфер HPC и машинного обучения.

Симуляция гипотетического ускорителя GPU-N, созданного на основе 5-нм варианта дизайна GA100, показывает довольно скромные результаты в режиме FP64 (12 Тфлопс, ½ от FP32), но четыре таких чиплета дадут уже солидные 48 Тфлопс, сопоставимые с Intel Ponte Vecchio (45 Тфлопс) и AMD Aldebaran (47,9 Тфлопс). А вот упор на FP16 делает даже один чип опаснейшим соперником для Graphcore, Groq и Google TPU — 779 Тфлопс!

Варианты упаковки будущих МСМ-процессоров NVIDIA

Но симуляции показывают также нехватку ПСП именно на ИИ-задачах, так что компания изучает возможность иной иерархии памяти, с 1-2 Гбайт L2-кеша в виде отдельных чиплетов в различных конфигурациях. Некоторые варианты предусматривают даже отдельный ёмкий кеш L3. Таким образом, будущие ускорители с чиплетной компоновкой обретут разные черты для HPC и ИИ.

В первом случае предпочтение будет отдано максимальной вычислительной производительности, а подсистема памяти останется классической. Как показывает симуляция, даже урезанная на 25% ПСП снижает производительность всего на 4%. Во втором же варианте, для ИИ-систем, упор будет сделан на чипы сверхъёмкого скоростного кеша и максимизацию совокупной пропускной способности памяти. Такая компоновка окажется дешевле, нежели применение двух одинаковых ускорителей.

Подробнее с исследованием NVIDIA можно ознакомиться в ACM Digital Library, но уже сейчас ясно, что в обозримом будущем конвергенция ускорителей перейдёт в дивергенцию, и каждая эволюционная ветвь, благодаря MCM, окажется эффективнее в своей задаче, нежели полностью унифицированный чип.

Облачная платформа Amazon Web Services (AWS) объявила об общедоступности EC2-инстансов Hpc6a. Это инстансы нового типа, специально созданные для высокопроизводительных вычислений (HPC) в облаке. Как утверждает AWS, новинки на базе процессоров AMD EPYC 3-го поколения (Milan) обеспечивают до 65 % лучшее соотношение цены и производительности по сравнению с аналогичными HPC-инстансами прошлых поколений.

Hpc6a делают масштабирование HPC-кластеров в AWS ещё более экономичным, позволяя выполнять наиболее ресурсоёмкие рабочие нагрузки, такие как геномика, вычислительная гидродинамика, прогнозирование погоды, молекулярная динамика, вычислительная химия, моделирование финансовых рисков, автоматизированное проектирование и т. д. Используя Hpc6a, клиенты смогут с меньшими затратами решать свои самые большие и сложные академические, научные и бизнес-задачи при оптимальном соотношении цены и качества.

Источник изображения: AMD

Инстансы Hpc6a по умолчанию используют Elastic Fabric Adapter (EFA), благодаря чему обеспечивается низкая задержка, низкий джиттер и пропускная способность сети до 100 Гбит/с, что повышает эффективность работы и ускоряет получение результатов для рабочих нагрузок, активно задействующих обмен данными между экземплярами. Заказчикам доступен инструмент AWS ParallelCluster для управления кластерами с Hpc6a и инстансами других типов, что обеспечивает гибкость для запуска различных типов рабочих нагрузок.

Hpc6a имеют до 96 vCPU с частотой до 3,6 ГГц (All-Turbo) и до 384 Гбайт RAM. Для хранения данных предлагаются стандартные EBS-тома, а также Amazon FSx for Lustre. Использование AWS Nitro в Hpc6a обеспечивает высокую производительность, высокую доступность и повышенную безопасность. Hpc6a доступны в виде инстансов по запросу или зарезервированных инстансов, а также в рамках планов Savings. Экземпляры Hpc6a.48xlarge уже доступны в регионе us-east-2 (Огайо, США) по цене $2,88/час и в GovCloud (us-west).

Компания NVIDIA сообщила о заключении соглашения по приобретению фирмы Bright Computing, разработчика специализированных программных продуктов для управления кластерами. О сумме сделки ничего не сообщается.

Bright Computing была выделена из состава нидерландской ClusterVision в 2009 году; последняя после банкротства в 2019 году была поглощена Taurus Group. Штаб-квартира Bright Computing базируется в Амстердаме. Основным направлением деятельности компании является разработка инструментов, позволяющих автоматизировать процесс построения и управления Linux-кластерами.

Источник изображения: Bright Computing

В число клиентов Bright Computing входят более 700 корпораций и организаций по всему миру. Среди них упоминаются Boeing, Siemens, NASA, Университет Джонса Хопкинса и др. Отмечается, что NVIDIA и Bright сотрудничают уже более десяти лет. Речь идёт об интеграции ПО с аппаратными платформами и другими продуктами NVIDIA.

Поглощение Bright Computing, как ожидается, позволит NVIDIA предложить новые решения в области НРС, которые будут отличаться относительной простотой развёртывания и управления. Эти решения могут применяться в дата-центрах, в составе различных облачных платформ и edge-систем. В рамках сделки вся команда Bright Computing присоединится к NVIDIA.

Инвестиционный фонд Digital 9 Infrastructure (D9) из Великобритании сообщил о намерении вложить $93 млн в исландского оператора ЦОД Verne Global. D9, контролируемый Triple Point Investment Management, приобрёл Verne Global осенью прошлого года. Сумма сделки составила £231 млн, или приблизительно $320 млн.

В настоящее время Verne Global оперирует комплексом ЦОД мощностью 24 МВт на территории бывшего объекта НАТО в Кеблавике на полуострове Рейкьянес в юго-западной Исландии. Кроме того, на этапе строительства находится площадка мощностью приблизительно 8 МВт.

Источник изображений: Verne Global

Как сообщается, инвестиции в размере $93 млн в течение ближайших 12 месяцев будут использованы для расширения мощностей ЦОД. Речь идёт о завершении создания упомянутой площадки на 8,2 МВт, а также о вводе в эксплуатацию дополнительных 12,5 МВт мощностей для удовлетворения спроса со стороны корпоративных клиентов.

Ожидается, что кампус на 8,2 МВт начнёт приносить выручку в III квартале нынешнего года. Работы над вторым проектом планируется завершить в начале 2023 года. После этого суммарная ёмкость ЦОДов в Кеблавике составит около 40 МВт из 100 возможных.