Amazon Web Services представила Arm-процессор нового поколения Graviton4 и ИИ-ускоритель Trainium2, предназначенный для обучения нейронных сетей. Всего к текущему моменту компания выпустила уже 2 млн Arm-процессоров Graviton, которыми пользуются более 50 тыс. клиентов.

Amazon Graviton4 (Изображение: AWS)

«Graviton4 представляет собой четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, который мы когда-либо создавали для широкого спектра рабочих нагрузок», — отметил Дэвид Браун (David Brown), вице-президент по вычислениям и сетям AWS. По сравнению с Graviton3 новый чип производительнее на 30 %, включает на 50 % больше ядер и имеет на 75 % выше пропускную способность памяти.

Изображение: AWS

Graviton4 будет иметь до 96 ядер Neoverse V2 Demeter (2 Мбайт L2-кеша на ядро) и 12 каналов DDR5-5600. Кроме того, новый чип получит поддержку шифрования трафика для всех своих аппаратных интерфейсов. Процессор изготавливается по 4-нм техпроцессу TSMC и, вероятно, имеет чиплетную компоновку. Возможно, это первый CPU компании, ориентированный на работу в двухсокетных платформах.

Изображение: AWS

Поначалу Graviton4 будет доступен в инстансах R8g (пока в статусе превью), оптимизированных для приложений, интенсивно использующих ресурсы памяти — высокопроизводительные базы данных, in-memory кеши и Big Data. Эти инстансы будут поддерживать более крупные конфигурации, иметь в три раза больше vCPU и в три раза больше памяти по сравнению с инстансами Rg7, которые имели до 64 vCPU и 512 Гбайт ОЗУ.

Amazon Trainium2 (Изображение: AWS)

В свою очередь, Trainium 2 предназначен для обучения больших языковых моделей (LLM) и базовых моделей. Сообщается, что ускоритель в сравнении с Trainium 1 вчетверо производительнее и при этом имеет в 3 раза больший объём памяти и в 2 раза более высокую энергоэффективность. Инстансы EC2 Trn2 получат 16 ИИ-ускорителей с возможностью масштабирования до 100 тыс. единиц в составе EC2 UltraCluster, которые суммарно дадут 65 Эфлопс, то есть по 650 Тфлопс на ускоритель. Как утверждает Amazon это позволит обучать LLM с 300 млрд параметров за недели вместо месяцев.

Со временем на Graviton4 заработает SAP HANA Cloud, портированием и оптимизацией этой платформы уже занимаются. Oracle также перенесла свою СУБД на Arm, а заодно перевела все свои облачные сервисы на чипы Ampere, в которую в своё время инвестировала. Microsoft же пошла по пути AWS и недавно анонсировала 128-ядерый Arm-процессор (Neoverse N2) Cobalt 100 и ИИ-ускоритель Maia 100 собственной разработки. Всё это может представлять отдалённую угрозу для AMD и Intel. С NVIDIA же все всё равно пока что продолжают дружбу — именно в инфраструктуре AWS, как ожидается, появится самый мощный в мире ИИ-суперкомпьютер на базе новых GH200.

Один из крупнейших провайдеров облачных услуг, Amazon Web Services, объявил о доступности анонсированных ещё в прошлом году инстансов на базе фирменных Arm-процессоров Graviton3E, ориентированных на задачи HPC и ИИ. Более того, это наиболее производительные по части сетевой подсистемы EC2-инстансы, которые подходят для формирования маршрутизаторов, сетевых экранов, балансировщиков, кластеров и т.д.

Источник изображений здесь и далее: Amazon Web Services

Процессоры Graviton3E являются дальнейшим развитием чипов Graviton3, дебютировавших ещё в конце 2021 года. Упор в новой версии CPU был сделан на повышение производительности векторных операций — до +35 %. Вместе с тем инстансы получили AWS Nitro пятого поколения, так что EFA-подключение не только самое быстрое на текущий момент, но ещё и предлагает самую низку задержку.

Новые инстансы доступны в различных конфигурациях: количество vCPU может достигать 64 шт., а максимальный объём RAM равен 128 Гбайт. При этом даже в минимальной конфигурации (1 vCPU, 2 Гбайт RAM) скорость сетевого подключения составляет до 25 Гбит/с. Скорость EBS — от 10 до 40 Гбит/с. Новинки доступны в восточном и западном регионах США (Огайо и Орегон), а также в европейском регионе AWS (Ирландия).

Облачная платформа AWS объявила о запуске инстансов EC2 I4g, оптимизированных для хранения данных. В основу положены процессоры AWS Graviton2 и NVMe-накопители AWS Nitro SSD. Утверждается, что по сравнению с другими инстансами, нацеленными на хранение информации, решения I4g обеспечивают прирост производительности до 15 %.

В зависимости от конфигурации (см. таблицу ниже) заказчикам предоставляются от 2 до 64 vCPU и от 468 Гбайт до 15 Тбайт SSD-хранилища. Заявленная пропускная способность сетевого подключения варьируется от 10 Гбит/с до 37,5 Гбит/с, пропусканая способность EBS — от 40 до 80 Гбит/с.

Источник изображения: Amazon

Amazon отмечает, что инстансы на базе Graviton2 поддерживают широкий спектр вычислительных нагрузок: универсальные, с повышаемой производительностью, оптимизированные для вычислений, памяти и хранения, а также ускоренные. Утверждается, что инстансы на базе Graviton2 — лучшее решение по соотношению цены и быстродействия для рабочих нагрузок в EC2.

SSD в составе EC2 I4g выдают показатель IOPS при произвольном чтении данных до 1 млн, при произвольной записи — до 800 тыс. Скорость последовательного чтения достигает 8000 Мбайт/с, скорость последовательной записи — 5600 Мбайт/с. Инстансы EC2 I4g уже доступны для клиентов в США и Европе.

Один из крупнейших облачных провайдеров, компания Amazon Web Services объявила о доступности новых инстансов EC2 на базе процессора Graviton3E. Новый чип — наследник анонсированного в конце 2021 года Graviton3, 5-нм 64-ядерного процессора на дизайне Arm Neoverse V1 (Zeus) с поддержкой DDR5 и PCI Express 5.0.

Graviton3 использует набор команд Armv8.4 c расширениями Neon (4×128 бит) и SVE (2×256 бит) и поддерживает работу с популярными в сфере машинного обучения форматами данных INT8 и BF16. В сравнении c Graviton2 процессор быстрее на 25-60 % при сохранении аналогичного уровня тепловыделения. Дизайн серверов AWS предусматривает наличие трёх процессоров на узел высотой 1U.

Изображения: AWS

Новый процессор Graviton3E представляет собой дальнейшее развитие Graviton3. Чип оптимизирован с учётом потребностей рынка высокопроизводительных вычислений и основное внимание в его архитектуре уделено повышению производительности на операциях с плавающей запятой и вычислениях с использованием векторной математики.

AWS, к сожалению, пока не раскрывает деталей относительно архитектуры Graviton3E, но прирост производительности на векторных операциях относительно обычного Graviton3 может достигать 35 %. Помимо классического теста HPL новый процессор хорошо проявляет себя в тестах, имитирующих медико-биологические и финансовые задачи.

Сценарии нагрузок, характерные для HPC, как правило, активно оперируют перемещением крупных объемов данных. Чтобы оптимизировать этот процесс, в новых инстансах AWS использует сеть на базе Elastic Fabric с новыми адаптерами Elastic Network Adapter (ENA). Такая сеть оперирует т. н. Scalable Reliable Datagram (SRD) вместо всем привычных TCP-пакетов. SRD позволяет организовать повторную отправку пакетов за микросекунды вместо миллисекунд в классическом Ethernet.

Сердцем же новых инстансов AWS стало пятое поколение аппаратных гипервизоров Nitro 5. В сравнении с предыдущим поколением, Nitro 5 обладает вдвое более высокой вычислительной производительностью, на 50 % повышенной пропускной способностью памяти, а также позволяет обрабатывать на 60 % больше сетевых пакетов при сниженной на 30 % латентности.

Здесь и далее источник изображений: AWS

Инстансы Hpc7g с процессорами Graviton3E получат внутреннюю сеть с пропускной способностью 200 Гбит/с и станут доступны в различных конфигурациях вплоть до 64 vCPU и 128 ГиБ памяти. Аналогичные параметры имеют инстансы C7gn, предназначенные для задач с интенсивным сетевым трафиком: виртуальных маршрутизаторов, сетевых экранов, балансировщиков нагрузки и т.п.

Также компания анонсировала инстансы R7iz, в которых используются процессоры Intel Xeon Scalable четвёртого поколения (Sapphire Rapids) с постоянной частотой всех ядер 3,9 ГГц. Они могут иметь конфигурацию до 128 vCPU с 1 ТиБ памяти.

Amazon Web Services (AWS) объявила о доступности инстансов следующего поколения Amazon Elastic Compute Cloud (Amazon EC2) C7g, оптимизированных для вычислений с использованием Arm-процессоров Graviton3 собственной разработки компании.

Процессоры AWS Graviton3 обеспечивают до 25% более высокую вычислительную производительность в ресурсоёмких приложениях по сравнению с процессорами AWS Graviton2 в составе инстансов C6g. Благодаря этому клиенты могут более эффективно выполнять широкий спектр ресурсоёмких рабочих нагрузок — от веб-серверов, балансировщиков нагрузки и пакетной обработки до автоматизации проектирования электроники (EDA), высокопроизводительных вычислений (HPC), игр, кодирования видео, научного моделирования, распределённой аналитики, инференса при машинном обучении.

Источник изображения: Noah Berger/hpcwire.com

Новые инстансы C7g на базе процессоров AWS Graviton3 обеспечивают лучшее соотношение цены и производительности для широкого спектра клиентских приложений по сравнению с инстансами C6g. Процессоры AWS Graviton3 обеспечивают по сравнению с AWS Graviton2 вдвое более высокую производительность для криптографических рабочих нагрузок, до 3 раз более высокую производительность для инференса при машинном обучении и почти вдвое более высокую производительность при вычислениях с плавающей запятой для научных задач, машинного обучения и кодирования мультимедиа. Процессоры AWS Graviton3 также более энергоэффективны: они потребляют на 60 % меньше энергии при той же производительности, что у сопоставимых инстансов EC2.

Инстансы C7g первыми в облаке Amazon получили память DDR5, обеспечивающую пропускную способность на 50% выше, чем память в инстансах на базе AWS Graviton2, что позволяет повысить производительность ресурсоёмких научных приложений, таких как вычислительная гидродинамика, геонаучное моделирование и обработка сейсмических данных. Инстансы C7g также обеспечивают пропускную способность сети на 20% выше, чем инстансы C6g, для ресурсоёмких приложений, таких как балансировка сетевой нагрузки и анализ данных.

Новые инстансы C7g построены на базе AWS Nitro System. Для клиентов, стремящихся повысить производительность приложений, требующих параллельной обработки, таких как высокопроизводительные вычисления и кодирование видео, инстансы C7g в ближайшие недели получат поддержку интерфейса Elastic Fabric Adapter (EFA), который позволяет приложениям взаимодействовать напрямую с сетевыми интерфейсными картами, обеспечивая более низкую и более стабильную задержку.

Источник изображения: AWS

AWS C7g доступны как инстансы по требованию, по модели Savings Plans, а также как зарезервированные или спотовые инстансы. В настоящее время инстансы C7g доступны в облачных регионах us-east (Северная Виргиния) и us-west (Орегон). При использовании инстансов C7g клиенты платят только за объём используемых вычислений. Более подробно о C7g можно узнать по ссылке.

Анонсированный на днях Arm-процессор Graviton3, создававшийся специально для нужд Amazon и AWS, неожиданно оказался по ряду параметров на голову выше ещё даже не вышедших EPYC и Xeon следующего поколения. И это не самый хороший сигнал для AMD, Intel, Qualcomm и прочих производителей.

Amazon Graviton3. Фото: Ian Colle

Graviton3 — первый массовый (самой Amazon и рядом избранных клиентов он используется уже не один месяц) серверный процессор с поддержкой DDR5 и PCIe 5.0. CPU выполнен по 5-нм техпроцессу TSMC и содержит примерно 55 млрд транзисторов. Для удешевления он использует BGA-корпусировку и чиплетную компоновку из семи отдельных кристаллов — два PCIe-контроллера и четыре двухканальных контроллера DDR5 вынесены за пределы собственно CPU.

Узел EC2 C7g. Здесь и ниже изображения Amazon AWS

Более того, их упаковка использует передовые решения с каналами длиной менее 55 мкм, что вдвое меньше, чем у других серверных CPU. Уменьшение длины проводников положительно сказывается на энергоэффективности, которая очень важна для любого гиперскейлера. Этим же объясняется и относительно небольшое по современным меркам число ядер (всего 64) и их частота (2,6 ГГц). Всё это позволило добиться энергопотребления примерно в 100 Вт.

Есть и ещё один важный плюс в сохранении числа ядер — переход на DDR5-4800 позволил не только достичь пиковой суммарной пропускной способности памяти в 300 Гбайт/с на чип, но и повысить реальную скорость работы с памятью каждого vCPU (фактически ядра) в полтора раза по сравнению с прошлым поколением. Та же ситуация и с PCIe 5.0 — для достижения той же пропускной способности, что ранее, нужно вдвое меньше линий.

Для удешевления используются готовые IP-блоки сторонних компаний и, судя по всему, ядра тоже несильно отличаются от референсов Arm. А вот какие именно, узнаем не сразу, поскольку Amazon явно не указала, будут ли это Neoverse V1 (Zeus) или N2 (Perseus). Вероятно, это всё же V1 (ARMv8.5-A), поскольку по описанию Graviton3 похожи именно на эту архитектуру. Новые ядра стали значительно «шире» прежних — они забирают 8 инструкций, декодируют от 5 до 8 из них и отправляют на исполнение сразу 15 инструкций. Соответственно и число исполнительных блоков по сравнению с Neoverse-N1 (Graviton2) практически удвоилось.

Кроме того, они обзавелись поддержкой 256-бит векторных инструкций SVE, что повысило не только скорость выполнения «классических» FP-операций (например, для задач медиакодирования и шифрования), но и благодаря поддержке bfloat16 позволило утверждать Amazon, что новые чипы годятся и для инференса. Среди упомянутых ранее мер защиты есть, например, принудительное шифрование оперативной памяти, изолированные кеши для каждого vCPU (ядра), аппаратная защита стека.

В подписи второго столбца явная опечатка

В целом, средний прирост производительности Graviton3 по сравнению с Graviton2 составил 25 %, но в некоторых задачах он достигает 60 %. И всё это при сохранении того же уровня энергопотребления и тепловыделения. Всё это позволило уместить в одном 1U-узле с воздушным охлаждением сразу три процессора Graviton3. И они разительно отличаются от грядущих 128-ядерных процессоров Altra Max и EPYC Bergamo, которые Ampere и AMD позиционируют как решения для гиперскейлеров. Зато в чём-то похожи на Yitian 710 от Alibaba Cloud.

Но CPU — это лишь часть платформы, фундамент для которой несколько лет назад заложило появление чипов Nitro. Их сейчас стоило бы назвать DPU/IPU, хотя на момент их появления такого понятия, можно сказать, и не было. Nitro берёт на себя все задачи по обслуживанию гипервизора, обеспечению безопасности, работе с хранилищем и сетью и т.д., высвобождая, с одной стороны, все ресурсы CPU, памяти и SSD для обработки задачи клиента, а с другой — позволяя практически полностью дезагрегировать всю инфраструктуру.

Узел с Nitro SSD

Впрочем, Amazon пошла ещё дальше — теперь она самостоятельно закупает NAND-чипы и производит SSD, тоже под управлением Nitro. То есть у компании под контролем практически полный стек современных аппаратных решений: CPU, DPU, SSD, ИИ-ускорители для обучения (Trainium) и инференса (Inferentia). Она активно переносит на него собственные сервисы и предлагает их клиентам. И именно это и должно обеспокоить крупных вендоров, поскольку их решения вряд ли позволят добиться такого же уровня TCO, а гиперскейлеров, желающих перейти на аналогичную модель, немало.

UPD 06.12.21: презентация новых процессоров стала доступна публично, поэтому в материал добавлены некоторые иллюстрации, а в галерее ниже приведены результаты тестов производительности.