Материалы по тегу: habana

29.06.2023 [22:54], Алексей Степин

Intel похвасталась результатами Habana Gaudi2 и Xeon Sapphire Rapids в ИИ-бенчмарке MLPerf Training 3.0

Группа MLCommons, разработчик набора тестов для ИИ-систем MLPerf, опубликовала результаты MLPerf Training v3.0. Среди протестированных устройств есть и ускорители Habana Gaudi2, и процессоры Intel Xeon Sapphire Rapids.

В индустрии распространено мнение о том, что генеративный ИИ и большие языковые модели (LLM) создаются практически исключительно на аппаратном обеспечении NVIDIA. Но как показывают опубликованные результаты, в этом секторе Intel готова конкурировать с NVIDIA.

Программная экосистема Habana, по словам Intel, достигла необходимой степени зрелости, а решения компании позволяют говорить о конкурентоспособности даже с NVIDIA H100. Производительность и масштабируемость Gaudi2 была протестирована с помощью GPT-3 (целиком LLM обучать в рамках бенчмарка не требуется) — покорить этот рубеж в MLPerf смогли только NVIDIA и Intel. Кластер из 384 ускорителей Gaudi2 смог завершить обучение за 311 минут, а при росте количества ускорителей с 256 до 384 показал 95 % эффективность масштабирования.

 Изображения: Intel

Изображения: Intel

Также заслуживает упоминания тот факт, что по сравнению с ноябрьскими результатами Gaudi2 демонстрируют 10-% и 4-% прирост производительности в BERT и ResNet соответственно, причём обошлось без специальной отладки и оптимизации. Кластер из 32 процессоров Intel Xeon Sapphire Rapids тоже заработал «из коробки», показав неплохие в своём классе результаты. Так, в «закрытом» дивизионе он смог «справиться» BERT и ResNet-50 за 48 и 88 минут соответственно. Поддержка матричных расширений Intel Advanced Matrix Extensions (AMX) обеспечила солидный прирост производительности.

Постоянный URL: http://www.servernews.ru/1089194
03.02.2023 [15:27], Сергей Карасёв

Intel продолжит работы над ИИ-ускорителями Habana Gaudi

Корпорация Intel, по сообщению ресурса HPCwire, намерена продолжить разработку ИИ-ускорителей семейства Habana Gaudi, даже несмотря на существенное ухудшение финансового положения и различные рыночные препятствия. Как сообщил Эйтан Медина (Eitan Medina), главный операционный директор Habana Labs, компания раскроет детали о решении Gaudi3 позднее в текущем году.

В мае 2022 года Intel анонсировала ускоритель Gaudi2 (на изображении). Он несёт на борту 96 Гбайт памяти HBM2e с пропускной способностью до 2,45 Тбайт/с и 48 Мбайт памяти SRAM. Предусмотрены два основных типа вычислительных блоков — Matrix Multiplication Engine (MME) и Tensor Processor Core (TPC). Изделие выпускается в форм-факторе OAM с применением 7-нм техпроцесса.

 Источник изображения: Intel

Источник изображения: Intel

Как рассказал господин Медина, для ускорителя Gaudi3 предусмотрено применение 5-нм технологии производства. По сравнению с предшественником новинка получит больше памяти, предоставит более мощные вычислительные ресурсы и расширенные сетевые возможности. Кроме того, планируется реализация дополнительных функций.

«Мы также работаем над оценкой возможностей объединить лучшее из двух миров —архитектур Intel GPU и Habana Gaudi. Такой подход может быть реализован в четвертом поколении ускорителя», — сказал Медина. Не исключено, что Gaudi получит некоторые элементы Intel Xe, ориентированные на высокопроизводительные вычисления. Gaudi3 нацелен на глубокое обучение в корпоративных средах. По всей видимости, объединение компонентов двух изделий позволит будущим версиям Gaudi лучше конкурировать с передовыми ускорителями NVIDIA.

Постоянный URL: http://www.servernews.ru/1081341
28.09.2022 [16:48], Владимир Мироненко

Intel предложила разработчикам опробовать чипы Sapphire Rapids и Habana Gaudi2 в облаке

Компания Intel уже несколько раз переносила сроки начала масштабных поставок нескольких новейших чипов, таких как Sapphire Rapids и Habana Gaudi2. И пока что Intel предложила клиентам опробовать новинки в облаке, чтобы те уже сейчас могли начать работать с ними.

Указанные чипы будут доступны на платформе Intel Developer Cloud, анонсированной компанией на мероприятии Intel Innovation, которое проходит сейчас в Сан-Хосе (Калифорния). Облачный сервис позиционируется как услуга «попробуй и купи». Developer Cloud включает инструменты разработчика, библиотеки и пакеты разработчика, а также примеры кода.

«Вы получите доступ к процессорам Xeon-D, процессорам Habana Gaudi 2… и нашим графическим процессорам», — пообещала Лиза Спелман (Lisa Spelman), корпоративный вице-президент и гендиректор по продуктам Intel Xeon во время пресс-брифинга перед мероприятием.

 Изображения: Intel

Изображения: Intel

Запуск массового производства серверных процессоров Xeon Scalable 4-го поколения (Sapphire Rapids) уже несколько раз откладывался. Согласно последним данным, массовые поставки продукта стартуют в начале следующего года. Задержки с Sapphire Rapids, которая поддерживает новые технологии, в том числе PCIe 5.0, заставили облачные компании и производителей серверов изменить планы выпуска своих новых решений.

Целью нового облачного сервиса является предоставление клиентам доступа к новейшему оборудованию, чтобы те могли разработать приложения к старту массовых поставок чипов. Разработчики получат доступ к таким инструментам, как OneAPI и уровень абстракции SYCL, чтобы можно было развертывать стандартные приложения C++ без запуска конкретных графических процессоров или чипов ИИ для ускорения.

Аналогичным образом поступает NVIDIA, чей сервис Launchpad предлагает доступ к новейшим чипам компании, таким как GPU Hopper, для разработки и тестирования приложений ИИ.

Облачные развёртывания на платформе Intel позволят клиентам далее переносить окончательные версии приложений в другие публичные и частные облачные сервисы, использующие чипы Intel. Компания сообщила, что на этой неделе начнется бета-тестирование платформы Intel Developer Cloud, которая будет включать процессоры Sapphire Rapids в качестве раннего предложения. Intel добавит уникальные функции в Sapphire Rapids для таких приложений, как ИИ и базы данных, которые разработчики смогут тестировать в облаке.

Постоянный URL: http://www.servernews.ru/1074952
19.05.2022 [23:51], Алексей Степин

Первый в мире суперкомпьютер на базе ИИ-ускорителей Intel Habana готов к тестам

Несмотря на то, что буквально на днях было анонсировано второе поколение ИИ-ускорителей Intel Habana, только сейчас первый действительно серьёзный ИИ-суперкомпьютер Voyager, основанный ещё на первом поколении этих чипов, был окончательно смонтирован и подготовлен к эксплуатации.

В 2021 году Суперкомпьютерный центр Калифорнийского университета в Сан-Диего (SDSC) выбрал ускорители от Habana Labs, к тому моменту уже приобретённой Intel, для своего экспериментального ИИ-суперкомпьютера Voyager. Фактически это первая система подобного класса, которая использует исключительно ИИ-решения Intel. Пока что она предназначена для обкатки технологий, в том числе более глубокого изучения поведения аппаратной части, адаптации ПО, оценке и тюнингу производительности.

 Суперкомпьютер Voyager. Источник: SDSC

Суперкомпьютер Voyager. Источник: SDSC

Voyager включает 42 узла Supermicro X12, каждый из которых оснащена парой обычных процессоров Intel Xeon Scalable третьего поколения и парком из восьми ускорителей Habana Gaudi первого поколения. Каждый ускоритель располагает 32 Гбайт памяти HBM с пропускной способностью 1 Тбайт/с. Также в состав входит пара узлов SuperServer 4029GP-T с восемью инференс-ускорителями Habana Goya HL-100. Поскольку машина рассчитана на работу со сверхбольшими ИИ-моделями, в качестве основного интерконнекта используется 400GbE-фабрика с RDMA: каждый сервер имеет по шесть таких портов, а для связи используются неблокирующие коммутаторы Arista.

 Фазы проекта Voyager. Источник: Intel

Фазы проекта Voyager. Источник: Intel

Несмотря на достаточно серьёзные параметры рекордов от Voyager ждать не стоит. Первые три года работы машины придутся на тестовую фазу, во время которой доступ к ней получат избранные группы исследователей и учёных, а вся информация о работе будет тщательно собираться и изучаться. Следующая фаза продлится уже два года, и в этот период доступ к Voyager станет намного более свободным. К этому момент SDSC надеется отловить все баги, адаптировать ПО и выработать наиболее оптимальные методики работы с суперкомпьютером.

Постоянный URL: http://www.servernews.ru/1066281
10.05.2022 [22:46], Игорь Осколков

Intel анонсировала ИИ-ускорители Habana Gaudi2 и Greco

На мероприятии Intel Vision было анонсировано второе поколение ИИ-ускорителей Habana: Gaudi2 для задач глубокого обучения и Greco для инференс-систем. Оба чипа теперь производятся с использованием 7-нм, а не 16-нм техпроцесса, но это далеко не единственное улучшение.

Gaudi2 выпускается в форм-факторе OAM и имеет TDP 600 Вт. Это почти вдвое больше 350 Вт, которые были у Gaudi, но второе поколение чипов значительно отличается от первого. Так, объём набортной памяти увеличился втрое, т.е. до 96 Гбайт, и теперь это HBM2e, так что в итоге и пропускная способность выросла с 1 до 2,45 Тбайт/с. Объём SRAM вырос вдвое, до 48 Мбайт. Дополняют память DMA-движки, способные преобразовывать данные в нужную форму на лету.

 Изображения: Intel/Habana

Изображения: Intel/Habana

В Gaudi2 имеется два основных типа вычислительных блоков: Matrix Multiplication Engine (MME) и Tensor Processor Core (TPC). MME, как видно из названия, предназначен для ускорения перемножения матриц. TPC же являются программируемыми VLIW-блоками для работы с SIMD-операциями. TPC поддерживают все популярные форматы данных: FP32, BF16, FP16, FP8, а также INT32, INT16 и INT8. Есть и аппаратные декодеры HEVC, H.264, VP9 и JPEG.

Особенностью Gaudi2 является возможность параллельной работы MME и TPC. Это, по словам создателей, значительно ускоряет процесс обучения моделей. Фирменное ПО SynapseAI поддерживает интеграцию с TensorFlow и PyTorch, а также предлагает инструменты для переноса и оптимизации готовых моделей и разработки новых, SDK для TPC, утилиты для мониторинга и оркестрации и т.д. Впрочем, до богатства программной экосистемы как у той же NVIDIA пока далеко.

Интерфейсная часть новинок включает PCIe 4.0 x16 и сразу 24 (ранее было только 10) 100GbE-каналов с RDMA ROcE v2, которые используются для связи ускорителей между собой как в пределах одного узла (по 3 канала каждый-с-каждым), так и между узлами. Intel предлагает плату HLBA-225 (OCP UBB) с восемью Gaudi2 на борту и готовую ИИ-платформу, всё так же на базе серверов Supermicro X12, но уже с новыми платами, и СХД DDN AI400X2.

Наконец, самое интересное — сравнение производительности. В ряде популярных нагрузок новинка оказывается быстрее NVIDIA A100 (80 Гбайт) в 1,7–2,8 раз. На первый взгляд результат впечатляющий. Однако A100 далеко не новы. Более того, в III квартале этого года ожидается выход ускорителей H100, которые, по словам NVIDIA, будут в среднем от трёх до шести раз быстрее A100, а благодаря новым функциям прирост в скорости обучения может быть и девятикратным. Ну и в целом H100 являются более универсальными решениями.

Gaudi2 уже доступны клиентам Habana, а несколько тысяч ускорителей используются самой Intel для дальнейшей оптимизации ПО и разработки чипов Gaudi3. Greco будут доступны во втором полугодии, а их массовое производство намечено на I квартал 2023 года, так что информации о них пока немного. Например, сообщается, что ускорители стали намного менее прожорливыми по сравнению с Goya и снизили TDP с 200 до 75 Вт. Это позволило упаковать их в стандартную HHHL-карту расширения с интерфейсом PCIe 4.0 x8.

Объём набортной памяти всё так же равен 16 Гбайт, но переход от DDR4 к LPDDR5 позволил впятеро повысить пропускную способность — с 40 до 204 Гбайт/с. Зато у самого чипа теперь 128 Мбайт SRAM, а не 40 как у Goya. Он поддерживает форматы BF16, FP16, (U)INT8 и (U)INT4. На борту имеются кодеки HEVC, H.264, JPEG и P-JPEG. Для работы с Greco предлагается тот же стек SynapseAI. Сравнения производительности новинки с другими инференс-решениями компания не предоставила.

Впрочем, оба решения Habana выглядят несколько запоздалыми. В отставании на ИИ-фронте, вероятно, отчасти «виновата» неудачная ставка на решения Nervana — на смену так и не вышедшим ускорителям NNP-T для обучения пришли как раз решения Habana, да и новых инференс-чипов NNP-I ждать не стоит. Тем не менее, судьба Habana даже внутри Intel не выглядит безоблачной, поскольку её решениям придётся конкурировать с серверными ускорителями Xe, а в случае инференс-систем даже с Xeon.

Постоянный URL: http://www.servernews.ru/1065645
Система Orphus