Материалы по тегу: nvidia

24.12.2020 [14:28], Юрий Поздеев

ИИ-инструменты NVIDIA доступны в магазине приложений AWS

2020 год запомнится многим не только пандемией COVID-19, но и ростом роли искусственного интеллекта (ИИ), который стал повсеместно использоваться в фармацевтической и нефтегазовой отрасли, в научно-исследовательских лабораториях, банковской сфере и многих других отраслях, где требуется глубокий анализ данных. Облачные сервисы – второй по популярности тренд 2020 года. Многие предприятия перенесли свои рабочие нагрузки в облака, а разработчики уже давно используют облачные сервисы, например, Amazon Web Services (AWS) для проектирования систем ИИ.

Одним из основных поставщиков решений для ИИ является NVIDIA, графические ускорители (GPU) которой используются в большинстве задач по анализу и обработке данных. NVIDIA предлагает инструменты для разработки приложений и готовые решения, которые упрощают процесс интеграции ИИ в такие отрасли, как распознавание речи, робототехника, построение теоретических моделей и многие другие.

NVIDIA и AWS объявили о партнерстве, предложив инструменты NVIDIA в магазине приложений AWS. Портфолио включает 21 бесплатный инструмент для помощи в создании ИИ-приложений с использованием GPU. Подобные инструменты особенно востребованы в здравоохранении, финансах, розничной торговле, построении систем умных городов и других применениях, где используется ИИ.

NVIDIA предлагает ПО с ускорением на GPU в своем каталоге NVIDIA GPU-optimize cloud (NGC) с 2017 года и некоторые отдельные инструменты были доступны в магазине приложений AWS, однако это первый случай, когда в AWS будут размещены все инструменты NVIDIA. Но как это реализовано?

NGC включает контейнеры с ПО, которое изначально оптимизировано для работы в облачных инстансах с GPU, такими как Amazon EC2 P4d на базе новейшего процессора NVIDIA A100. Разработчики получают все необходимое в одном готовом контейнере, поэтому они могут легко перемещать рабочие GPU-нагрузки между платформами.

NVIDIA утверждает, что 250 тыс. пользователей уже загрузили более 1 млн контейнеров, предварительно обученных моделей, фреймворков приложений, диаграмм Helm и других ресурсов машинного обучения из каталога NGC. В список самых популярных среди разработчиков ПО для ИИ вошли следующие инструменты:

  • NVIDIA AI: набор фреймворков и инструментов, таких как MXNet и TensorFlow;
  • NVIDIA Clara Imaging: оптимизированная для предметной обработки изображений платформа, с возможностью глубокого обучения и логических выводов в медицинской отрасли;
  • NVIDIA DeepStream SDK: мультиплатформенное ПО аналитики для развертывания на периферии и в любом облаке;
  • NVIDIA HPC SDK: набор библиотек и программных инструментов для высокопроизводительных вычислений;
  • NVIDIA Isaak Sim ML Training: набор инструментов для машинного обучения в сфере робототехники, с применением нейронных сетей для обнаружения и распознавания объектов;
  • NVIDIA Merlin: открытая бета-платформа для создания крупномасштабных платформ машинного обучения, для выдачи рекомендаций;
  • NVIDIA NeMo: набор инструментов Python с открытым исходным кодом для построения ИИ-моделей разговорного языка;
  • RAPIDS: набор открытых библиотек и программного обеспечения для анализа данных.

Благодаря партнерству с AWS NVIDIA хочет ускорить процесс внедрения и распространения своих инструментов ИИ для более широкого круга клиентов. Разработчики получат простое в развертывании ПО, снижение сложности проектируемых систем и единый магазин приложений со всеми необходимыми инструментами.

Постоянный URL: http://servernews.ru/1028645
19.12.2020 [00:29], Игорь Осколков

Интегрированная фотоника NVIDIA объединит сотни ускорителей в единый кластер

В рамках NVIDIA GTC 2020 China компания поведала о своих достижениях и планах. Одной из тем ключевого доклада конференции стал рассказ о наработках исследовательского подразделения NVIDIA Research в области становящейся всё более и более актуальной интегрированной кремниевой фотоники, без которой вычислительные системы будущего вряд ли обойдутся.

Сейчас скорость передачи данных для электрических соединений, говорит NVIDIA, достигает 50 Гбит/с на пару, в перспективе её можно увеличить до 100-200 Гбит/с, но прыгнуть выше этой планки будет уже очень трудно. Практически единственный путь в этом случае — переход на оптические линии связи. Это предполагает — по крайней мере сейчас, на стадии концепта — смену компоновки. В нынешних системах DGX/HGX на базе A100 максимальная конфигурация платы включает восемь ускорителей, расположенных горизонтально и объединённых NVSwitch.

Суммарная пропускная способность канала NVLink между двумя ускорителями составляет 600 Гбайт/с, а NVSwitch — 4,8 Тбайт/с. Но этим всё и ограничивается — длина NVLink-подключений составляет порядка 0,3 м. За пределы шасси они не выходят, так что сейчас всё в итоге упирается в намного более медленную шину PCIe 4.0 и подключенные к ней адаптеры, которые дают суммарную скорость всего в 500 Гбайт/с.

Такое несоответствие в скорости обмена данными внутри и между шасси ограничивает возможность эффективного масштабирования. Переход, к примеру, на InfiniBand NDR не решит проблему, так как даст лишь удвоение скорости. Поэтому-то NVIDIA видит будущее в интегрированных в ускорители оптических трансиверах на базе кремниевой фотоники.

Они позволят не только увеличить длину подключений до 20-100 м, что позволит объединить ускорители в пределах нескольких стоек, а не только одного шасси, но и вдвое повысить энергоэффективность — с 8 пДж/бит для «меди» до 4 пДж/бит для «оптики». Как обычно, предполагается использование несколько длин волн (DWDM) в одном волокне, каждая из которых будет нести 25-50 Гбит/с, что даст суммарно от 400 Гбит/с до нескольких Тбайт/с.

Для работы с несколькими длинами будут использоваться кольцевые модуляторы. И всё это будет упаковано вместе с другим «кремнием». То есть это, в целом, та же схема, что мы видели ранее у Intel, да и у других вендоров тоже. Правда, NVIDIA пока не приводит ряд других технических характеристик, но уже говорит о возможности объединить до 18 ускорителей в одном шасси благодаря вертикальной ориентации карт и до 9 шасси в стойке, что даст пул из 171 карт. Для связи пулов ускорителей будут использоваться оптические коммутаторы NVSwitch, объединённые в сеть Клоза.

Постоянный URL: http://servernews.ru/1028237
14.12.2020 [16:34], Сергей Карасёв

AMD-суперкомпьютер Hawk получит 192 NVIDIA A100 для ускорения ИИ-вычислений

Штутгартский Центр высокопроизводительных вычислений (HLRS), одна из крупнейших европейских суперкомпьютерных площадок, нарастит мощности комплекса Hawk с целью ускорения задач, связанных с искусственным интеллектом (ИИ).

На текущий момент Hawk является одним из самых мощных суперкомпьютеров в мире. В его основу положены узлы Apollo производства Hewlett Packard Enterprise. Задействованы процессоры AMD EPYC 7742, а также интерконнект Mellanox HDR Infiniband. >В ноябрьском рейтинге Top500 система Hawk занимает шестнадцатое место с производительностью приблизительно 19,33 Пфлопс и пиковым быстродействием на уровне 25,16 Пфлопс.

На фоне растущих потребностей в вычислениях, связанных с машинным обучением и искусственным интеллектом, HLRS принял решение модернизировать Hawk путём добавления 192 акселераторов NVIDIA A100 с архитектурой Ampere.

Предполагается, что обновлённая суперкомпьютерная система поможет в решении сложных задач, связанных с распространением коронавирусной инфекции, разработкой транспортных средств будущего и пр.

Постоянный URL: http://servernews.ru/1027790
11.12.2020 [16:02], Сергей Карасёв

Мини-кластер Jetson Mate вмещает четыре модуля NVIDIA Jetson Nano или Jetson Xavier NX

Команда Seeed Studio начала приём заказов на любопытную новинку — устройство Jetson Mate, позволяющее создать вычислительный кластер небольшого форм-фактора на основе модулей NVIDIA Jetson Nano или Jetson Xavier NX. Такая система может применяться для решения различных задач, скажем, в области искусственного интеллекта.

В основе Seeed Studio лежит небольшая плата с размерами 110 × 110 мм. Для установки модулей Jetson Nano или Jetson Xavier NX доступны четыре разъёма SO-DIMM.

Изделие оснащено четырьмя портами USB 3.0, одним коннектором USB 2.0 и одним симметричным портом USB Type-C (служит для подачи питания). Кроме того, предусмотрены интерфейс HDMI 2.0 для вывода изображения и сетевой разъём Gigabit Ethernet (RJ45).

Плата с вычислительными модулями Jetson, каждый из которых снабжён радиатором охлаждения, установлена в корпус с вентилятором в верхней части. Этот кулер снабжён многоцветной RGB-подсветкой.

Кластер на базе Jetson Mate может выступать в роли небольшого GPU-сервера. Новинка предлагается по ориентировочной цене 200 долларов США.

Постоянный URL: http://servernews.ru/1027626
03.12.2020 [15:31], Сергей Карасёв

GIGABYTE выпустила сервер G492-ZD0 на базе NVIDIA HGX A100 для ИИ и HPC

Компания GIGABYTE Technology официально представила сервер G492-ZD0 на базе платформы NVIDIA HGX A100 8-GPU. Новинка предназначена для формирования систем высокопроизводительных вычислений (HPC), а также комплексов для аналитики больших данных и поддержания работы приложений искусственного интеллекта (ИИ).

Сервер выполнен в формате 4‎U на материнской плате MZ52-G40. Допускается установка двух процессоров AMD EPYC 7002, каждый из которых может содержать до 64 вычислительных ядер (до 128 потоков инструкций).

Для модулей оперативной памяти DDR4-3200/2933 доступны 32 слота: суммарный объём ОЗУ может достигать 8 Тбайт. Доступны отсеки для восьми 2,5-дюймовых накопителей U.2 NVMe/SATA с возможностью «горячей» замены.

Новинка располагает восемью разъёмами SXM4 для GPU NVIDIA A100. Кроме того, есть восемь слотов для низкопрофильных карт расширения PCIe 4.0 x16.

Сервер оснащён двумя сетевыми портами 10GbE и дополнительным портом управления 1GbE. Подсистема питания объединяет четыре блока с сертификацией 80 PLUS Platinum мощностью 3000 Вт.

Постоянный URL: http://servernews.ru/1026945
19.11.2020 [11:56], Владимир Мироненко

SC20: Microsoft Azure анонсировала публичную превью-версию инстансов ND A100 v4

Команда Microsoft Azure анонсировала на конференции SC20 публичную превью-версию семейства виртуальных машин ND A100 v4, из которых можно сформировать суперкомпьютера мирового класса.

Как утверждает Azure, каждое развертывание кластера ND A100 v4 соперничает с крупнейшими в отрасли ИИ-суперкомпьютерами с точки зрения масштабирования и передовых технологий.

Каждая отдельная виртуальная машина имеет:

  • Восемь новейших графических процессоров NVIDIA A100 с тензорным ядром и 40 Гбайт памяти HBM2, предлагающих повышение производительности каждого графического процессора в 1,7–3,2 раза по сравнению с графическими процессорами V100 или до 20 раз за счёт многоуровневых функций, таких, как новые режимы смешанной точности, функция разреженности и NVIDIA Multi-Instance GPU (MIG), для обеспечения значительно более низкой общей стоимости обучения с улучшенным временем на выполнение решения.
  • Интерконнект на уровне виртуальных машин на основе NVLINK 3.0 + NVswitch.
  • Один 200-Гбит канал InfiniBand HDR на каждый графический процессор с полной поддержкой NCCL2 и GPUDirect RDMA с суммарной пропускной способностью 1,6 Тбит/с на виртуальную машину.
  • Внешнюю сеть Azure со скоростью 40 Гбит/с.
  • 6,4 Тбайт локального хранилища NVMe.
  • Опцию объединения тысяч графических процессоров в InfiniBand-фабрику, с возможностью их взаимодействия без необходимости планирования с учетом топологии
  • 96 vCPU AMD Rome с 900 Гбайт оперативной памяти DDR4.
  • Поддержку стандарта PCIe Gen 4 для максимально быстрого соединения между графическим процессором, сетью и центральным процессором — производительность ввода-вывода до двух раз выше, чем у платформ на базе PCIe Gen 3.

Как и другие виртуальные машины с графическим процессором, Azure ND A100 v4 также доступен со службой машинного обучения Azure (AML) для интерактивной разработки ИИ, распределённого обучения, пакетного вывода и автоматизации с помощью ML Ops. Клиенты смогут выбрать развертывание с помощью AML или традиционных масштабируемых наборов виртуальных машин, а вскоре и многих других вариантов развертывания на базе Azure, таких как служба Azure Kubernetes Service. При этом оптимизированная конфигурация систем и серверной сети InfiniBand выполняется автоматически.

Azure предоставляет настроенную виртуальную машину (с предварительно установленными необходимыми драйверами и библиотеками) и среды на основе контейнеров, оптимизированные для семейства ND A100 v4. Примеры готовых наборов параметров и блокноты Jupyter помогают пользователям быстро приступить к работе с несколькими фреймворками, включая PyTorch, TensorFlow, а также с современными моделями обучения, такими как BERT. Отправить запрос на доступ к новым инстансам можно по этой ссылке.

Постоянный URL: http://servernews.ru/1025768
18.11.2020 [16:02], Владимир Мироненко

NVIDIA отметила 26-кратный рост производительности HPC-платформ на базе Arm за полтора года

За последние 18 месяцев было отмечено значительное, 25,5-кратное повышение производительности платформ на базе Arm в высокопроизводительных вычислениях благодаря совместным усилиям экосистем Arm и NVIDIA, отметила компания NVIDIA.

По её оценкам, ядро Arm Neoverse N1 обеспечило системам на кристалле, таким как Altra от Ampere Computing, 2,3-кратное улучшение по сравнению с прошлогодними проектами. А графические процессоры NVIDIA A100 с тензорными ядрами продемонстрировали самый большой прирост производительности в истории за одно поколение.

Новейшие платформы перешли на большее количество более быстрых ядер, линий ввода/вывода и памяти. А разработчики приложений внесли в своё программное возможность множества новых оптимизаций. Как уже ранее сообщалось, NVIDIA в партнёрстве с Ampere Computing расширила свою серверную платформу Mt. Jade для облачных игр.

В результате референс-дизайн NVIDIA для высокопроизводительных вычислений на базе Arm с двумя SoC Ampere Altra и двумя графическими процессорами A100 показал в 25,5 раз большую производительность, чем серверы с двумя SoC, которые исследователи использовали в июне 2019 года. А её рефернс-платформа на базе архитектуры Arm и GPU-ускорителей в отдельности показала прирост производительности в 2,5 раза за 12 месяцев.

Результаты касаются приложений, в том числе GROMACS, LAMMPS, MILC, NAMD и Quantum Espresso, имеющих ключевое значение для таких видов деятельности, как разработки лекарств, что является главным приоритетом во время пандемии. Эти и многие другие приложения, адаптированные к запуску на Arm-системах, доступны в готовых к быстрому развёртыванию NGC-контейнерах NVIDIA. Компании и исследователи, работающие в таких областях, как молекулярная динамика и квантовая химия, могут использовать эти приложения не только в фундаментальной науке, но и в здравоохранении.

Еще одним признаком расширения экосистемы стало мероприятие недавно сформированного сообщества Arm HPC User Group (A-HUG), в котором приняли участие такие компании, как AWS, Hewlett Packard Enterprise, исследовательские институты Jülich Supercomputing Centre (JSC, Германия) и RIKEN (Япония), а также Ок-Риджская национальная лаборатория и Национальные лаборатории Сандия (США).

Постоянный URL: http://servernews.ru/1025690
18.11.2020 [12:03], Сергей Карасёв

HGX-системы GIGABYTE с новыми NVIDIA A100 получат воздушное и жидкостное охлаждение

Компания GIGABYTE Technology сообщила о планах по выпуску серверов, оснащённых новейшими ускорителями NVIDIA A100, располагающими 80 Гбайт памяти HBM2e. Эти акселераторы были официально представлены в рамках конференции SC20 — подробно о них можно узнать в нашем материале.

Сообщается, что GIGABYTE возьмёт на вооружение платформу NVIDIA HGX A100, которая объединяет в себе несколько графических ускорителей NVIDIA A100, соединённых высокоскоростным интерфейсом NVLink.

В ассортименте GIGABYTE появятся серверы, использующие акселераторы NVIDIA A100 с 40 и 80 Гбайт памяти. Эти системы будут использоваться в сферах высокопроизводительных вычислений, глубокого обучения, искусственного интеллекта и пр.

В частности, для платформы 4-GPU компания GIGABYTE создаст сервер G492-ZD0 с воздушным охлаждением, а также систему G492-ZL0 с жидкостным охлаждением. Кроме того, будут доступны 2U-версии G262-ZR0 и G262-ZL0, наделённые воздушным и жидкостным охлаждением соответственно.

Более подробную информацию о новинках разработчик раскроет позднее. Серверы станут доступны в первой четверти следующего года. 

Постоянный URL: http://servernews.ru/1025642
16.11.2020 [17:00], Илья Коваль

SC20: NVIDIA анонсировала InfiniBand NDR: 400 Гбит/c адаптерам уже нужен PCIe 5.0

Вместе с обновлёнными ускорителями A100 и продуктами на его основе NVIDIA анонсировала и решения на базе стандарта InfiniBand NDR который, как и положено, удваивает пропускную способность одной линии до 100 Гбит/с. Новые адаптеры и DPU NVIDIA получат порты 400 Гбит/c, а коммутаторы — 64 порта 400 Гбит/с или 128 портов 200 Гбит/c, способных обработать 66,5 млрд пакетов в секунду. Модульные коммутаторы позволят получить до 2048 портов с суммарной пропускной способностью 1,64 Пбит/с.

Кроме того, повышена масштабируемость сети, которая способна объединить более миллиона GPU всего с тремя «прыжками» (hops) между любыми из них. А с ростом числа узлов снижаются и стоимость владения, и энергопотребление, что будет важно для суперкомпьютеров экзафплосного класса. Компания отдельно отмечает, что для InfiniBand NDR удалось сохранить возможность использования пассивных медных кабелей на коротких расстояниях (до 1,5 м).

Помимо увеличения пропускной способности, вчетверо повышена производительность MPI, за что отвечают отдельные аппаратные движки. А ИИ-приложения могут получить дополнительное ускорение благодаря технологии Mellanox SHARP (Scalable Hierarchical Aggregation and Reduction Protocol). DPU же за счёт наличия ядер общего назначения могут взять на себя часть обработки данных и попутно отвечать за безопасность, изоляцию, мониторинг и управление инфраструктурой. Вообще NVIDIA говорит о распределённом CPU, «живущем» в сети, который эффективно дополняет ускорители компании.

Однако у InfiniBand NDR, как и у конкурирующего стандарта 400GbE, есть и обратная сторона медали. Для новых адаптеров требуются или 16 линий PCIe 5.0, или 32 линии PCIe 4.0. PCIe 5.0 будет доступен ещё нескоро, а линии PCIe 4.0 в современных системах жаждут не только адаптеры, но и накопители, и собственно ускорители. Использование PCIe-свитчей может снизить эффективность обмена данными, так что, вероятно, интереснее всего было бы увидеть DPU с root-комплексами, да покрупнее. Первые продукты на базе нового стандарта должны появиться в втором квартале 2021 года.

Постоянный URL: http://servernews.ru/1025433
16.11.2020 [17:00], Игорь Осколков

SC20: NVIDIA представила ускоритель A100 с 80 Гбайт HBM2e и настольный «суперкомпьютер» DGX STATION

NVIDIA представила новую версию ускорителя A100 с увеличенным вдвое объёмом HBM2e-памяти: 80 Гбайт вместо 40 Гбайт у исходной A100, представленной полгода назад. Вместе с ростом объёма выросла и пропускная способность — с 1,555 Тбайт/с до 2 Тбайт/с.

В остальном характеристики обоих ускорителей совпадают, даже уровень энергопотребления сохранился на уровне 400 Вт. Тем не менее, объём и скорость работы быстрой набортной памяти влияет на производительность ряда приложений, так что им такой апгрейд только на пользу. К тому же MIG-инстансы теперь могут иметь объём до 10 Гбайт. PCIe-варианта ускорителя с удвоенной памятью нет — речь идёт только об SXM3-версии, которая используется в собственных комплексах NVIDIA DGX и HGX-платформах для партнёров.

NVIDIA A100 80 Гбайт

NVIDIA A100 80 Гбайт

Последним ориентировочно в первом квартале следующего года будут предоставлены наборы для добавления новых A100 в существующие решения, включая варианты плат на 4 и 8 ускорителей. У самой NVIDIA обновлению подверглись, соответственно, DGX A100 POD и SuperPOD for Enterprise. Недавно анонсированные суперкомпьютеры Cambridge-1 и HiPerGator на базе SuperPOD одними из первых получат новые ускорители с 80 Гбайт памяти. Ожидается, что HGX-решения на базе новой A100 будут доступны от партнёров компании — Atos, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Inspur, Lenovo, Quanta и Supermicro — в первой половине 2021 года.

Но, пожалуй, самый интересный анонс касается новой рабочей станции NVIDIA DGX STATION A100, которую как раз и можно назвать настольным «суперкомпьютером». В ней используются четыре SXM3-ускорителя A100 с не требующей обслуживания жидкостной системой охлаждения и полноценным NVLink-подключением. Будут доступны две версии, со 160 или 320 Гбайт памяти с 40- и 80-Гбайт A100 соответственно. Базируется система на 64-ядерном процессоре AMD EPYC, который можно дополнить 512 Гбайт RAM.

Для ОС доступен 1,92-Тбайт NVMe M.2 SSD, а для хранения данных — до 7,68 Тбайт NVMe U.2 SSD. Сетевое подключение представлено двумя 10GbE-портами и выделенным портом управления. Видеовыходов четыре, все mini Display Port. DGX STATION A100 отлично подходит для малых рабочих групп и предприятий. В том числе благодаря тому, что функция MIG позволяет эффективно разделить ресурсы станции между почти тремя десятками пользователей. В продаже она появится у партнёров компании в феврале следующего года.

Вероятно, все выпускаемые сейчас A100 c увеличенным объёмом памяти идут на более важные проекты. Новинкам предстоит конкурировать с первым ускорителем на базе новой архитектуры CDNA — AMD Instinct MI100.

Постоянный URL: http://servernews.ru/1025432
Система Orphus