Материалы по тегу: nvidia

07.08.2020 [12:32], Владимир Мироненко

NVIDIA выпустила инструментарий для разработчиков HPC SDK

Компания NVIDIA объявила о выходе комплекта инструментов для разработки программного обеспечения для высокопроизводительных вычислений HPC SDK, анонсированного ранее в этом году на конференции GTC 2020. NVIDIA HPC SDK призван упростить развёртывание рабочих нагрузок HPC не только на графических чипах NVIDIA, но и на CPU.

SDK содержит компиляторы C++ и Fortran на основе программной инфраструктуры LLVM, включая поддержку автоматического ускорения с помощью графического процессора кода на C++ 17 (также известного как C++1z) с использованием параллельных алгоритмов и встроенных функций Fortran, что ранее было недоступно в Standard C++ без применения дополнительных библиотек или расширений языка.

NVIDIA HPC SDK также поддерживает OpenMP, открытый стандарт для распараллеливания программ на языках Си, Си++ и Fortran, и программный стандарт для параллельного программирования OpenACC, математические библиотеки, оптимизированные для NVIDIA, интерфейс для параллельного программирования NVSHMEM на базе OpenSHMEM, а также другие общие библиотеки и инструменты разработки/отладки.

SDK можно загрузить с сайта developer.nvidia.com. Первый выпуск — NVIDIA HPC SDK версии 20.7, полностью ориентированный на Linux, со сборками для x86_64, OpenPOWER и AArch64.

Постоянный URL: http://servernews.ru/1017667
07.08.2020 [08:30], Юрий Поздеев

NVIDIA ставит рекорды на рынке Ethernet-адаптеров для ЦОД

Среди списка технологических сегментов, рост которых вызван пандемией, есть и сегмент программируемых адаптеров Ethernet, которые используют поставщики облачных услуг, поскольку последние стремятся удовлетворить потребности в полосе пропускания, создаваемые сотрудниками, работающими вне офиса.

Бум серверов и адаптеров Ethernet также ускорил развертывание программируемых NIC: подразделение NVIDIA Mellanox сообщило о 96-процентном росте квартальной выручки по сравнению с прошлым годом. Рыночный трекер Omdia сообщает, что доходы от адаптеров NVIDIA Networking (ранее Mellanox Technologies) в первом квартале 2020 года составили $136 млн, что больше, чем когда-либо зарегистрированные доходы любого из поставщиков адаптеров Ethernet.

Стремительный рост числа развертываний серверов в центрах обработки данных повысил спрос и на программируемые адаптеры Ethernet, что позволило поставщикам облачных услуг увеличить средний доход на порт. Broadcom, Xilinx и Marvell Technology сообщили о повышении спроса на адаптеры 25GbE — на них приходится примерно 35% от общего количества портов в дата-центрах.

Программируемые адаптеры Ethernet позволяют разгрузить центральный процессор, предоставляя при этом функции виртуальной коммутации и шифрования. В этом случае на одном сервере можно разместить больше виртуальных машин или контейнеров, что позволяет увеличить доход с сервера для поставщиков облачных услуг.

По прогнозам аналитиков Omdia выручка от поставки сетевых адаптеров в 2020 году вырастет на 20%, причем к 2024 году рост выручки будет только ускоряться за счет поставок серверов и внедрения высокоскоростных программируемых адаптеров. Если прогнозы Omdia верны, то к 2024 году рынок программируемых сетевых адаптеров достигнет 2,3 миллиарда долларов. Подобные решения будут включать FPGA, SoC или иные блоки, которые могут взять на себя обработку трафика определённых приложений.

Подразделение NVIDIA Mellanox извлекло максимальную прибыль от инвестиций в центры обработки данных и предприятий в программируемые адаптеры Ethernet 25, 100 и 200 Гбит/с. Ждем ответа от Intel, которая занимает вторую строчку в рейтинге Omda. Компания более года назад анонсировала 100GbE-адаптеры Intel 800, поставки которых задержались.

Постоянный URL: http://servernews.ru/1017650
04.08.2020 [22:35], Илья Коваль

Очередная попытка «обойти» GPL в Linux: подсистема NetGPU не попадёт в основную ветку ядра

Насколько далеко и глубоко должна распространяться «вирусность» лицензий GPL, вопрос почти философский. В особенности, когда речь идёт о сложных программных комплексах, где от проприетарных разработок, вплотную взаимодействующих с открытыми, избавиться непросто. Для таких случаев придуманы обходные пути, которые нередко пытаются эксплуатировать не слишком корректным образом.

Например, в ядре Linux для проприетарных драйверов принято использовать небольшую прослойку между, которая, по большому счёту, занимается трансляцией обращений драйвера к ядру. Такая прослойка имеет открытый код, так что все необходимые формальности по взаимодействию с остальным кодом под лицензией GPL в Linux соблюдены. Впрочем, противники такого формального подхода появились сразу же после его внедрения.

Масла в огонь подлил недавний набор патчей от одного из инженеров Facebook, реализующий новую подсистему NetGPU, которая сама по себе, к слову, весьма интересна. Она позволяет организовать прямой обмен данными между сетевым адаптером и GPU, оставляя за центральным процессором только обработку протокола. Собственно говоря, на базе этой подсистемы можно сделать достаточно общую реализацию RDMA для обмена данными между GPU или с внешней СХД.

Основная проблема конкретного этого набора патчей в том, что он намертво привязан к проприетарным драйверам NVIDIA, но при этом пытается попасть в основную ветку ядра Linux, куда нужные драйверы, естественно, не входят. Разработчик оправдывает такой шаг тем, что, возможно, когда-нибудь появятся реализации и для открытых драйверов AMD, Intel или той же NVIDIA. Грег Кроа-Хартман (Greg Kroah-Hartman), отвечающий за сопровождение стабильной ветви ядра, предложил автору заручиться подписью юриста и использовать корпоративный адрес, чтобы было понятно, кому потом можно будет переадресовать возможные претензии. Ну а пока NetGPU официальными путями в ядро не попадёт.

Другой известный разработчик Linux, Кристофер Хеллвиг (Christoph Hellwig), знаменитый тем, что когда-то инициировал иск к VMware по поводу возможного нарушения GPL, выразился несколько более грубо, но прямо, назвал автора патчей троллем и в очередной раз предложил навсегда избавиться от подобных прослоек, подготовив свою серию патчей для их блокировки.

Постоянный URL: http://servernews.ru/1017441
30.07.2020 [12:47], Юрий Поздеев

NVIDIA наращивает выручку в серверном сегменте и ставит новые ИИ-рекорды с GPU A100

NVIDIA пользуется растущим спросом на свои графические ускорители на базе Ampere со стороны операторов центров обработки данных, включая Amazon Web Services (AWS), Baidu и Microsoft, при этом доходы от бизнеса центров обработки данных приближаются к доходам от игрового сегмента.

Ранее NVIDIA сообщила о выручке в размере 3,08 млрд долларов за первый финансовый квартал, закончившийся 26 апреля 2020 года, что на 39% больше по сравнению с аналогичным периодом прошлого года, при этом чистая прибыль увеличилась на 133% по сравнению с аналогичным периодом прошлого года, достигнув 917 млн долларов. Доход от игрового бизнеса NVIDIA составил 1,34 млн долларов, увеличившись на 27% по сравнению с прошлым годом, в то время как сегмент дата-центров принес компании 1,14 млн долларов, увеличившись на 80% по сравнению с прошлым годом, впервые превысив отметку в 1 млрд долларов.

Закрепить успех на серверном направлении компании помогут свежие ИИ-тесты MLPerf.org, в которых решения NVIDIA продемонстрировала отличные результаты, установив 16 новых рекордов среди коммерчески доступных систем. Составить конкуренцию на ниве ИИ может Google, которая представила ранние тесты своего тензорного ускорителя TPU 4.0, показавшего очень хорошие результаты в MLPerf 0.7. NVIDIA, тем не менее, продемонстрировала преимущество в восьми тестах:

Для решения DGX SuperPOD (кластер из DGX A100, подключенных через HDR InfiniBand 200 Гбит/с), также были установлены восемь новых рекордов. Прирост производительности обеспечивался не только за счет более мощных ускорителей, но и за счет улучшений в программном обеспечении (CUDA graphs и библиотек CUDA-X), в котором реализована определение повторяющихся вычислений и оптимизация кода.

Анализ результатов отчета MLPerf не самая простая задача. Результаты тестов можно разделить на четыре категории, в зависимости от доступности тестируемых образцов:

  • Доступные в облаке: системы, доступные для аренды в одном из облачных сервисов;
  • Доступные для покупки: образцы, которые клиенты могут свободно приобрести;
  • Системы в предварительном доступе: в дальнейшем эти системы должны быть представлены либо в облаке, либо доступными для покупки;
  • Исследовательские: системы содержат экспериментальные аппаратные или программные компоненты, либо уже доступные компоненты, объединенные в большой кластер.

Набор тестов MLPerf Training измеряет время, необходимое для прохождения одной из восьми моделей машинного обучения для достижения результатов с установленной точностью в таких задачах, как классификация изображений, рекомендации, перевод и игра в Го. Последняя версия MLPerf включает в себя два дополнительных теста и один существенно переработанный:

  • BERT: двунаправленное представление кодировщика от Transformers (Bert), обученного в Википедии — это передовая языковая модель, широко используемая в задачах обработки естественного языка. При вводе текста языковые модели предсказывают родственные слова и используются для построения текста в результатах поиска, ответов на вопросы и автоматического создания текстов;
  • DLRM: модель рекомендаций по глубокому обучению, с использованием набора данных CTR (Criterio AI Lab), представляет широкий спектр коммерческих приложений, типичными примерами являются рекомендации для онлайн-покупок, результаты поиска и рейтинг контента в социальных сетях;
  • Mini-Go: обучение в игре Го, но с использованием полноразмерной доски 19×19, чтобы повысить сложность модели.

Из девяти компаний, представивших результаты в тестах MLPerf, семь использовали графические ускорители NVIDIA, включая поставщиков облачных услуг (Alibababa Cloud, Google Cloud, Tencent Cloud) и производителей серверов (Dell, Fujitsu и Inspur), что показывает, как разнообразна экосистема NVIDIA. Результаты, продемонстрированные NVIDIA в тестах MLPerf, действительно впечатляющие, во многом это стало возможным обновлению ПО и обновленной архитектуре Ampere.

Постоянный URL: http://servernews.ru/1016990
22.07.2020 [17:44], Владимир Мироненко

NVIDIA и Университет Флориды построят самый быстрый в сфере высшего образования ИИ-суперкомпьютер

Университет Флориды и чипмейкер NVIDIA объявили о планах по созданию самого быстрого в мире в сфере высшего образования суперкомпьютера для искусственного интеллекта, обеспечивающего производительность в пределах 700 петафлопс.

Главным источником финансирования данного проекта стали пожертвования со стороны NVIDIA, предоставившей безвозмездно для проекта оборудование, программное обеспечение и услуги по обучению на общую сумму $25 млн, а также выпускника университета и соучредителя NVIDIA Криса Малаховски (Chris Malachowsky), вложившего $25 млн. Университет Флориды направит $20 млн на строительство ЦОД с акцентом на применение ИИ.

Итоговая стоимость проекта составила $70 млн. Реализация проекта позволит Университету Флориды улучшить свой нынешний суперкомпьютер HiPerGator с помощью NVIDIA. Обновлённый суперкомпьютер будет запущен к началу 2021 года.

HiPerGator третьего поколения получит доступ к самому современному программному обеспечению ИИ от NVIDIA и будет использовать 140 систем NVIDIA DGX A100 с 1120 графическими процессорами NVIDIA A100 и интерконнектом Mellanox HDR InfiniBand, обеспечивающим скорость передачи данных на уровне 200 Гбит/с.

Постоянный URL: http://servernews.ru/1016337
08.07.2020 [14:54], Юрий Поздеев

Google запустила новые инстансы с NVIDIA A100

Google стала первым облачным провайдером, предложившим поддержку NVIDIA A100 в своих виртуальных машинах по подписке. В Google Compute Engine (пока в альфа-версии) теперь есть семейство инстансов Accelerator Optimized VM A2, основанное на графических ускорителях NVIDIA A100.

Мы уже писали про ускорители NVIDIA A100, которые обеспечивают производительность обучения и вычислений в 20 раз больше, чем прежние модели, что позволяет значительно ускорить рабочие нагрузки ИИ. Google объявила, что в будущем Google Kubernetes Engine, Cloud AI Platform и другие облачные сервисы тоже получат поддержку NVIDIA A100.

В новых инстансах Alpha Google Compute Engine пользователям доступны до 16 графических ускорителей NVIDIA A100, которые подключены через NVSwitch, таким образом это не PCI-карты, а полноценная архитектура с использованием NVLink. Анонс подобных инстансов от Google был вполне ожидаем, ведь в своей презентации NVIDIA на слайде с системой HGX A100 уже упоминала Google Cloud, поэтому появление виртуальных машин с A100 было делом времени.

Мы ожидаем, что в ближайшее время Amazon и Microsoft сделают аналогичные анонсы. На данный момент у Google доступны следующие инстансы с A100:

Будем следить за анонсами от облачных провайдеров, так как услуга по аренде вычислительных мощностей для ИИ очень востребована, и спрос на подобные решения в ближайшее время будет только расти.

Постоянный URL: http://servernews.ru/1015149
30.06.2020 [14:17], Сергей Карасёв

AMD и NVIDIA наращивают выручку в серверном сегменте

Продукты для серверов и центров обработки данных (ЦОД) вносят всё больший вклад в общий размер выручки компаний AMD и NVIDIA, ведущих разработчиков графических процессоров. По крайней мере, именно такие данные приводят аналитики DigiTimes Research.

Иллюстрации Reuters

Иллюстрации Reuters

По оценкам, в 2019 году ЦОД-направление принесло NVIDIA приблизительно $2,98 млрд дохода. Это практически в три раза больше по сравнению с результатом компании AMD, выручка которой в соответствующем сегменте составила около $1,0 млрд.

Вклад серверного направления в суммарный размер дохода NVIDIA устойчиво увеличивается. Так, в 2019 финансовом году его доля составляла около 25,0 %. В 2020-м финансовом году, который завершился 26 января, соответствующий показатель достиг 27,4 %. А в первом квартале 2021 финансового года (был закрыт 26 апреля) эта величина и вовсе составила 37,0 %.

Компания AMD также рассчитывает на рост выручки в серверном сегменте. Способствовать этому будет увеличивающаяся востребованность систем высокопроизводительных вычислений в свете стремительного развития искусственного интеллекта и машинного обучения.

В целом, как отмечается, AMD и NVIDIA рассчитывают на хорошие продажи в серверном сегменте по итогам второго квартала текущего года, несмотря на пандемию и сложную экономическую обстановку. 

Постоянный URL: http://servernews.ru/1014580
22.06.2020 [17:06], Алексей Степин

ISC 2020: платформа NVIDIA UFM Cyber-AI минимизирует простои в ЦОД

Сегодня началась конференция ISC High Performance 2020. К сожалению, в этом году мероприятие приходится проводить в онлайн-формате — победа над COVID-19 ещё не одержана. Но уже анонсирован ряд любопытных решений. Одно из них — новая платформа UFM Cyber-AI, разработанная NVIDIA при участии её нового подразделения Mellanox.

Эта платформа ставит своей целью минимизировать возможные простои в центрах обработки данных из-за проблем с аппаратной частью, сетями, либо информационной безопасностью.

Любой современный ЦОД, суперкомпьютер или кластер представляют собой совокупность большого количества стандартных «строительных блоков», обычно в классическом стоечном формате. Все эти «кубики», включающие в себя вычислительные узлы, системы хранения данных, сетевые коммутаторы, а также подсистемы питания и охлаждения, соединены между собой и работают как единое целое.

Эксплуатация такой системы стоит приличных денег и в интересах её владельца обеспечить максимальное время полезной работы при минимальном времени простоя из-за отказов тех или иных компонентов. По данным ITIC, стоимость часа простоя легко может обойтись более чем в $300 тысяч. Но при таком количестве компонентов не всегда помогает даже дублирование и горячая замена комплектующих. С этим-то и предлагает бороться NVIDIA с помощью современных технологий машинного интеллекта.

Поведение систем, входящих в комплекс ЦОД, подчиняется определённым закономерностям и при должном уровне накопления данных солидную часть потенциальных проблем можно предсказать, а значит, и предотвратить — например, путём опережающей замены того или иного блока. Именно такого рода предсказаниям и должна заниматься система UFM Cyber-AI, созданная на основе разработок Mellanox.

Сама технология не нова, принципы, заложенные в ней, применялись Mellanox в сетевых решениях на базе InfiniBand, очень популярного в мире суперкомпьютеров интерконнекта. Платформа UFM Cyber-AI является расширением UFM Enterprise. За сбор информации отвечает третий компонент, UFM Telemetry. Вместе они отслеживают все имеющие значение параметры, от температур и изменений конфигурации в системе до поведения сетевой части — уровня трафика, загруженности и т.п. Выявляются закономерности, отмечаются моменты проседания производительности и прочие отклонения.

Процесс работы и панели мониторинга и управления комплекса NVIDIA UFM

На основе профиля поведения ЦОД UFM Cyber-AI может предсказывать грядущие проблемы, а значит, их можно избежать и исправить ситуацию, не останавливая работу систем. От этого выигрывают все: владельцы избегают потерь при простое, снижается стоимость эксплуатации, пользователи не страдают от того, что их задачи внезапно перестают выполняться.

UFM — это программно-аппаратный комплекс, аналитика Cyber-AI выполняется на отдельных серверах. Платформа UFM поддерживает интеграцию с уже имеющимися в ЦОД средствами мониторинга и управления, включая Slurm и Platform LFM, также имеется интеграция с OpenStack, Azure Cloud и VMWare. Более подробные описания есть на сайте NVIDIA.

Постоянный URL: http://servernews.ru/1013952
22.06.2020 [16:01], Юрий Поздеев

Представлены серверы с поддержкой нового GPU NVIDIA A100 PCIe

NVIDIA представила A100 в форм-факторе AIC с PCIe, в дополнение к SXM4-версии, которая была представлена в прошлом месяце. Ведущие мировые производители серверов объявили о начале выпуска систем на базе новой NVIDIA A100 в различных конфигурациях для решения самых сложных задач в области ИИ, научных исследований и математических расчетов.

Более 50 производителей серверов на базе NVIDIA A100, включая ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, HPE, Lenovo и другие выпустят системы на базе A100 уже этим летом, но из-за высокого спроса на графические ускорители, некоторые производители отложат выпуск систем на конец года.

В болшинстве случаев анонс касается поддержки со стороны уже имеющихся популярных платформ, как на базе Intel Xeon, так и на базе AMD EPYC. Впрочем, есть и некоторые любопытные решения. Например, GIGABYTE анонсировала сервер G492, построенный на базе двухпроцессорной конфигурации AMD EPYC с поддержкой PCIe 4.0.

Данный сервер может разместить в себе до 10 NVIDIA A100, при этом для связи GPU между серверами используется GPUDurect RDMA. В остальном это обычный сервер для HPC (если слово «обычный» тут уместно), поддерживающий до 8 Тбайт оперативной памяти, 12 накопителей форм-фактора 3,5" (из них 8 NVMe), три блока питания по 2200 Вт каждый.

Если нужна машина поменьше, то ASUS недавно анонсировала ECS4000A E10 — компактный сервер в форм-факторе 2U, который построен на базе однопроцессорной платформы AMD EPYC 7002. Сервер имеет 11 разъемов PCIe 4.0, однако полноразмерных ускорителей NVIDIA A100 в корпусе можно разместить только четыре. На лицевой панели расположены 8 отсеков под диски 3,5", половину из которых можно использовать под NVMe. 

Не забывают в NVIDIA и про оптимизацию ПО: обновление получили CUDA 11 и более 50 библиотек CUDA-X, NVIDIA Jarvis, NVIDIA Merlin, Rapids и NVIDIA HPC SDK. Использование нового ПО позволит клиентам создавать и ускорять приложения в HPC, науке, медицине, 5G и других отраслях.

Постоянный URL: http://servernews.ru/1013925
22.06.2020 [12:39], Илья Коваль

NVIDIA представила PCIe-версию ускорителя A100

Как и предполагалось, NVIDIA вслед за SXM4-версией ускорителя A100 представила и модификацию с интерфейсом PCIe 4.0 x16. Обе модели используют идентичный набор чипов с одинаковыми характеристикам, однако, помимо отличия в способе подключения, у них есть ещё два существенных отличия.

Первое — сниженный с 400 Вт до 250 Вт показатель TDP. Это прямо влияет на величину устоявшейся скорости работы. Сама NVIDIA указывает, что производительность PCIe-версии составит 90% от SXM4-модификации. На практике разброс может быть и больше. Естественным ограничением в данном случае является сам форм-фактор ускорителя — только классическая двухслотовая FLFH-карта с пассивным охлаждением совместима с современными серверами.

Второе отличие касается поддержки быстрого интерфейса NVLink. В случае PCIe-карты посредством внешнего мостика можно объединить не более двух ускорителей, тогда как для SXM-версии есть возможность масштабирования до 8 ускорителей в рамках одной системы. С одной стороны, NVLink в данном случае практически на порядок быстрее PCIe 4.0. С другой — PCIe-версия наверняка будет заметно дешевле и в этом отношении универсальнее.

Производители серверов уже объявили о поддержке новых ускорителей в своих системах. Как правило, это уже имеющиеся платформы с возможностью установки 4 или 8 (реже 10) карт. Любопытно, что фактически единственным разумным вариантом для плат PCIe 4.0, как и в случае HGX/DGX A100, является использование платформ на базе AMD EPYC 7002.

Постоянный URL: http://servernews.ru/1013927
Система Orphus