Лента новостей

20.11.2019 [18:48], Сергей Карасёв

Дефицит кадров: менее 4 % IT-специалистов в Европе соответствуют современным требованиям

Исследование, проведённое компаниями IDC и Microsoft, говорит о том, что в Центральной и Восточной Европе, включая Россию, наблюдается острая нехватка современных IT-кадров.

Опрос проводился в шести странах — Чешской Республике, Греции, Венгрии, Польше, Румынии и России. Он хватил сотни компаний и организаций, штат которых насчитывает больше десяти сотрудников.

Выяснилось, что всего 3,5 % специалистов в области информационных технологий имеют необходимые навыки и опыт для цифровой трансформации. Причём наиболее сильно нехватка квалифицированных IT-кадров ощущается в компаниях, внедряющих облачные технологии.

IDC

IDC

Исследование показало, что большинство компаний Центральной и Восточной Европы хорошо осведомлены о цифровой трансформации. Однако лишь 13 % компаний и организаций уже активно внедряют современные технологии или имеют стратегию цифровой трансформации бизнеса. Любопытно, что почти столько же — 10,5 % — не считают цифровую трансформацию необходимой.

«Активный процесс цифровой трансформации организаций и предприятий привёл к возникновению существенного разрыва между спросом на определённые квалификации специалистов и предложением. Это может повлиять на конкурентоспособность компаний», — говорят аналитики IDC. 

Постоянный URL: https://servernews.ru/998097
20.11.2019 [13:55], Игорь Савкин

Банк ВТБ внедряет технологии речевой аналитики для улучшения качества обслуживания

Банк ВТБ объявил об успешном завершении пилота автоматизированного контроля с компанией Voca Tech.

Компания предлагает решение, которое обеспечивает фиксацию голоса сотрудника с использованием технологий beamforming и voice activity detection. Технологии речевой аналитики позволяют банку держать под контролем уровень качества взаимодействия сотрудников с клиентами. Также анализ работы каждого сотрудника поможет оценить эффективность текущей методологии продаж, определить пути её улучшения.

Отмечается, что анализ консультаций специалистов банка позволяет определить точки роста качества обслуживания клиентов и приблизиться к построению оптимальной методологии продаж.

Решение Voca Tech соответствует требованиям встраивания технологии в целевую IT-архитектуру ВТБ, обновление которой является стратегически важной задачей для банка. Сообщается, что технологические инновации станут основной стратегией банка в ближайшие три года.

Постоянный URL: https://servernews.ru/998070
20.11.2019 [10:41], Алексей Степин

SC19: компактный суперкомпьютер ScaleMatrix AI Anywhere можно развернуть где угодно

Не так много времени прошло с тех пор, когда суперкомпьютеры были огромными машинами, занимавшими целый зал, а то и не один. Строились такие монстры годами, ввод в эксплуатацию тоже не всегда был прост и занимал достаточно много времени.

А сегодня система с аналогичными суперкомпьютерам недавнего прошлого возможностями занимает совсем немного места и может быть быстро развёрнута практически где угодно, как утверждает компания ScaleMatrix.

На выставку, сопутствующую конференции SC19, ScaleMatrix привезла компактные модульные платформы с говорящим названием AI Anywhere, способный предложить уровень производительности 8 или 13 петафлопс в весьма скромных габаритах. В основе новой разработки лежат шасси DDC Cabinet Technology серии S с интегрированной гибридной водо-воздушной системой охлаждения.

При габаритах основания всего 61 × 201 сантиметр и высоте 288 сантиметров эти шасси вмещают до 45 стандартных «юнитов» и могут обеспечить устанавливаемую начинку мощностью от 17 до 52 киловатт, в зависимости от комплектации. Если верить анонсу компании-разработчика, для развёртывания AI Anywhere достаточно крыши и подведённого к месту установки трёхфазного питания.

Основой новых систем являются вычислительные серверы NVIDIA DGX-1 (40960 ядер Volta, 1 Пфлопс) или DGX-2 (81920 ядер Volta, 2 Пфлопс), причём в обоих случаях используются ускорители Tesla V100 с быстрой шиной NVLink 2.0. Таких серверов в системе AI Anywhere несколько, за «общение» между ними отвечает коммутатор Mellanox класса 100GbE, а за хранение данных ‒ система NetApp A800, базирующаяся на флеш-памяти.

Дополнительно в системе присутствует сервер Microway TwinPro 2U, отвечающий за вход в систему и берущий на себя функции управления и функционирования инфраструктуры Kubernetes. В комплектацию входит также микроканальный чиллер, способный отвести и рассеять до 52 киловатт тепла.

DDC R-Mobile: 24U, ещё более компактное решение, нежели AI Anywhere

DDC R-Mobile: 24U, ещё более компактное решение, нежели AI Anywhere. Вмещает четыре сервера NVIDIA DGX-1.

Аппаратное обеспечение мертво без ПО и настройки, и ScaleMatrix предоставляет полный спектр услуг, связанных с установкой, наладкой и вводом в эксплуатацию систем AI Anywhere. Система поставляется с менеджером заданий SLURM, комплексом контейнеризации Kubernetes, а также средствами управления Ansible. За визуализацию отвечает Grafana, за мониторинг системы ‒ Prometheus.

DDC R-1000: «кластер в ящике». В данной модели использованы серверы HPE Apollo KL20 на базе Intel Xeon Phi (Knights Landing)

Комплекс услуг также включает в себя трёхлетнее профессиональное сопровождение. ScaleMatrix утверждает, что система AI Anywhere стоит дешевле аналогичных по мощности решений других поставщиков. Стоимость базовой платформы составляет $1,626 миллиона, в эту цену входят шасси, флеш-хранилище, система охлаждения, сетевая инфраструктура и серверы управления. Вычислительное «ядро» стоит от $921 тысячи до $1,84 миллиона, в зависимости от комплектации и количества ускорителей V100 (от 32 до 104). Таким образом, цена самого мощного варианта AI Anywhere не превышает $3,5 миллиона.

В сравнении с суперкомпьютерами прошлых поколений это небольшая цена, особенно с учётом компактности и вычислительных возможностей AI Anywhere. Также на выставке были продемонстрированы и другие компактные вычислительные решения на базе шасси производства DDC Cabinet Technology, которая является подразделением ScaleMatrix.

Постоянный URL: https://servernews.ru/998022
20.11.2019 [10:00], Андрей Созинов

SC19: серверные ARM Marvell ThunderX «подружились» с ускорителями NVIDIA

Компания Marvell объявила о том, что её серверные ARM-процессоры семейства ThunderX получили поддержку графических процессоров NVIDIA. Именно на базе этих CPU и работает референсная платформа ARM + NVIDIA

По словам Marvell, вычислительная производительность и пропускная способность памяти процессоров ThunderX2 в сочетании с производительностью параллельных вычислений графических процессоров NVIDIA открывают путь к энергоэффективным вычислениям экзафлопсного уровня.

Marvell работала совместно с NVIDIA над портированием библиотек CUDA-X AI и HPC, над оптимизацией ИИ-фреймворков и инструментов для разработки программного обеспечения на платформе ThunderX. Поддержка всего пакета ПО NVIDIA обеспечит системам на процессорах ThunderX2 возможность использовать GPU для ускорения более 600 HPC-приложений и ИИ-фреймворков.

На стенде One Stop Systems была показана эталонная система со ускорителями Tesla и центральными процессорами с архитектурой ARM. Она включает два узла: один с парой 32-ядерных процессоров ThunderX2 и возможностью установки до 4 Тбайт памяти, а другой с восемью ускорителями Tesla V100, подключённых через NVLink.

Помимо вычислительных кластеров, совместимость ARM-процессоров и графических процессоров может пригодиться и в других областях. Например, на своём стенде на SC19 компания Marvell продемонстрировала рабочую станцию на ThunderX2 и неких ускорителях (каких именно, не уточняется). Такая система позиционируется в качестве решения для высокопроизводительных вычислений и работы с графикой.

Многие производители планируют создать собственные системы с центральными процессорами Marvell и графическими процессорами NVIDIA. Отметим, что системы на базе ARM-процессоров Marvell ThunderX2 имеются в ассортименте таких крупных вендоров как HPE, Atos, Cray и Gigabyte.

Вычислительный узел на ARM и NVIDIA

Вычислительные узлы на ARM и NVIDIA

В небольшом комментарии вице-президент Marvell отметил, что считает программную экосистему ARM достаточно зрелой в области HPC. И речь не только о ПО с открытым исходным кодом. В частности, ведётся разработка коммерческих компиляторов и иных средств разработки. Большая работа была проделана Cray и HPE, так как они первыми начали использовать ThunderX2 в высокопроизводительных узлах. Всего за два года ситуация кардинально изменилась и Marvell надеется на светлое будущее. Увы, никакой дополнительной информации о грядущих ThunderX3 и X4 сообщено не было. 

Постоянный URL: https://servernews.ru/998035
20.11.2019 [09:26], Алексей Степин

SC19: новые HPC и системы хранения данных Tyan

Компания Tyan входит в число крупнейших и наиболее известных поставщиков серверного оборудования. Обойти вниманием такое событие, как SC19, она, разумеется, не могла и привезла на выставку новые платформы для HPC и систем хранения данных.

Конец года для производителей оборудования такого класса, пожалуй, можно назвать проходящим под знаком AMD, поскольку главными новинкам Tyan также стали решения на базе процессоров EPYC второго поколения.

Так, решения серии Transport HX компания позиционирует в качестве серверов для задач класса mission critical. Серию открывает модель TN83-B8251, имеющая 8 полноразмерных дисковых отсеков с поддержкой U.2 NVMe. Поддерживается установка восьми однослотовых плат ускорителей, либо четырёх, но с полноразмерной системой охлаждения. Дополнительно в систему можно установить две дополнительные высокоскоростные сетевые карты. Полностью поддерживается режим PCI Express 4.0.

Tyan Transport HX TN83-B8251

Серверы TS75A-B8252 и TS75A-B8252 также выполнены в корпусе высотой 2U. Эти решения предназначены для использования в качестве HPC-узлов или платформ виртуализации. Они имеют по 9 слотов PCIe 4.0 и по 32 разъёма DIMM. Отличаются же системы конфигурацией дисковой части.

Tyan  Transport HX  TN83-B8251 вблизи

В обычной версии предусмотрено 12 отсеков формата 3,5″, четыре из которых поддерживают установку накопителей U.2 NVMe, а версия с суффиксом «А» в модельном номере оснащена 26 отсеками формата 2,5″. Количество поддерживаемых накопителей с интерфейсом NVMe здесь увеличено до восьми.

Tyan Transport HX TS75A-B8252: версия с 26 дисковыми отсеками (8 из них поддерживают NVMe)

Серия Transport SX предназначается, главным образом, для систем, требующих хранения больших объёмов данных. Эти серверы имеют только один процессорный разъём AMD SP3 и 16 слотов для установки модулей памяти. Модель TS65-B8036 в корпусе 2U имеет 12 отсеков формата 3,5″ в передней части и два дополнительных отсека 2,5″ в задней. Два отсека 3,5″ сконфигурированы под установку накопителей NVMe, остальные 10 поддерживают диски SATA.

Tyan Transport SX TS65A-B8036: 1 процессор, 26 дисков (16 из них NVMe)

Есть также вариант TS65A-B8036 с 26 фронтальными отсеками для установки накопителей формата 2,5″. Он может быть сконфигурирован как «26 дисков SATA», либо «10 SATA + 16 NVMe». Такой вариант идеально подходит для систем потокового вещания или любой другой задачи, требующей серьёзных объёмов данных.

Tyan привезла на выставку огромное количество новых системных плат

А вот модели GC68-B8036 и GC68A-B8036 нацелены на использование в сфере телекоммуникаций. Провайдеры всё большее внимание уделяют повышению вычислительной плотности и энергоэффективности, и тут новые модели Tyan Transport SX подойдут как нельзя лучше. Они выполнены в компактных корпусах 1U. Как обычно, модель GC68-B8036 поддерживает установку 4 накопителей формата 3,5″ и двух ‒ формата 2,5″, а модель GC68A-B8036 имеет 12 дисковых отсеков 2,5″, причём все из них могут работать с накопителями NVMe.

Tyan Tomcat SX S8036: для серверов

Компания также привезла на выставку ряд новых системных плат с поддержкой процессоров AMD EPYC второго поколения. Все новые модели Tomcat имеют только один процессорный разъём, зато могут устанавливаться, в зависимости от модели, в корпуса ATX, либо EATX. Плата Tomcat SX S8036 является самой крупной (12″ × 13″, EATX). Её назначение явно серверное, поскольку привычных слотов PCIe на плате нет, вместо этого предусмотрена пара слотов для райзеров PCIe x24 и 8 разъёмов PCIe x8 SlimSAS.

Tyan Tomcat HX S8030 (cлева) и EX S8020 подходят для создания рабочих станций и имеют формат ATX

А вот платы Tomcat HX S8030 и Tomcat EX S8020 уже можно использовать и для сборки рабочих станций. Старшая модель имеет 5 полноразмерных слотов PCIe 4.0 x16 и два разъёма PCIe x8 SlimSAS, а младшая 4 слота PCIe, но ограниченных версией 3.0. Все новые платы дополнительно оснащены двумя разъёмами M.2. У младшей модели поддержка памяти DDR4 ограничена частотой 2933 МГц, остальные могут использовать модули с частотой 3200 МГц. Зато EX S8020 несёт на борту интегрированную звуковую подсистему, что делает её более подходящей для некоторых версий рабочих станций.

Помимо описанных в заметке продуктов, Tyan также демонстрирует в своём павильоне и множество других изделий, например, целый ряд одно- и двухпроцессорных системных плат с разъёмом LGA3647 и поддержкой процессоров Intel Xeon Scalable нового поколения.

Постоянный URL: https://servernews.ru/998007
20.11.2019 [08:49], Алексей Степин

SC19: новые серверы GIGABYTE для сферы машинного обучения

Сфера машинного обучения и ИИ-сервисов переживает бурный расцвет. Неудивительно, что разработчики новых ИИ-процессоров и производители серверного оборудования наперебой спешат представить свои новинки на проходящей сейчас конференции SC19.

Одним из таких производителей стала компания GIGABYTE ‒ она, как и большинство других производителей игрового «железа», имеет в своём составе и серверное подразделение. На выставку GIGABYTE привезла множество новых систем, которые пополнят серию серверов G-Series.

Второе поколение процессоров AMD EPYC позволило существенно уплотнить вычислительные мощности благодаря наличию новых 64-ядерных моделей. GIGATYTE воспользовалась этим и в числе прочего представила модели серверов G292-Z22 и G292-Z42 с одним и двумя процессорными разъёмами соответственно. Системы компактны, они используют корпуса высотой всего 2U, но при этом поддерживают установку до восьми ускорителей, таких, как NVIDIA Tesla V100. Имеется также 8 дисковых отсеков формата 2,5″, часть из которых поддерживает 2 либо 4 накопителя с интерфейсом NVMe.

GIGABYTE G292-Z20: один EPYC, восемь ускорителей в боковых тоннелях. Поддерживается PCIe 4.0

Несмотря на компактность, эти системы имеют очень продуманную систему охлаждения. Процессоры в серверах такого класса вырабатывают отнюдь не основную долю тепла, а главным источником являются ускорители, будь то GPU или специализированные чипы. Поэтому платы ускорителей размещаются в двух параллельных и прекрасно продуваемых тоннелях слева и справа от системной платы.

GIGABYTE G242-Z10: вид вблизи

Пока речь идёт о поддержке PCIe 3.0, но в начале следующего года GIGABYTE представит модели G292-Z20 и G292-Z40, в которых будет задействована шина PCIe 4.0. Но на выставке SC19 эти новинки уже демонстрируются, как и совсем компактная модель G242-Z10, также с поддержкой нового стандарта. Несмотря на малые габариты, эта модель может вместить в себя четыре полноразмерных ускорителя. Выставочный экземпляр был оснащён платами Radeon Instinct.

GIGABYTE G242-Z10: самый компактный вариант с четырьмя полноразмерными Radeon Instinct с интерфейсом PCIe 4.0

Следующие новинки, серверы G482-Z50 и G482-Z51, уже нельзя назвать компактными: они используют корпуса высотой 4U. Первая модель интересна тем, что поддерживает установку уже 10 плат-ускорителей, причём, каждые 5 из них общаются с процессором через коммутатор PCIe, поддерживающий прямую передачу данных от GPU к GPU. Развита здесь и подсистема хранения данных: имеется 12 полноразмерных отсеков SATA/SAS и 10 отсеков формата 2,5″ с поддержкой SATA/SAS либо NVMe. По сути, это готовая универсальная платформа, отлично подходящая и для задач машинного обучения.

GIGABYTE G482-Z51: отличная платформа для машинного обучения. До 8 ускорителей Radeon Instinct, поддержка PCIe 4.0

А вот в модели G482-Z51 возможности, на первый взгляд, несколько скромнее: мест для установки плат-ускорителей тут всего 8, но зато этот сервер является одним из первых на рынке x86-серверов с «родной» поддержкой PCIe 4.0 ‒ здесь карты подключаются напрямую к центральным процессорам. Эту систему GIGABYTE считает идеально подходящей для комплектации ускорителями AMD Radeon Instinct MI50, которые как раз поддерживают новый стандарт PCIe и при установке восьми карт могут обеспечить производительность до 216 Тфплос в задачах обучения, использующих формат FP16.

GIGABYTE G482-Z51, вид сверху. 16 слотов DIMM на процессор не оставят систему без памяти. В левом нижнем углу - скоростной сетевой адаптер

Компания также представила в новой серии «лезвие» T181-Z70. Оно выполнено в форм-факторе, разработанном в рамках инициативы Open Compute Project и устанавливается в OCP-стойку с габаритами 21″ и собственным блоком питания. В итоге в корпус высотой 1U удалось вместить два процессора AMD EPYC второго поколения и до четырёх полноразмерных плат-ускорителей. Нашлось здесь место и для четырёх дисковых отсеков формата 2,5″ и даже для дополнительного слота расширения ‒ он предназначен для установки высокоскоростных сетевых карт нового поколения. Новинка совместима с прочими продуктами GIGABYTE RACKLUTION-OP, использующими новый форм-фактор OCP.

GIGABYTE T181-Z70: вклад компании в развитие открытых стандартов. Фото GIGABYTE

Демонстрирует компания также новую модульную гиперконвергентную систему ‒ H262-Z61. Каждый её модуль очень компактен, шасси высотой 2U может вместить сразу четыре таких модуля. При этом конфигурация его очень серьёзна: два процессорных разъёма c поддержкой AMD EPYC второго поколения и два слота PCIe 4.0 x16 для установки ускорителей. Кроме того, возможна установка мезаниновых плат формата OCP 2.0 и шести накопителей NVMe формата 2,5″.

GIGABYTE H262-Z61, один модуль из четырёх

Несмотря на активный натиск со стороны AMD EPYC, не забыла GIGABYTE и о процессорах Intel Xeon Scalable второго поколения. На их основе построены системы G241-G40 и G591-HS0. Первая модель выглядит достаточно обычно, она выполнена в корпусе высотой 2U и может нести на борту до четырёх полноразмерных ускорителей. Воздухообмен хорошо продуман, и сервер поддерживает установку даже карт с пассивными радиаторами. Имеется четыре полноразмерных дисковых отсека и два слота M.2 для установки твердотельных накопителей NVMe.

GIGABYTE G241-G40. Фото GIGABYTE

Система G591-HS0 относится к совсем иному классу: это огромный сервер высотой 5U, имеющий в задней части корпуса два специальных выдвижных отсека. Каждый из таких отсеков может принять в себя по 20 карт расширения половинной высоты. Используются специальные коммутаторы PCIe 3.0, поскольку даже два процессора Xeon Scalable просто не могут дать нужного количества линий.

G591-HS0: уникальные возможности расширения. Фото GIGABYTE

Ввиду того, что сейчас активно развиваются альтернативные ускорители на базе ПЛИС или специальных ASIC, которые могут быть достаточно компактными, данный сервер является идеальной платформой для организации мощной системы на базе таких ускорителей. К примеру, это может быть система анализа видео в реальном времени. Более того, с помощью дополнительного модуля расширения к G591-HS0 можно подключить ещё 32 однослотовых, но полноразмерных ускорителя.

G591-HS0: вид со стороны корзин расширения. Фото GIGABYTE

Все новые системы GIGABYTE поддерживают систему удалённого управления GIGABYTE Management Console, в основе которой лежит веб-платформа AMI MegaRAC SP-X. Новое поколение iKVM использует стандарт HTML5 и полностью отвечает стандартам Redfish API, оно также полностью бесплатно и не требует приобретения каких-либо дополнительных лицензий. Имеется также сервисная утилита GIGABYTE Server Management в версии как для обычных ПК, так и для мобильных устройств.

Постоянный URL: https://servernews.ru/997913
19.11.2019 [23:32], Андрей Созинов

SC19: РСК представила Tornado AP на базе Xeon 9200 и All-Flash СХД ёмкостью 1 Пбайт в 1U

Российский разработчик суперкомпьютеров РСК представил в рамках конференции SC19 новые вычислительные узлы Tornado AP, а также новые All-Flash системы хранения данных большой ёмкости.

Новинки выделяются в первую очередь тем, что за отвод тепла в них полностью отвечают системы жидкостного охлаждения.

Вычислительный узел Tornado AP построен на серверной платформе Intel S9200AP с парой высокопроизводительных процессоров Xeon Platinum 9200-й серии. Напомним, что данные процессоры выполнены в корпусе BGA, то есть распаяны прямо на материнской плате, и способны предложить от 32 до 56 ядер. Производительность одного узла Tornado AP может достигать весьма внушительных 9 Тфлопс.

Что касается системы хранения данных Tornado All-Flash, то, как нетрудно догадаться по названию, она построена на твердотельных накопителях. Здесь использованы твердотельные накопители Intel SSD D5-P4326, выполненные в «линеечном» форм-факторе (Ruler). Всего СХД вмещает до 32 «линеек» общим объёмом до 1 Пбайт. В основе системы лежит пара процессоров Intel Xeon Scalable второго поколения и память Intel Optane DC Persistent Memory.

Как в вычислительной системе Tornado AP, так и в системе хранения данных Tornado All-Flash используется фирменная система охлаждения горячей водой РСК, которая, по словам производителя, позволяет достичь высокой энергетической плотности и эффективности. Также это обеспечивает бесшумную работу системы.

Постоянный URL: https://servernews.ru/998020
19.11.2019 [23:13], Андрей Крупин

Эксперты: кибербезопасность АСУ ТП оставляет желать лучшего

Проблематика защиты автоматизированных систем управления технологическими процессами (АСУ ТП) продолжает оставаться в центре внимания экспертов по информационной безопасности.

Об актуальности защиты АСУ ТП свидетельствует проведённое специалистами компании «Ростелеком-Солар» исследование, в ходе которого было выявлено более 170 незакрытых уязвимостей в индустриальных системах, массово используемых в электроэнергетике, нефтегазовой и химической промышленности, на производственных и прочих предприятиях.

Подчёркивается, что почти три четверти (72%) всех выявленных брешей в коде АСУ ТП относятся к высокому или критическому уровню опасности. При этом основная масса уязвимостей имеет сетевой вектор, то есть для их эксплуатации нужен удалённый доступ к атакуемой системе.

«По нашим оценкам, по всему миру около 20% уязвимостей выявляются в промышленном сетевом оборудовании. При этом многие международные компании, в том числе Schneider Electric, в последнее время публикуют бюллетени по кибербезопасности, в том числе по уязвимостям, исключительно на собственных ресурсах или, в лучшем случае, передают их только в национальные CERT. Это приводит к снижению информированности предприятий о возможных векторах кибератак на технологические сегменты инфраструктуры и, как результат, к снижению общего уровня защищённости», — говорит Владимир Карантаев, руководитель направления кибербезопасности АСУ ТП компании «Ростелеком-Солар».

Подробнее с результатами аналитического исследования «Ростелеком-Солар» можно ознакомиться на сайте rt-solar.ru.

Постоянный URL: https://servernews.ru/998031
19.11.2019 [17:33], Константин Ходаковский

SC19: Microsoft представила виртуальные машины Azure NDv2 с сотнями ГП NVIDIA

NVIDIA и Microsoft сообщили о запуске нового типа ускоренного с помощью ГП суперкомпьютера в облаке Microsoft Azure. Эти новые виртуальные машины Azure NDv2 предназначены для самых сложных вычислений и высокопроизводительных задач ИИ. Пользователь может получить доступ к системе, объединяющей через единую сеть Mellanox InfiniBand до 800 графических ускорителей NVIDIA V100 с тензорными ядрами.

В результате пользователи Azure получили возможность арендовать настоящий суперкомпьютер для задач ИИ прямо на своём рабочем месте, избежав необходимости тратить месяцы на создание собственных громоздких локальных суперкомпьютеров. Ранее системы с подобными возможностями в области ИИ и HPC были доступны только для больших организаций.

Microsoft Azure NDv2 также предлагает гораздо более высокое соотношение производительности и цены по сравнению с традиционными решениями на базе ЦП — особенно в области искусственного интеллекта, машинного обучения и задач HPC. Исследователи могут развернуть сразу несколько виртуальных машин NDv2, чтобы обучить сложные диалоговые ИИ-модели буквально в течение часов.

Например, инженеры Microsoft и NVIDIA с помощью 64 виртуальных машин NDv2 на предварительной версии кластера обучили BERT — популярную диалоговую модель ИИ всего за три часа. Частично это было достигнуто благодаря оптимизациям для высокопараллельных расчётов с помощью множества ГП, достигнутых с помощью NCCL, библиотеки NVIDIA CUDA X и высокоскоростных интерфейсов Mellanox.

Пользователи также ощутят преимущества использования нескольких NDv2 при выполнении сложных вычислений HPC, например, в LAMMPS — популярном приложении молекулярной динамики, которое используется для моделирования материалов на уровне атомов в таких областях, как создание лекарств. Всего лишь одна виртуальная машина NDv2 обеспечивает производительность на порядок выше по сравнению с традиционным узлом HPC без ГП в приложениях такого типа, как глубинное обучение. Заявлено также, что производительность можно линейно увеличивать, объединяя сотни узлов для масштабного моделирования.

Все NDv2 оптимизированы для ускоренных с помощью ГП приложений HPC, ПО для машинного обучения и библиотек глубинного обучения, таких как TensorFlow, PyTorch и MxNet из репозитория контейнеров NVIDIA NGC и Azure Marketplace. Репозитарий также поддерживает пакеты Helm для установки ИИ-программ на кластерах Kubernetes.

NDv2 уже доступны в предварительном режиме. Виртуальные машины с восьмью ГП NVIDIA Tesla V100 (в каждом — 32 Гбайт памяти HBM2), 40-ядерным ЦП Intel Xeon Platinum 8168 и 672 Гбайт системной памяти можно объединять в кластеры.

Постоянный URL: https://servernews.ru/998009
19.11.2019 [17:04], Константин Ходаковский

SC19: Технология NVIDIA Magnum IO ускоряет перемещение данных до 20 раз

В Денвере на международной конференции SC 2019, посвящённой серверам, NVIDIA представила набор программного обеспечения Magnum IO, позволяющий исследователям в области ИИ и HPC обрабатывать большие объёмы данных за считанные минуты вместо нескольких часов.

Magnum IO устраняет узкие места и, по оценкам компании, позволяет до 20 раз ускорить обработку массивов данных в многосерверных вычислительных узлах с использованием GPU в задачах вроде финансового анализа и моделирования климата. В разработке также участвовали лидеры индустрии DataDirect Networks, Excelero, IBM, Mellanox и WekaIO.

«В основе всего того, что связано с ИИ, находится обработка больших объёмов собранных или смоделированных данных. По мере экспоненциального увеличения объёмов и скорости поступления данных их обработка становится одной из самых важных, но и крайне затратных задач для ЦОД. Для экстремальных вычислений нужны экстремально быстрые интерфейсы. Именно это и обеспечивает ПО Magnum IO, применяя GPU-ускорение, кардинально изменившее вычисления, к передаче и хранению данных. Исследователям больше не придется долго ожидать окончания обработки данных. Теперь они смогут сконцентрироваться на сути своей работы», — пояснил учредитель и исполнительный директор NVIDIA Дженсен Хуанг (Jensen Huang).

В основе ПО Magnum IO лежит технология GPUDirect, позволяющая данным обходить ГП и перемещаться по магистралям, созданным графическими процессорами, накопителями и сетевыми устройствами. GPUDirect совместима с широким спектром интерфейсов и API, включая NVIDIA NVLink и NCCL, а также OpenMPI и UCX, и состоит из одноранговых (peer-to-peer) и RDMA-элементов. Последним дополнением стал GPUDirect Storage, позволяющий исследователям в обход процессора получать доступ к хранимым файлам для моделирования, анализа и визуализации.

ПО NVIDIA Magnum IO уже доступно, за исключением GPUDirect Storage, к которому пока открыт ранний доступ, а широкое распространение запланировано на первую половину 2020 года.

Постоянный URL: https://servernews.ru/998006
Система Orphus