Известный поставщик серверных решений, компания PNY, не могла пропустить выставку ISC 2017, где продемонстрировала свой ассортимент видеоадаптеров и систем в сборе. Большинство прототипов и продуктов полностью изготовлены на производственных мощностях подрядчиков и партнёров американской компании, в числе которых ASUS, Gigabyte, NVIDIA, Supermicro, TYAN и другие. Как бы то ни было, приобрести их зачастую можно только через PNY Technologies (в том числе и на российском рынке).

PNY уже давно занимается поставками ускорителей Quadro, но в этом году взялась отгружать ещё и модели Tesla. Официальный анонс PCI-E версии Tesla V100 состоялся только на днях, поэтому в компании решили ограничиться демонстрацией на стенде адаптера предыдущего поколения — Tesla P100. Продукт TCSP100M-16GB-PB оснащён графическим процессором NVIDIA GP100 (3584 шейдерных блоков) и 16 Гбайт памяти HBM2 с функцией контроля ошибок. В вычислениях двойной точности (FP64) карта обеспечивает быстродействие на уровне 4,67 Тфлопс, а её энергопотребление составляет 250 Вт.

Без Quadro также не обошлось: перед нами модель Quadro GP100 (PNY VCQGP100-PB) с теми же 3584 ядрами CUDA и 16 Гбайт HBM2, что и у Tesla P100. За счёт более высокой частоты GPU «чистая» производительность увеличена до 5,15 Тфлопс (FP64), а максимальное энергопотребление, наоборот, немного ниже — 235 Вт. В число видеовыходов включены DVI-D и квартет DisplayPort 1.4.

Дистрибуция серверов NVIDIA DGX-1 для вычислений, связанных с искусственным интеллектом, также не чужда PNY. Система DGX-1 первого поколения (на фото) содержит восемь ускорителей Tesla P100 с суммарной производительностью 170 Тфлопс (FP16). Среди прочего, сервер включает два 20-ядерных процессора Intel Xeon E5-2698 v4, 512 Гбайт памяти DDR4-2133 и четыре 1,92-Тбайт SSD-накопителя в RAID 0.

А так выглядит NVIDIA DGX-1 второго поколения (наше фото с ISC 2017):

Имеются в ассортименте PNY и серверы попроще. Как, например, следующая двухпроцессорная система с платой Gigabyte:

Однако системы наподобие PNY/TYAN FT77D-B7109 (см. ниже) всё-таки выглядят более впечатляюще. Мощь восьми ускорителей NVIDIA и двух Xeon может использоваться для научных исследований широкого спектра, анализа генетических последовательностей, обнаружения месторождений нефти и газа, масштабных проектов в области распознавания лиц и расшифровки важных данных методом полного перебора или «грубой силы» (англ. brute force). В 4U-корпусе также имеются посадочные места для четырнадцати 2,5-дюймовых SSD и четырёх M.2-накопителей.

Посетители ISC 2017 могли оценить прямо со стенда PNY работу кластера компании в г. Бордо. Для доступа к ресурсам HPC-системы было достаточно воспользоваться QR-кодом.

В рамках мероприятия SC16 (Supercomputing Conference 2016), которое в этом году прошло в столице американского штата Юта Солт-Лейк-Сити, компания Hitachi продемонстрировала новую серверную систему семейства SR24000. Конфигурация Hitachi SR24000/DL1 призвана решать задачи глубинного обучения и имеет для этого внушительный набор компонентов.

Сервер собран в корпусе форм-фактора 2U со сторонами 822(Д) × 442(Ш) × 86(В) мм. Его масса может достигать по крайней мере 30 кг. Ключевыми узлами системы являются 10-ядерные процессоры IBM POWER8 и высокопроизводительные ускорители NVIDIA Tesla P100, взаимодействующие с другими комплектующими с помощью интерфейса NVLink. Процессоры работают в составе сервера попарно (номинальная частота каждого — 2,86 ГГц), а количество плат Tesla P100 может равняться двум или четырём. Соответственно, пиковая производительность Hitachi SR24000/DL1 при операциях с числами половинной точности (FP16) оценена в 42,4—84,8 Тфлопс.

Процессоры POWER8 охлаждаются медно-алюминиевыми кулерами башенного типа, пластины которых пронизаны четырьмя U-образными тепловыми трубками. На карты Tesla P100 устанавливаются медные охладители с четырьмя-пятью медными теплотрубками. Радиаторы, находящиеся ближе к вентиляторам в передней части корпуса, имеют «прорехи» для лучшей продуваемости соседних радиаторов.

Каждый ускоритель Tesla P100 обеспечивает 21,2 Тфлопс «чистой» производительности (FP16) и оборудован 16 Гбайт буферной памяти HBM2 с пропускной способностью 720 Гбайт/с. В соответствии с официальной спецификацией, одна карта P100 использует 16-нм графический чип NVIDIA GP100, оперирующий 3584 потоковыми процессорами с номинальной частотой 1328 МГц и boost-частотой 1480 МГц, а также 4096-разрядным интерфейсом VRAM (объём доступной памяти стандарта HBM2 указан выше).

Tesla P100

В числе других узлов сервера Hitachi SR24000/DL1, пожалуй, стоит выделить 256 или 512 Гбайт оперативной памяти DDR4, интерфейс проводной сети с пропускной способностью 1, 10 или 40 Гбит/с, накопители HDD (2 × 2 Тбайт) или SSD (2 × 1,92 Тбайт) и блок питания мощностью 2550 Вт. Последний рассчитан на работу в сетях 200–240 В и, как и сервер в целом, греется незначительно при температуре окружения до 27 °C (нижний порог — 18 °C). Рекомендованной операционной системой для Hitachi SR24000/DL1 служит Ubuntu Server.

Известный производитель серверного оборудования Supermicro продолжает содействовать NVIDIA в увеличении спроса на её ускорители Tesla P100, предназначенные для решения ресурсоёмких задач. В частности, американская компания готовит поставки новых 4U-серверов семейства SuperServer 4028GR, оптимизированных для работы с устройствами Tesla P100 в виде плат SMX2 (интерфейс NVLink) и карт расширения PCI Express x16. О новых продуктах в семействе 4028GR представители Supermicro поведали в ходе недавнего мероприятия GPU Technology Conference (GTC) в г. Вашингтон.

В число топовых решений Supermicro форм-фактора 4U вошли системы SuperServer 4028GR-TXR и SuperServer 4028GR-TXRT, поддерживающие одновременную установку восьми плат NVIDIA Tesla P100 (SXM2) и способствующие их эффективному охлаждению (благодаря оптимизированному дизайну корпуса). Пиковая производительность таких серверов при выполнении операций с числами половинной точности (FP16) может достигать 170 Тфлопс. Основное предназначение систем — вычисления, связанные с решением задач машинного обучения.

Tesla P100 в виде SMX2-устройства на стенде Supermicro в рамках ISC 2016

Вторая группа новинок — 4U-серверы SuperServer 4028GR-TR2/4028GR-TRT2 — поддерживают установку десяти карт Tesla P100 с разъёмом подключения PCI Express 3.0 x16. Производительность систем при выполнении FP16-операций может достигать 187 Тфлопс. Оптимизация компоновки материнской платы в части взаимодействия PCI-E устройств с CPU позволила более эффективно использовать интерфейс QPI. Кроме того, уменьшение различных задержек достигает 60 %.

В спецификациях систем SuperServer 4028GR-TR(T)2, с которыми можно ознакомиться по вышеприведённым ссылкам, имеется одно существенное различие: модель с суффиксом T оборудована двумя сетевыми адаптерами Intel X540 с пропускной способностью портов 10 Гбит/с, а 4028GR-TR(T)2, в свою очередь, ограничивается двумя контроллерами Intel i350 (10/100/1000 Мбит/с). Оба сервера рассчитаны на установку двух процессоров Intel Xeon E5-2600 v4/v3 с тепловым пакетом до 160 Вт и 24 накопителей форм-фактора 2,5 дюйма. Мощность используемых в 4028GR-TR2/4028GR-TRT2 источников питания составляет 2000 Вт, их высокий уровень КПД подтверждён сертификатом 80 PLUS Titanium.

Менее производительные, но и одновременно более доступные в ценовом отношении серверы с GPU Tesla P100 также входят в состав следующих семейств:

• 1U 4 Pascal GPU Optimized SuperServer: модель 1028GQ-TR для задач машинного обучения;
• 2U 6 Pascal GPU Optimized SuperServer: модель 2028GR-TRHT для задач машинного обучения;
• 1U Ultra SuperServer: серия 1028U для ресурсоёмких корпоративных (enterprise) вычислений;
• 2U Ultra SuperServer: серия 2028U для ресурсоёмких корпоративных (enterprise) вычислений, до четырёх GPU Pascal.

В этом году NVIDIA порадовала любителей нерядовых новинок в сегменте дискретной графики картами на 16-нм чипах GP100 и GP102. Различия между старшим GPU для HPC-систем (GP100) и его производным — адаптером для широкого круга задач (GP102) оказались весьма существенными. В частности, проприетарный интерфейс NVLink, отличающий серверный графический процессор от собрата, способен обеспечивать пропускную способность в 40 Гбайт/с на один порт. Для сравнения, аналогичное значение для разъёма PCI Express 3.0 x16 составляет 16 ГТ/с (15,75 Гбайт/с), а для будущего PCI Express 4.0 x16 — 32 ГТ/с (31,5 Гбайт/с). При этом одним соединением NVLink дело не ограничивается. Так, у ускорителя Tesla P100 на чипе Pascal GP100 четыре порта NVLink, и, соответственно, пиковая пропускная способность достигает 160 Гбайт/с (4 × 40 Гбайт/с).

NVLink открывает возможность взаимодействия GPU двух систем

Среди тех, кто по достоинству оценил труд инженеров NVIDIA, оказалась корпорация IBM. Её 22-нм процессоры POWER8 прекрасно «дружат» с NVLink 1.0 и Tesla P100. В частности, был спроектирован 2P-сервер типоразмера 2U на основе процессоров POWER8 (POWER8+) и двух-четырёх адаптеров Tesla P100 с вышеупомянутым интерфейсом. На 2017 год запланировано создание ещё более мощной системы. В её состав войдут два CPU POWER9 и от четырёх до шести ускорителей NVIDIA Volta, содержащих порты NVLink 2.0. Форм-фактор останется прежним — 2U.

По сообщению ресурса Fudzilla, вторая версия NVLink принесёт увеличение пропускной способности интерфейса с 20 до 25 Гбит/с на контакт, с 40 до 50 Гбайт/с на один порт и со 160 до 200 Гбайт/с на один GPU. Преимущество NVLink над PCI Express 4-го поколения будет весьма впечатляющим — 6,35 раза (четыре порта NVLink против 16-скоростного PCI-E 4.0).

Внедрение NVLink 2.0 тесно связано с ожидающимся дебютом графических процессоров Volta в следующем году. Последние, по предварительным данным, будут выпускаться по нынешнему, но при этом «повзрослевшему» 16-нм техпроцессу, а в качестве буферной памяти будут использоваться микросхемы HBM2 (до внедрения HBM3 пока ещё далеко).

HBM2 — это надолго

Что касается процессоров IBM POWER9, то они будут выпускаться по 14-нм технологической норме начиная со следующего года. Количество ядер составит 12 или 24. В данных CPU предусмотрены кеш третьего и четвёртого уровней, контроллер памяти DDR4, линии PCI Express 4.0, а также скоростной интерфейс для синхронизации работы двух процессоров на одной плате.

IBM POWER9

Главным событием недели, несомненно, является анонс новой графической архитектуры NVIDIA Pascal и демонстрация работоспособных устройств на основе первого процессора на базе этой архитектуры — чипа GP100. Как и обещалось ранее, новинка идеально вписывается в рынок супервычислений, будучи оснащённой специальной высокоскоростной шиной NVLink и неся на борту 16 Гбайт локальной памяти HBM2. Если верить NVIDIA, сервер DGX-1 на базе новой архитектуры (8 плат Tesla P100) мощнее 250 традиционных серверов, использующих процессоры Intel Xeon. Для общения с другими серверами в нём имеется пара интерфейсов 10GbE и шина Infiniband с пропускной способностью 100 Гбит/с. Иными словами, это мощный строительный блок для создания суперкомпьютеров самой разной направленности. Но что же с доступностью плат Tesla P100, составляющих сердце DGX-1?

«Пять чудес NVIDIA»

Как сообщают средства массовой информации, массовое производство плат NVIDIA Tesla P100 уже начато, но первые более или менее объёмные поставки целиком уйдут создателям систем глубокого обучения (deep learning) и облачных компьютерных систем. Начнутся эти поставки уже в июне этого года. А вот ОЕМ-производителям придётся подождать: очередь до них дойдёт лишь в первом квартале следующего 2017 года. NVIDIA чётко следует объявленной ранее стратегии в отношении GP100: сначала рынок суперкомпьютеров и всё, что с ним связано, и лишь затем остальные клиенты, в том числе, производители графических карт. Надо отметить, что это несколько необычная стратегия с учётом того, что основу доходов NVIDIA составляют именно игровые приложения, то есть, банальные видеокарты, и ранее компания всегда уделяла основное внимание именно этому сектору рынка.

QuantaPlex T21W-3U изнутри

Но расстраиваться тем, кто ждёт новых решений NVIDIA не стоит: вполне возможно, что мы увидим потребительские устройства на базе архитектуры Pascal уже на Computex 2016 — всемирной выставке, которая пройдёт в Тайбэе с 31 мая по 4 июня. Наши коллеги с ресурса Computerbase уже отследили первую партию плат Tesla P100, которые поставляются в составе систем QuantaPlex T21W-3U, выпускаемых компанией Quanta. Спецификации этой модели внушают уважение: в ней используются процессоры Intel Xeon последнего поколения (E5-2600 v4), объём памяти достигает терабайта, гибридная система хранения данных состоит из 12 накопителей SATA/SFF и 8 накопителей U.2 (PCIe x4), и все компоненты системы объединяет шина NVLink, позволяющая устанавливать до 8 навесных (mezzanine) плат Tesla P100. Удивительно, но при всей своей мощи эта установка обходится воздушным охлаждением.

GP100: 40 неделя 2015 года, HBM1

Также любопытно, что существует две версии чипа GP100: одна из них, выпущенная на 41 неделе, оснащена памятью HBM1, но уже на 43 неделе производство было переведено на использование HBM2. Упомянутые системы продемонстрированы не самой NVIDIA, а их производителем, компанией Quanta, но история с типами HBM доказывает, что NVIDIA имела на руках и рассылала своим партнёрам образцы Pascal довольно давно: версия HBM1 появилась еще в 2015 году, в то время как современная модель с HBM2 только в 2016 году. Quanta уже продемонстрировала свои суперсерверы в рамках GTC 2016, показав, в том числе, и работу NVLink.

GP100: 43 неделя 2015 года, HBM2. Хорошо видны более крупные кристаллы сборок HBM

С учётом уже начатого Samsung массового производства HBM2 неудивительно, что первые партии Tesla P100 попадут к заказчикам уже в июне этого года. Одним из первых клиентов станет CSCS (Швейцарский национальный суперкомпьютерный центр). В рамках модернизации суперкомпьютера Piz Daint NVIDIA поставит CSCS более 4500 чипов Pascal, что позволит существенно нарастить мощность системы свыше теперешних пиковых 7,8 петафлопс. Это облегчит работу учёным, работающим над сложными проблемами, требующими обширных вычислений. Сфера применения Pascal благодаря его универсальной вычислительной архитектуре очень широка: от космологии и материаловедения до климатологии и нейромоделирования.

В ходе мероприятия, проведённого в рамках конференции GTC 2016, компания NVIDIA представила не только графический процессор GP100, являющийся её первым чипом на архитектуре Pascal, но и анонсировала суперкомпьютер DGX-1, в основе которого лежат восемь взаимодействующих посредством интерфейса NVLink ускорителей Tesla P100 с уже упомянутым GPU и 16 Гбайт памяти HBM2 каждый.

Они обеспечивают системе пиковую производительность на уровне 170 Тфлопс в режиме FP16, что позволяет разработчикам позиционировать её как «первый в мире суперкомпьютер для глубокого обучения, который обладает достаточной вычислительной мощью для развития искусственного интеллекта». По скорости обработки данных NVIDIA сравнивает DGX-1 с 250 обычными серверами на базе процессоров Intel Xeon.

Остальные спецификации NVIDIA DGX-1 включают 512 Гбайт оперативной памяти, четыре твердотельных накопителя суммарным объёмом более 7 Тбайт, два 10-гигабитных сетевых адаптера и 100-Гбит/с шину Quad InfiniBand. Всё перечисленное железо «упаковано» в корпус форм-фактора 3U и, согласно паспортным данным, потребляет до 3200 Вт.

Что касается софтверной составляющей, то NVIDIA DGX-1 поставляется с набором ПО для глубокого обучения. В него входят, в частности, интерактивная система для создания глубоких нейронных сетей (DNN) и GPU-ускоряемая библиотека примитивов для создания DNN (NVIDIA CUDA Deep Neural Network — cuDNN), а также пакеты Caffe, Theano и Torch. Поставки DGX-1 должны начаться в июне текущего года.