Компания Tesla уже анонсировала собственный, созданный в лабораториях компании процессор D1, который станет основой ИИ-суперкомпьютера Dojo. Нужна такая система, чтобы создать для ИИ-водителя виртуальный полигон, в деталях воссоздающий реальные ситуации на дорогах. Естественно, такой симулятор требует огромных вычислительных мощностей: в нашем мире дорожная обстановка очень сложна, изменчива и включает множество факторов и переменных.

До недавнего времени о Dojo и D1 было известно не так много, но на конференции Hot Chips 34 было раскрыто много интересного об архитектуре, устройстве и возможностях данного решения Tesla. Презентацию провел Эмиль Талпес (Emil Talpes), ранее 17 лет проработавший в AMD над проектированием серверных процессоров. Он, как и ряд других видных разработчиков, работает сейчас в Tesla над созданием и совершенствованием аппаратного обеспечения компании.

Изображения: Tesla (via ServeTheHome)

Главной идеей D1 стала масштабируемость, поэтому в начале разработки нового чипа создатели активно пересмотрели роль таких традиционных концепций, как когерентность, виртуальная память и т.д. — далеко не все механизмы масштабируются лучшим образом, когда речь идёт о построении действительно большой вычислительной системы. Вместо этого предпочтение было отдано распределённой сети хранения на базе SRAM, для которой был создан интерконнект, на порядок опережающий существующие реализации в системах распределённых вычислений.

Основой процессора Tesla стало ядро целочисленных вычислений, базирующееся на некоторых инструкциях из набора RISC-V, но дополненное большим количеством фирменных инструкций, оптимизированных с учётом требований, предъявляемых ядрами машинного обучения, используемыми компанией. Блок векторной математики был создан практически с нуля, по словам разработчиков.

Набор инструкций Dojo включает в себя скалярные, матричные и SIMD-инструкции, а также специфические примитивы для перемещения данных из локальной памяти в удалённую, равно как и семафоры с барьерами — последние требуются для согласования работы c памятью во всей системе. Что касается специфических инструкций для машинного обучения, то они реализованы в Dojo аппаратно.

Первенец в серии, чип D1, не является ускорителем как таковым — компания считает его высокопроизводительным процессором общего назначения, не нуждающимся в специфических ускорителях. Каждый вычислительный блок Dojo представлен одним ядром D1 с локальной памятью и интерфейсами ввода/вывода. Это 64-бит ядро суперскалярно.

Более того, в ядре реализована поддержка многопоточности (SMT4), которая призвана увеличить производительность на такт (а не изолировать разные задачи друг от друга), поэтому виртуальную память данная реализация SMT не поддерживает, а механизмы защиты довольно ограничены в функциональности. За управление ресурсами Dojo отвечает специализированный программный стек и фирменное ПО.

64-бит ядро имеет 32-байт окно выборки (fetch window), которое может содержать до 8 инструкций, что соответствует ширине декодера. Он, в свою очередь, может обрабатывать два потока за такт. Результат поступает в планировщики, которые отправляют его в блок целочисленных вычислений (два ALU) или в векторный блок (SIMD шириной 64 байт + перемножение матриц 8×8×4).

У каждого ядра D1 есть SRAM объёмом 1,25 Мбайт. Эта память — не кеш, но способна загружать данные на скорости 400 Гбайт/с и сохранять на скорости 270 Гбайт/с, причём, как уже было сказано, в чипе реализованы специальные инструкции, позволяющие работать с данными в других ядрах Dojo. Для этого в блоке SRAM есть свои механизмы, так что работа с удалённой памятью не требуют дополнительных операций.

Что касается поддерживаемых форматов данных, то скалярный блок поддерживает целочисленные форматы разрядностью от 8 до 64 бит, а векторный и матричный блоки — широкий набор форматов с плавающей запятой, в том числе для вычислений смешанной точности: FP32, BF16, CFP16 и CFP8. Разработчики D1 пришли к использованию целого набора конфигурируемых 8- и 16-бит представлений данных — компилятор Dojo может динамически изменять значения мантиссы и экспоненты, так что система может использовать до 16 различных векторных форматов, лишь бы в рамках одного 64-байт блока данных он не менялся.

Как уже упоминалось, топология D1 использует меш-структуру, в которой каждые 12 ядер объединены в логический блок. Чип D1 целиком представляет собой массив размером 18×20 ядер, однако доступны лишь 354 ядра из 360 присутствующих на кристалле. Сам кристалл площадью 645 мм² производится на мощностях TSMC с использованием 7-нм техпроцесса. Тактовая частота составляет 2 ГГц, общий объём памяти SRAM — 440 Мбайт.

Процессор D1 развивает 362 Тфлопс в режиме BF16/CFP8, в режиме FP32 этот показатель снижается до 22 Тфлопс. Режим FP64 векторными блоками D1 не поддерживается, поэтому для многих традиционных HPC-нагрузок данный процессор не подойдёт. Но Tesla создавала D1 для внутреннего использования, поэтому совместимость её не очень волнует. Впрочем, в новых поколениях, D2 или D3, такая поддержка может появиться, если это будет отвечать целям компании.

Каждый кристалл D1 имеет 576-битный внешний интерфейс SerDes с совокупной производительностью по всем четырём сторонам, составляющей 8 Тбайт/с, так что узким местом при соединении D1 он явно не станет. Этот интерфейс объединяет кристаллы в единую матрицу 5х5, такая матрица из 25 кристаллов D1 носит название Dojo training tile.

Этот тайл выполнен как законченный термоэлектромеханический модуль, имеющий внешний интерфейс с пропускной способностью 4,5 Тбайт/с на каждую сторону, совокупно располагающий 11 Гбайт памяти SRAM, а также собственную систему питания мощностью 15 кВт. Вычислительная мощность одного тайла Dojo составляет 9 Пфлопс в формате BF16/CFP8. При таком уровне энергопотребления охлаждение у Dojo может быть только жидкостное.

Тайлы могут объединяться в ещё более производительные матрицы, но как именно физически организован суперкомпьютер Tesla, не вполне ясно. Для связи с внешним миром используются блоки DIP — Dojo Interface Processors. Это интерфейсные процессоры, посредством которых тайлы общаются с хост-системами и на долю которых отведены управляющие функции, хранение массивов данных и т.п. Каждый DIP не просто выполняет IO-функции, но и содержит 32 Гбайт памяти HBM (не уточняется, HBM2e или HBM3).

DIP использует полностью свой транспортный протокол (Tesla Transport Protocol, TTP), разработанный в Tesla и обеспечивающий пропускную способность 900 Гбайт/с, а поверх Ethernet — 50 Гбайт/с. Внешний интерфейс у карточек — PCI Express 4.0, и каждая интерфейсная карта несёт пару DIP. С каждой стороны каждого ряда тайлов установлено по 5 DIP, что даёт скорость до 4,5 Тбайт/с от HBM-стеков к тайлу.

В случаях, когда во всей системе обращение от тайла к тайлу требует слишком много переходов (до 30 в случае обращения от края до края), система может воспользоваться DIP, объединённых снаружи 400GbE-сетью по топологии fat tree, сократив таким образом, количество переходов до максимум четырёх. Пропускная способность в этом случае страдает, но выигрывает латентность, что в некоторых сценариях важнее.

В базовой версии суперкомпьютер Dojo V1 выдаёт 1 Эфлопс в режиме BF16/CFP8 и может загружать непосредственно в SRAM модели объёмом до 1,3 Тбайт, ещё 13 Тбайт данных можно хранить в HBM-сборках DIP. Следует отметить, что пространство SRAM во всей системе Dojo использует единую плоскую адресацию. Полномасштабная версия Dojo будет иметь производительность до 20 Эфлопс.

Сколько сил потребуется компании, чтобы запустить такого монстра, а главное, снабдить его рабочим и приносящим пользу ПО, неизвестно — но явно немало. Известно, что система совместима с PyTorch. В настоящее время Tesla уже получает готовые чипы D1 от TSMC. А пока что компания обходится самым большим в мире по числу установленных ускорителей NVIDIA ИИ-суперкомпьютером.

Тим Заман, руководитель отдела искусственного интеллекта и средств автопилотирования Tesla, сообщил о том, что компания Илона Маска в настоящее время эксплуатирует седьмой по величине суперкомпьютер в мире. Правда, речь идёт лишь о числе используемых в системе ускорителей.

По словам господина Замана, вычислительный комплекс Tesla недавно подвергся апгрейду. В результате общее число задействованных акселераторов NVIDIA A100 (80 Гбайт) выросло до 7360 шт. В прошлом году Tesla представила свой новый кластер, насчитывающий 720 узлов, каждый из которых оборудован восемью ускорителями A100. Таким образом, в общей сложности на момент анонса использовались 5760 акселераторов. Заявленное быстродействие достигало 1,8 Эфлопс (FP16).

Источник изображения: Tim Zaman

В рамках обновления система получила ещё 1600 шт. таких же ускорителей. Результирующую производительность Tesla пока не раскрывает, но она могла увеличиться примерно на четверть. Система предназначена для обучения ИИ-моделей, отвечающих за работу средств автопилотирования в электромобилях компании. Попутно Tesla разрабатывает суперкомпьютер Dojo. Он будет оснащён собственными 7-нм чипами D1 (FP32). Каждый чип будет иметь площадь 645 мм² и содержать 50 млрд транзисторов.

Компания Tesla в ходе конференции по компьютерному зрению и распознаванию образов CVPR 2021 обнародовала информацию о новом вычислительном комплексе, который используется для обучения ИИ-моделей, отвечающих за работу средств автопилотирования в электромобилях.

Система, о которой идёт речь, является третьим вычислительным кластером Tesla. Этот суперкомпьютер использует акселераторы NVIDIA A100 с тензорными ядрами, обеспечивающие высочайшую производительность при решении задач, связанных с алгоритмами ИИ и глубокого обучения. Теоретическое пиковое быстродействие этой системы достигает 1,8 Эфлопс (FP16).

Reuters

Кластер содержит 720 узлов, каждый из которых оборудован восемью ускорителями A100 с 80 Гбайт памяти. Таким образом, в общей сложности задействованы 5760 акселераторов. Комплекс имеет NVMe-хранилище для «горячих» данных суммарной ёмкостью 10 Пбайт и с пропускной способностью 1,6 Тбайт/с. Узлы объединены сетевой фабрикой на 640 Тбит/с.

По оценкам компании, уровень производительности системы позволяет ей войти в пятёрку самых быстрых суперкомпьютеров нынешнего рейтинга TOP500. Между тем Tesla продолжает работы над следующим суперкомпьютером экзафлопсного класса Dojo, который тоже может стать одним из лидеров следующего списка TOP500. Эту систему планируется запустить в эксплуатацию к концу текущего года.

Оператор дата-центров Switch вместе с фондом Capital Dynamics вложат $1,3 млрд в создание экологичного комплекса выработки и хранения электроэнергии, достаточно мощного для питания дата-центров. Проект подразумевает использование солнечных панелей First Solar и аккумуляторных блоков Tesla MegaPack.

Ничего необычного в таком сочетании нет, но суммарная мощность всего проекта, который называется Gigawatt 1, впечатляет: солнечные электростанции на 555 МВт и 800 МВт∙ч аккумуляторной ёмкости. Комплексы из панелей и батарей будут находиться в нескольких местах на территории Невады, а один их них разместится рядом с бизнес-парком Reno, где находятся крупнейший, по заявлениям Switch, в мире дата-центр Citadel и Гигафабрика Tesla.

Кампус Citadel имеет 690 тыс. м² для размещения оборудования суммарной мощностью до 650 МВт. Первая очередь ЦОД TAHOE RENO 1 чуть скромнее: 121 690 тыс. м² и 130 МВт. Он получит солнечную электростанцию мощностью 127 МВт и набор Tesla MegaPack ёмкостью 240 МВт∙ч, которые, к слову, будут изолированы от публичной энергосистемы и питать только Switch, на что потребовалось отдельное разрешение. Компания обещает сохранить цену на уровне 5 центов за кВт∙ч.

Впрочем, дата-центры компании уже несколько лет на 100% снабжаются электроэнергий из возобновляемых источников. Зачастую таковыми являются ГЭС, но гиперскейлеры выбирают их вовсе не из-за экологичности, а просто потому, что стоимость энергии у них одна из самых низких. Солнечные электростанции хороши для засушливых районов, а аккумуляторы помогут сгладить неравномерность выработки энергии. Однако для охлаждения современных дата-центров всё равно требуется достаточно много воды.

Коронавирус сорвал проведение в прошлом месяце конференции GTC 2020, на которой ожидался анонс новой архитектуры графических процессоров NVIDIA. Однако компания явно не прекращала работу над ней. Это косвенно подтверждает и свежая утечка — некий новый графический ускоритель NVIDIA был зарегистрирован южнокорейским агентством RRA.

Устройство описывается как «серверный графический модуль» и имеет кодовое название PG506.

Похожие кодовые названия (PG500, PG502 и PG504) имеют графические ускорители NVIDIA Tesla V100 на графическом процессоре Volta. Напрашивается вывод, что перед нами некий новый ускоритель вычислений Tesla, который вполне может оказаться преемником вышеуказанного ускорителя на базе Volta.

Ускоритель PG500 является версией Tesla V100 с интерфейсом PCIe, выполненной в формате традиционной карты расширения. В свою очередь PG502 и PG504 являются NVLink-версиями с 16 и 32 Гбайт оперативной памяти соответственно. К слову, последний был представлен как раз на NVIDIA GTC в марте 2018 года.

На самом деле нельзя с полной уверенностью сказать, что ускоритель NVIDIA PG506 является носителем новой архитектуры, будь то Ampere или что-либо другое. Не исключено, что это ещё какая-то новая версия Volta. Но всё же, хотелось бы верить, что NVIDIA уже регистрирует продукты на GPU нового поколения. Это бы означало, что они выйдут до конца года — обычно с момента регистрации в RRA проходит около полугода до появления устройств.

Корпорация NVIDIA объявила о пополнении семейства ускорителей на базе архитектуры Volta. Теперь в нём появилась новая модель Tesla V100s. Она доступна только в форм-факторе PCI Express, о версии SXM2 пока ничего неизвестно.

Внешне V100s ничем не отличаются от V100 в том же форм-факторе

В новой версии ускорителя NVIDIA удалось добиться производительности 8,2 Тфлопс в режимe FP64 и 130 Тфлопс для тензорных процессоров. Точные значения тактовых частот ГП, к сожалению, не приводятся.

На некоторых стендах SC19 имелось скромное упоминание о новинке

На борту Tesla V100s установлены новые сборки HBM2 с более высокой тактовой частотй (1106 против 876 МГц), что позволило поднять пропускную способность памяти с 900 до 1134 Гбайт/с. Теплопакет удалось сохранить прежним, на уровне 250 Ватт.

Технические характеристики ускорителей NVIDIA Tesla V100

Таким образом, Tesla V100s стал быстрейшим ускорителем NVIDIA с архитектурой Volta. Единственное, в чём он уступает версии V100 в исполнении SXM2 ‒ в технологии межсоединений. Пропускная способность PCI Express x16 3.0 ограничена 32 Гбайт/с, в то время как конструктив SXM2 за счёт применения шины NVLink позволяет добиться показателя на порядок выше, 300 Гбайт/с. Возможно, версия V100s в этом исполнении появится позже. Стоимость Tesla V100s объявлена пока не была.

На днях NVIDIA анонсировала новое программно-аппаратное решение на базе платформы EGX для 5G-сетей и периферийных (edge) вычислений. Одновременно с этим собственные EGX-решения представили и производители серверного оборудования.

К примеру, GIGABYTE обновила конфигурацию своего сервера G191-H44. Это компактное шасси формата 1U, способное нести на борту до четырёх ускорителей, поддерживает и карты NVIDIA T4.

GIGABYTE G191-H44: компактность не мешает производительности

Напомним, что T4 построены на чипах с архитектурой Turing, они располагают 2560 ядрами CUDA и 320 тензорными ядрами. Производительность одной такой карты оценивается в 65 Тфлопс в смешанном режиме FP16/32. Мощность вычислений в режимах INT8 и INT4 составляет 130 и 260 Топс, соответственно.

Объём набортной памяти GDDR6 ‒ 16 Гбайт, скорость передачи данных 300 Гбайт/с. Охлаждение пассивное, обеспечивается средствами сервера, тем более что теплопакет не превышает 70 ватт. Платы выполнены в низкопрофильном форм-факторе, что позволяет им легко уместиться в таких корпусах, как у G191-H44.

Обновлённые серверы G191-H44 предназначены для работы в составе гибридных облаков NVIDIA NGC, благо, поддерживается установка новейших сетевых 100GbE-карт Mellanox. Система уже прошла все квалификационные тесты и имеет официальный статус NGC Ready.

Tyan Thunder SX TN76-B7102: простор дискового хранилища

Аналогичное решение предлагает другой игрок на рынке серверных систем, компания Tyan. Её сервер Thunder SX TN76-B7102 также поддерживает установку до четырёх ускорителей NVIDIA T4, но упакован он не столь плотно, как GIGABYTE G191-H44.

Корпус здесь имеет высоту 2U, что, помимо прочего, позволяет улучшить тепловой режим. К тому же для задач, требующих хранения существенного объёма данных, этот корпус подходит лучше, поскольку имеет 12 полноразмерных отсеков формата 3,5″ с поддержкой горячей замены накопителей. Это могут быть как 12 дисков с интерфейсом SATA, так и комбинация 8 дисков SATA и 4 накопителей NVMe.

Вычислительный комплекс TX-GAIA (Green AI Accelerator) стал самым мощным университетским суперкомпьютером, предназначенным для решения задач в области искусственного интеллекта (ИИ). Пиковая производительность в LINPACK достигает 4,7 Пфлопс, а в вычислениях смешанной точности — 100 Пфлопс.

Комплекс построен компанией Hewlett Packard Enterprise (HPE). Он расположен в Суперкомпьютерном центре Линкольнской лаборатории Массачусетского технологического института (MIT’s Lincoln Laboratory’s Supercomputing Center).

Вычислительная система объединяет 448 узлов HPE Apollo 2000. Задействованы 896 процессоров Intel Xeon Scalable Gold 6248 (20 ядер / 40 потоков) и 896 акселераторов NVIDIA Tesla V100, которые предназначены для ускорения вычислений в области машинного обучения и ИИ. Объём памяти достигает 172 Тбайт. Задействован интерконнект Intel Omni-Path.

Суперкомпьютер установлен в комплексе EcoPOD, получающем энергию от ГЭС.

Система будет решать задачи в области нейронных сетей и машинного обучения. Это могут быть аналитика медицинских данных, синтез материалов, прогнозирование погоды и пр.

Компания МТС объявила о запуске сервиса GPU SuperComputer — облачной платформы для высокопроизводительных вычислений, ориентированной на крупных корпоративных заказчиков, а также на предприятия малого и среднего бизнеса.

Сервис развёрнут в собственных дата-центрах МТС. Задействована программно-аппаратная платформа NVIDIA DGX с ускорителями Tesla V100, оборудованными 32 Гбайт памяти. Заказчикам доступны до 40 960 ядер CUDA и до 5120 ядер Tensor.

Сервис GPU SuperComputer поможет ускорить разработку и внедрение проектов на основе искусственного интеллекта и больших данных. Небольшие компании смогут многократно сократить затраты на высокопроизводительные вычисления, связанные с обработкой видео, распознаванием лиц и речевыми технологиями.

«За счёт параллельно работающих вычислительных элементов суперкомпьютер эффективно решает задачи, которые задействуют огромные объёмы данных. Производительность сервиса GPU SuperComputer достигает одного петафлопса, что сравнимо по производительности с более чем сотней обычных серверов», — отмечает МТС.

Что касается стоимости, то цена подписки варьируется от 29 000 рублей до 200 000 рублей в месяц в зависимости от требуемой вычислительной мощности. Небольшие компании могут получить доступ к ресурсам по цене от 999 руб. в день.

NVIDIA вслед за профессиональной графикой Quadro RTX и игровыми ускорителями GeForce RTX представила на GTC 2018 в Японии новое семейство GPU для машинного обучения и анализа информации в центрах обработки данных. Новые решения Tesla T4 («T» в названии означает новую архитектуру Turing) являются преемниками текущего семейства GPU P4, которые сейчас предлагают практически все крупные поставщики облачных вычислений. По словам NVIDIA, Google будет в числе первых компаний, которые задействуют в своей облачной платформе ускорители T4.

NVIDIA утверждает, что T4 значительно быстрее, чем P4. Например, в задачах принятия решений, связанных с лингвистикой, T4 в 34 раза быстрее, чем CPU и более чем в 3,5 раза быстрее, чем P4. Пиковая производительность T4 составляет 260 TOPS для 4-битных целочисленных операций INT4, 130 TOPS — для INT8 и 65 терафлопс для смешанных тензорных операций FP16. При обычных расчётах с плавающей запятой FP32 обещана пиковая производительность в 8,1 терафлопс.

Низкопрофильная карта T4 предназначена для установки в стандартный 75-Вт слот PCI Express. Это означает, что для установки в 1U, 4U или иные стандартные серверные стойки не требуется думать о внешнем источнике питания: достаточно возможностей слота PCIe. А низкопрофильная конструкция обеспечивает широкую совместимость с самыми разными серверами.

Но главное, что NVIDIA разработала эти чипы специально для процессов логического умозаключения в искусственном интеллекте. «Столь эффективным графическим процессором для задач принятия решений Tesla T4 делают новые тензорные ядра архитектуры Turing, — подчеркнул вице-президент и руководитель по бизнесу ЦОД в NVIDIA Tesla Ян Бак (Ian Buck). — Исполнительный директор Дженсен Хуанг (Jensen Huang) уже говорил о тензорных ядрах и о том, что они могут предложить в играх, задачах рендеринга и в области ИИ, но они прежде всего предназначены для наибольшей эффективности в процессах логического умозаключения». Сообщается, что ускоритель включает 320 тензорных ядер и 2560 ядер CUDA Turing.

Поскольку объем онлайн-видео продолжает расти экспоненциально, спрос на решения для эффективного поиска и извлечения информации из видео также увеличивается. Tesla T4 обеспечивает высокую производительность и для задач, связанных с ИИ-анализом видео. А отдельные блоки перекодировки видеопотока обеспечивают двукратный рост производительности декодирования по сравнению с GPU предыдущего поколения. T4 может декодировать до 38 потоков видео 1080p, что позволяет легко интегрировать масштабируемое глубинное обучение в видеопрограммы для создания новых интеллектуальных услуг.

В дополнение к собственно Tesla T4 компания также представила обновление своего программного обеспечения TensorRT 5 для оптимизации моделей глубинного обучения. Эта новая версия также включает в себя сервер принятия решений TensorRT, полностью контейнерный микросервис для процессов логического умозаключения в центрах обработки данных, который легко подключается к существующей инфраструктуре Kubernetes.