Материалы по тегу: ddn

17.11.2021 [19:49], Алексей Степин

Habana Labs, Supermicro и DDN представили платформу машинного обучения

Обучение сложных нейросетей, в отличие от запуска уже натренированных, требует огромных вычислительных ресурсов, включая специализированные ИИ-ускорители. Компания Intel, в своё время купившая стартап Habana Labs, такими ускорителями располагает и на днях объявила о доступности новой, готовой к использованию мощной платформы машинного обучения.

Процессоры Habana Gaudi изначально проектировались с прицелом на задачи машинного обучения, а вычислительная часть спроектирована с учётом вычислений, характерных для задач ИИ. При этом Gaudi — единственный сопроцессор подобного класса, располагающий встроенными 100GbE-контроллерами с поддержкой RoCE v2, что значительно упрощает развёртывание и масштабирование систем на его основе.

 Supermicro X12 Gaudi AI Training System

Supermicro X12 Gaudi AI Training System

Одной из первых сервер на базе ускорителей Gaudi представила Supermicro. X12 Gaudi AI Training System включает в себя пару процессоров Xeon Ice Lake-SP, но основной объём занимают модули Gaudi в формате OAM HL-205. Их в системе восемь, и каждый несёт на борту по 32 Гбайт памяти HBM2. Эти серверы стали основой суперкомпьютера SDSC Voyager.

Но это лишь часть платформы, представленной Intel: для полноценного обучения сложных сетей мало одних вычислительных ускорителей, огромные объёмы входных данных надо где-то хранить и эффективно ими управлять, не создавая «бутылочных горлышек». Поэтому вторым важным компонентом новой платформы стала новейшая СХД DDN AI400X2. Новая платформа Intel/Habana может поставляться в вариантах с одним, двумя или четырьмя серверами X12 и минимум одной AI400X2.

 DDN AI400X2

DDN AI400X2

DDN AI400X2 — новинка, пополнившая на днях серию решений DDN A3I и наследница AI400X. Один 2U-узел AI400X2 вдвое быстрее прошлого поколения и способен выдать 90 Гбайт/с. На случайных операциях производительность составляет 3 млн IOPS. Для того чтобы обеспечить такой поток данных, в системе используются NVMe SSD с поддержкой PCIe 4.0, суммарным объёмом до 720 Тбайт. Интересно, что данная СХД умеет использовать в своей ФС ExaScaler ресурсы клиентских узлов для хранения и дистрибуции самых «горячих» данных.

Поддерживаются также гибридные конфигурации с SSD и HDD, с автоматическим ранжированием данных, при этом HDD-часть может набираться отдельными дисковыми полками (до 22U) и предоставляет до 11,5 Пбайт. Весьма полезное качество, поскольку аналитики отмечают крайне быстрый рост объёмов данных, используемых для систем ИИ и машинного обучения. Причём более половины пользователей дополняют и переобучают свои ИИ-модели минимум раз в неделю.

 Один из вариантов развёртывания новой платформы

Один из вариантов развёртывания новой платформы

При необходимости, начав с минимальной конфигурации, платформу легко превратить в серьёзный кластер с сотнями и тысячами ускорителей, объединённый быстрой сетью с поддержкой RDMA. В качестве основного коммутатора DDN рекомендует модель Arista 7170-32C с 32 портами 100GbE, а в крупных масштабах и при необходимости развёртывания Gaudi-сети — Arista DCS-7060DX-32 с 32 портами 400GbE и производительностью 25,6 Тбит/с.

Платформа прошла валидацию для использования с ПО Habana SynapseAI и включает в себя оптимизированные docker-контейнеры для нагрузок TensorFlow и PyTorch. За управление отвечает фирменная система Software Vault, а портал Habana Developer и открытые GitHub-репозитории упростят ввод платформы в эксплуатацию.

Постоянный URL: http://servernews.ru/1053945
25.10.2021 [13:23], Сергей Карасёв

DDN обновила серию Tintri и объявила о создании производства СХД в Индии

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для высокопроизводительных вычислений (НРС), средств аналитики и ИИ-решений, сообщила об организации производства на территории Индии. Предприятие займётся выпуском систем хранения данных корпоративного класса.

В Индии будут производиться системы EXAScaler HPC и A3I (Accelerated, Any-Scale AI), IntelliFlash, сетевые и унифицированные хранилища информации, а также устройства семейства Tintri VMstore. Компания открыла индийский центр исследований и разработок ещё в 2016 году. Теперь в этой стране появилась площадка по созданию и производству аппаратных решений. DDN намерена тесно сотрудничать с местными контрактными производителями, поставщиками компонентов и участниками логистической инфраструктуры.

 DDN

DDN

Локализация производства позволит компании повысить позиции на индийском IT-рынке, который бурно развивается. Инициативой правительства Production Linked Incentive Scheme ранее заинтересовались Dell, Flextronics, Foxconn и Wistron, которые готовы организовать производство серверов и ПК на территории Индии (а не Китая). Но это не единственный похожий анонс в области СХД — на прошлой неделе SoftIron объявила о создании производства в Австралии, которая тоже обеспокоена защищённостью цепочек поставок оборудования.

Кроме того, DDN сообщила о выпуске новых All-Flash СХД серии Tintri. Появились 2U-модели VMstore T7040 и VMstore T7060, а также обновлённая модификация VMstore T7080. Все имеют «сырую» ёмкость до 185 Тбайт (эффективная — до 645 Тбайт). Они могут оснащаться портами 25/40/100GbE. Может быть также выбрана конфигурация с четырьмя портами 10 GbE. Системы оснащены 24 отсеками для NVMe SSD. Модели VMstore T7040, VMstore T7060 и VMstore T7080 поддерживают до 7500, 15 000 и 22 500 виртуальных дисков (vDisks) соответственно.

Постоянный URL: http://servernews.ru/1052091
02.07.2021 [21:54], Алексей Степин

DataDirect Networks анонсировала новые решения и программные продукты

Компания DataDirect Networks (DDN), специализирующаяся в области систем машинного интеллекта и крупных облачных комплексов, представила свои новые разработки. В первую очередь, речь идёт об обновлённой версии ПО EXAScaler, но также анонсированы и новые аппаратные комплексы на базе фирменных систем A3I и решений NVIDIA.

С NVIDIA DDN сотрудничает давно и ещё весной этого года были представлены сертифицированные масштабируемые ИИ-комплексы, сочетающие фирменные наработки компании в области хранения данных и ускорители NVIDIA A100. Эти системы получили название Any-Scale AI (A3I). В этот раз компания объединила СХД A3I с решениями NVIDIA DGX SuperPOD, а также расширила серию фирменных флеш-хранилищ Tintri IntelliFlash.

Системы хранения данных DDN базируются на флеш-массивах EXAScaler, работающих под управлением параллельной файловой системы Lustre. В настоящее время в серию входят 2U-модули ES200NVX и ES400NVX, рассчитанные на установку 24 накопителей NVMe, 4U-модуль SFA7990X, могущий вместить до 90 полноразмерных дисковых устройств формата 3,5″, а также высокоскоростной гибридный 4U-модуль SFA18KX. Последний сочетает в себе SAS и NVMe SSD и может обеспечить производительность 3,2 млн IOPS.

Обновилась и программная часть. Новая, шестая версия фирменного ПО EXA6 получила поддержку пакета технологий NVIDIA Magnum IO GPU DirectStorage, новый управляющий фреймворк EXAScaler Management Framework с API для конфигурации и менеджмента, поддержку апгрейдов в режиме онлайн и автоматический тиринг.

Отдельного упоминания заслуживает функция Hot Nodes. Она автоматически кеширует на узлах c ускорителями NVIDIA и NVMe-накопителями, что позволяет сократить «путешествия» данных по сети, а значит, и снизить задержки ввода-вывода. Как считает DDN, именно Hot Nodes повышает эффективность работы моделей машинного обучения, поскольку те часто требуют повторного обращения к массиву данных, а за счёт кеширования Hot Nodes такие обращения можно провести очень быстро.

Новый аппаратный комплекс DDN включает в себя 20 модулей NVIDIA DGX A100 в составе SuperPOD, систему хранения данных, полностью построенную на базе флеш-памяти, а также сетевую инфраструктуру на базе новейших решений NVIDIA/Mellanox InfiniBand. Новинка, по сути, являет собой полностью законченное конвергентное предложение с готовой инфраструктурой. Оно уже доступно сертифицированным партнёрам DDN и NVIDIA.

Также обновлено фирменное программное обеспечение DDN Insight, предназначенное для конфигурации и мониторинга систем, предлагаемых компанией. Четвёртая версия способна собирать данные на уровне индивидуальных задач, IO-метрики, осуществлять анализ рабочих нагрузок и загрузки ускорителей. Обновление ПО EXAScaler 6 и Insight 4.0 планируется на третий квартал текущего года.

Постоянный URL: http://servernews.ru/1043438
14.04.2021 [16:39], Владимир Мироненко

DDN представила сертифицированные NVIDIA ИИ-решения

Компания DDN, специализирующаяся в области искусственного интеллекта (ИИ) и решений для управления многооблачными данными, запустила сертифицированный NVIDIA набор решений ИИ с оптимизированной производительностью в различных сценариях развёртывания и интеграции ИИ-систем.

Благодаря решениям DDN A3I (Accelerated, Any-Scale AI) и NVIDIA DGX A100 на базе ускорителей NVIDIA A100 и NVIDIA Mellanox InfiniBand и Ethernet, ресселеры и дистрибуторы теперь могут предоставлять корпоративным клиентам многофункциональные, простые в развёртывании и управлении интеллектуальные решения инфраструктуры ИИ, высокоэффективные и рентабельные для любого масштаба. Кроме того, компания одной из первых стала экспериментировать с портированием собственного ПО для СХД на DPU BlueField-2.

Конфигурации DDN A3I, предварительно интегрированные с инфраструктурными решениями NVIDIA DGX A100, предлагаются в нескольких вариантах, соответствующих бизнес-потребностям клиентов, с поддержкой таких сценариев использования, как системы рекомендаций ИИ, анализ изображений и обработка естественного языка, а также таких областей, как здравоохранение, автономное вождение, финансовые услуги и гибридное облако. Программа включает в себя полный набор вспомогательных инструментов продаж, инструментов для отслеживания и создания спроса, которые позволят партнёрам успешно продавать и позиционировать свои решения на основе ИИ.

Постоянный URL: http://servernews.ru/1037348
Система Orphus