Компания DataDirect Networks (DDN) анонсировала, как утверждается, «прорывную» архитектуру хранения данных, ориентированную на системы для ресурсоёмких задач ИИ. По сравнению с другими платформами предложенное решение обеспечивает возможность существенного снижения финансовых затрат при высоком уровне производительности.

DDN отмечает, что стремительное развитие ИИ приводит к повышению спроса на SSD, что, в свою очередь, провоцирует рост цен на чипы флеш-памяти NAND, а следовательно, и на твердотельные накопители. Аналитики TrendForce прогнозируют увеличение контрактных цен на изделия NAND на 5–10% только в IV квартале 2025 года. Волатильность цен на SSD и HDD нарушает сроки реализации проектов, создаёт неопределённости при планировании бюджета и ставит под угрозу развитие масштабных ИИ-платформ. DDN заявляет, что её архитектура данных помогает решить проблему.

Источник изображения: DDN

Обычные СХД, ориентированные на требовательные ИИ-нагрузки, как подчёркивает DDN, полагаются исключительно на дорогие высокопроизводительные NVMe-накопители. Архитектура DDN предполагает сочетание трёх уровней хранения — на базе SSD высокого класса, недорогих SSD и HDD. Такой подход реализован в платформах DDN EXA и Infinia.

Отмечается, что предложенная архитектура позволяет задействовать ресурсы GPU-ускорителей на 90–98 % при выполнении задач, связанных с обучением больших языковых моделей (LLM), инференсом, аналитикой больших данных и НРС.  При этом потребность в дорогостоящих высокопроизводительных SSD (NVMe) снижается на 35–65 %, общие капитальные затраты на организацию хранения сокращаются на 40–70 %, а эксплуатационные расходы уменьшаются на 30–60 %.

Заявлена глубокая оптимизация для NVIDIA DGX, GB200, Spectrum-X, BlueField и NIM. Среди сфер применения архитектуры названы финансовый сектор, автомобилестроение и робототехника, науки о жизни, производство, государственный сегмент и суверенный ИИ.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, объявила о заключении партнёрского соглашения с разработчиком ИИ-решений Nebius (бывшая материнская структура «Яндекса»). В рамках соглашения стороны займутся созданием высокопроизводительной подсистемы хранения данных для ресурсоёмких ИИ-задач.

Речь идёт об интеграции решений DDN Infinia и EXAScaler в облачную инфраструктуру Nebius AI Cloud. Эти системы будут использоваться для хранения данных, предназначенных для обучения больших языковых моделей, инференса и поддержания работы ИИ-приложений в реальном времени.

По заявлениям DDN, Infinia гарантирует надёжность и передовую производительность, благодаря чему ускоряется обучение и развёртывание моделей ИИ. Вместе с тем EXAScaler обеспечивает высокую пропускную способность и согласованность операций ввода-вывода. Другим преимуществом названных решений является возможность масштабирования в рамках облачных и локальных развёртываний: заказчики смогут быстро наращивать ресурсы в ИИ-облаке Nebius, гибридных и изолированных средах, используя параллельную файловую систему EXAScaler.

Источник изображения: Nebius

Утверждается, что Infinia и EXAScaler устраняют проблемы с задержками при обработке данных. В результате, нагрузки ИИ могут обрабатываться с максимальной эффективностью — даже в случае моделей с несколькими триллионами параметров. В целом, как отмечают партнёры, благодаря интеграции систем DDN в облако Nebius клиенты смогут решать ИИ-задачи с более высокой скоростью и с меньшими временными и финансовыми затратами.

Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.

Компания DataDirect Networks (DDN), специализирующаяся на разработке быстрых хранилищ для НРС- и ИИ-систем, объявила о стратегических инвестициях в размере $300 млн, полученных от управляющего альтернативными активами Blackstone, оценившего DDN в $5 млрд.

DDN сообщила, что благодаря этой сделке она готова к историческому росту в 2025 году после рекордного увеличения выручки ИИ-направления — +400 % в 2024 году. Комментируя сделку, гендиректор DDN Алекс Бузари (Alex Bouzari) сообщил газете Wall Street Journal, что компания будет использовать эти средства «для резкого расширения клиентской базы компании по работе с ИИ-данными». Инвестиции помогут привнести суперкомпьютерные технологии в мирк корпоративных IT и бросить вызов гигантам отрасли в области ИИ.

Отмечается, что DDN на протяжении более двух десятилетий работала с прибылью и достигла «значительного мирового успеха без внешнего финансирования». Но «беспрецедентный рост ИИ представляет собой возможность, которая появляется раз в поколение», побуждая DDN впервые принять внешние инвестиции. По словам компании, её платформа хранения и управления данными позволяет кратно ускорить обучение моделей.

Источник изображения: DDN

DDN предлагает серию программных и аппаратных хранилищ для HPC- и ИИ-кластеров. Компания развивает серию хранилищ AI400, ориентированных на обучении моделей генеративного ИИ и поддерживающих протокол GPUDirect от NVIDIA, с которой у неё заключено соглашение о стратегическом партнёрстве. Также компания предлагает платформу Infinia и ряд других продуктов, в том числе облачных.

В 2018 году компания приобрела у Intel команду разработчиков параллельной файловой системы Lustre и выкупила за $60 млн бизнес обанкротившейся Tintri. В 2019 году DDN за неназванную сумму приобрела Nexenta и подразделение по выпуску гибридных хранилищ IntelliFlash компании Western Digital. В числе клиентов DDN есть NASA, xAI, NVIDIA, Lambda Labs и т.д. В частности, компания поставила СХД для суперкомпьютеров NVIDIA EOS и xAI Colossus.

Что касается инвестора, то Blackstone — крупнейший в мире управляющий альтернативными инвестициями. Под его управлением находятся активы на сумму более $1 трлн, включая $70 млрд ЦОД. В октябре Blackstone сообщила о намерении увеличить активы ЦОД ещё на $100 млрд. Blackstone планирует вложить £10 млрд в строительство в Великобритании крупнейшего в Европе ИИ ЦОД, а также €15 млрд на ЦОД в испанском Арагоне.

Компания DataDirect Networks (DDN), специализирующаяся на платформах хранения данных для НРС-задач, сообщила о создании высокопроизводительного хранилища на базе DDN EXAScaler AI (A³I — Accelerated, Any-Scale AI) для ИИ-суперкомпьютера NVIDIA EOS производительностью 18,4 Эфлопс (FP8). Речь идёт о кластере, объединяющем 576 систем NVIDIA DGX H100.

Компания DDN заявляет, что разработала для NVIDIA EOS систему хранения с высокими показателями быстродействия и энергетической эффективности. Объединены 48 устройств A³I, которые сообща занимают менее трёх серверных стоек. Потребляемая мощность заявлена на отметке 100 кВт.

Источник изображения: DDN

Задействованы 250-Тбайт массивы NVMe-накопителей. Суммарная ёмкость СХД составляет 12 Пбайт. Общая пропускная способность, по заявлениям разработчика, достигает 4 Тбайт/с. Таким образом, система способна справляться с самыми ресурсоёмкими рабочими нагрузками ИИ, большими языковыми моделями, комплексным моделированием и пр.

«Наша цель — обеспечение максимальной эффективности всей платформы, а не просто предоставление эффективного хранилища. Благодаря интеграции с суперкомпьютером NVIDIA EOS наше решение демонстрирует способность сократить время окупаемости при одновременном снижении рисков как для локальных, так и для облачных партнёров», — говорит президент и соучредитель DDN.