Компания WekaIO, разработчик решений для хранения данных, анонсировала высокопроизводительное All-Flash хранилище WEKApod, оптимизированное для работы с платформой NVIDIA DGX SuperPOD на базе NVIDIA DGX H100. Новинка объединяет специализированное ПО WekaIO и «лучшее в своем классе оборудование».

Хранилище WEKApod спроектировано для ресурсоёмких нагрузок ИИ. Базовая конфигурация состоит из восьми 1U-узлов, обеспечивающих суммарную вместимость в 1 Пбайт. Показатель IOPS (операций ввода-вывода в секунду) достигает 18,3 млн. Заявленная пропускная способность при чтении составляет до 720 Гбайт/с, при записи — до 186 Гбайт/с.

Утверждается, что восемь узлов WEKApod обеспечивает производительность, необходимую для 128 систем NVIDIA DGX H100. При этом WEKApod может масштабироваться до сотен узлов блоками по четыре узла. Таким образом, можно сформировать систему необходимой вместимости с высокой отказоустойчивостью для обучения больших языковых моделей (LLM), ИИ-приложений, работающих в реальном времени, и пр.

Источник изображения: WekaIO

Отмечается, что архитектура WEKApod обеспечивает снижение энергопотребления благодаря оптимальному использованию пространства, улучшенному охлаждению и средствам энергосбережения в режиме простоя. В результате, достигается потенциальное сокращение углеродного следа до 260 т/Пбайт.

WEKApod использует адаптеры NVIDIA ConnectX-7 и NVIDIA Base Command Manager для мониторинга и управления. Каждый из узлов несёт на борту процессор AMD EPYC 9454P (48C/96T; 2,75–3,80 ГГц; 290 Вт) и 384 Гбайт памяти DDR5-4800. Есть посадочные места для 14 накопителей формата E3.S с интерфейсом PCIe 5.0. Производительность в расчёте на узел достигает 90 Гбайт/с при чтении и 23,3 Гбайт/с при записи, а величина IOPS равна 2,3 млн при произвольном чтении и 535 тыс. при произвольной записи.

Компания MinIO, специализирующаяся на разработке облачных хранилищ, обвинила конкурирующую Weka в несоблюдении условий лицензий по распространению продуктов open source. Говорится, что Weka выдаёт инновационные технологии MinIO за свои собственные разработки, а пользователям продуктов Weka рекомендуется полностью избавиться от них.

В частности, как утверждается, компания Weka применяет бинарный код MinIO в своих продуктах без указания авторства. Это является нарушением лицензий Apache License v2 и GNU AGPL v3, под которыми распространяется ПО MinIO. Нарушения Weka затрагивают серверные и клиентские компоненты, а также бенчмарк WARP. При этом, как отмечается, Weka заявляет, что её ПО на основе кода MinIO каким-то образом работает быстрее, чем собственно решения MinIO.

Источник: MinIO

Поэтому MinIO отзывает лицензии Weka на все без исключения продукты со скопированным кодом, а также его модификаций — это решение вступает в силу немедленно. «Поскольку Weka не предоставила надлежащей информации в соответствии с лицензиями и использовала торговую марку MinIO, чтобы намеренно ввести своих клиентов в заблуждение, мы реализуем своё право прекратить и отозвать любую лицензию или сублицензию в соответствии с условиями Apache License v2 и GNU AGPL v3», — говорится в сообщении MinIO.

Компания WekaIO, разработчик платформ хранения данных, объявила о выпуске новой версии за номером 4.0. Ранее платформа Weka уже поддерживала интеграцию с хранилищами и томами Amazon Web Services, но в четвёртой версии она стала по-настоящему глобальной и мультиоблачной благодаря поддержке Microsoft Azure, Google Cloud Platform и Oracle Cloud Infrastructure (OCI).

Это нововведение важно, поскольку, если верить аналитикам Gartner, подавляющее большинство компаний (76%) пользуются услугами минимум двух облачных поставщиков. Корпорации с оборотом свыше $1 млрд зачастую склонны использовать три и более облака, и нередко в таких случаях имеются трудности перемещением больших объёмов данных между облаками, чего позволит избежать новая версия платформы WEKA 4.0.

Изображения: WekaIO

Новинка, по заявлению разработчика, позволит использовать облачные службы для запуска сценариев класса mission critical, поскольку обеспечивает постоянный — и при этом высокий — уровень производительности, сочетая его с высокой надёжностью и простотой управления. Ещё в апреле решения компании смогли продемонстрировать в облаке Oracle потрясающую производительность хранилища — до 2 Тбайт/с.

Теперь сжатие и дедупликация данных могут поддерживаться на всём объёме файловой системы. Поддерживается и иерархическое деление (tiering) облачных и локальных областей. Кроме того, появилась поддержка NFS v4.1, а для Samba есть собственная реализация SMB-W с более низкой латентностью и повышенным уровнем производительности при работе с мелкими файлами, что делает её пригодной к использованию в высоконагруженных сценариях в Windows-средах.

Интерфейс новой версии стал более удобным для восприятия, упростилось управление, а выполнение ряда задач теперь существенно проще, что особенно важно в крупных мультиоблачных комплексах. Доступны различные режимы репликации, в том числе перемещение устаревающих данных в более дешёвое облачное хранилище или на локальные СХД. Оптимизирована поддержка накопителей на базе QLC, позволяющая надёжно хранить большие объёмы данных на более дешёвых SSD.

Платформа WEKA 4.0 будет доступна в четырёх различных версиях, по подписке или с оплатой по факту потребления ресурсов. Подробности можно узнать в блоге и на сайте WekaIO.