Компания MinIO, специализирующаяся на разработке облачных хранилищ, обвинила конкурирующую Weka в несоблюдении условий лицензий по распространению продуктов open source. Говорится, что Weka выдаёт инновационные технологии MinIO за свои собственные разработки, а пользователям продуктов Weka рекомендуется полностью избавиться от них.

В частности, как утверждается, компания Weka применяет бинарный код MinIO в своих продуктах без указания авторства. Это является нарушением лицензий Apache License v2 и GNU AGPL v3, под которыми распространяется ПО MinIO. Нарушения Weka затрагивают серверные и клиентские компоненты, а также бенчмарк WARP. При этом, как отмечается, Weka заявляет, что её ПО на основе кода MinIO каким-то образом работает быстрее, чем собственно решения MinIO.

Источник: MinIO

Поэтому MinIO отзывает лицензии Weka на все без исключения продукты со скопированным кодом, а также его модификаций — это решение вступает в силу немедленно. «Поскольку Weka не предоставила надлежащей информации в соответствии с лицензиями и использовала торговую марку MinIO, чтобы намеренно ввести своих клиентов в заблуждение, мы реализуем своё право прекратить и отозвать любую лицензию или сублицензию в соответствии с условиями Apache License v2 и GNU AGPL v3», — говорится в сообщении MinIO.

Компания WekaIO, разработчик платформ хранения данных, объявила о выпуске новой версии за номером 4.0. Ранее платформа Weka уже поддерживала интеграцию с хранилищами и томами Amazon Web Services, но в четвёртой версии она стала по-настоящему глобальной и мультиоблачной благодаря поддержке Microsoft Azure, Google Cloud Platform и Oracle Cloud Infrastructure (OCI).

Это нововведение важно, поскольку, если верить аналитикам Gartner, подавляющее большинство компаний (76%) пользуются услугами минимум двух облачных поставщиков. Корпорации с оборотом свыше $1 млрд зачастую склонны использовать три и более облака, и нередко в таких случаях имеются трудности перемещением больших объёмов данных между облаками, чего позволит избежать новая версия платформы WEKA 4.0.

Изображения: WekaIO

Новинка, по заявлению разработчика, позволит использовать облачные службы для запуска сценариев класса mission critical, поскольку обеспечивает постоянный — и при этом высокий — уровень производительности, сочетая его с высокой надёжностью и простотой управления. Ещё в апреле решения компании смогли продемонстрировать в облаке Oracle потрясающую производительность хранилища — до 2 Тбайт/с.

Теперь сжатие и дедупликация данных могут поддерживаться на всём объёме файловой системы. Поддерживается и иерархическое деление (tiering) облачных и локальных областей. Кроме того, появилась поддержка NFS v4.1, а для Samba есть собственная реализация SMB-W с более низкой латентностью и повышенным уровнем производительности при работе с мелкими файлами, что делает её пригодной к использованию в высоконагруженных сценариях в Windows-средах.

Интерфейс новой версии стал более удобным для восприятия, упростилось управление, а выполнение ряда задач теперь существенно проще, что особенно важно в крупных мультиоблачных комплексах. Доступны различные режимы репликации, в том числе перемещение устаревающих данных в более дешёвое облачное хранилище или на локальные СХД. Оптимизирована поддержка накопителей на базе QLC, позволяющая надёжно хранить большие объёмы данных на более дешёвых SSD.

Платформа WEKA 4.0 будет доступна в четырёх различных версиях, по подписке или с оплатой по факту потребления ресурсов. Подробности можно узнать в блоге и на сайте WekaIO.

Pure Storage покидает российский рынок. «Мы прекратили все поставки и услуги поддержки в России и Беларуси <…> до дальнейшего уведомления. При необходимости мы оказываем поддержку нашим сотрудникам и их семьям», — заявил глава компании. Отметим, что компания впервые закончила квартал с прибылью, заработав в IV квартале 2022 финансового года чистую прибыль в размере $14,9 млн. Правда, рынок РФ и РБ для неё и так был невелик.

Аналогичную позицию заняли несколько других игроков рынка. В частности, о приостановке бизнеса в России и сделок с российскими компаниями заявил основатель и генеральный директор Weka. Американский разработчик Veritas сообщил ресурсу Blocks&Files, что предпринял меры по приостановке всей деятельности по прямым и канальным продажам и обслуживанию в России, экспорта всех продуктов и технологий и поддержки всех продуктов, приобретённых клиентами из России.

Фото: Pixabay/FilipFilipovic

С аналогичным заявлением выступила Commvault, разработчик программного обеспечения для защиты и управления данными: «В соответствии с политикой компании и в полном соответствии со всеми международными санкциями и директивами Commvault прекратила все коммерческие операции в России». Ранее от работы c РФ отказались Acronis и Veeam, обе — с российскими корнями.

WekaIO, Inc., разработчик платформы управления и хранения данных для рабочих нагрузок ИИ и HPC, сообщил об успешном завершении раунда финансирования в размере $73 млн, который возглавила Hitachi Ventures. В результате общая сумма привлеченных WekaIO средств составила $140 млн. В раунде также участвовали HPE, NVIDIA, Micron, Cisco, MoreTech Ventures, Ibex Investors и Key 1 Capital. WekaIO сообщила, что направит привлечённые средства на ускорение выхода на рынок, а также на разработки и исследования.

WekaIO отметила, что в 2021 финансовом году, завершившемся в ноябре, ежегодный регулярный доход (ARR) вырос более чем в 2 раза, а число новых клиентов в 18 новых регионах увеличилось на 125 %. Более того, уже в первом квартале 2022 финансового года компания достигла целевого показателя по выручке за первые 14 дней. «Последний раунд [финансирования] позволит WekaIO более качественно и оперативно предоставлять услуги большему количеству клиентов и улучшить интеграцию с нашей экосистемой», — сообщил соучредитель и гендиректор компании Лиран Звидел (Liran Zvibel).

Джун Абэ (Jun Abe), председатель правления Hitachi Vantara LLC, отметил, что решение WekaIO является лидирующим на рынке и компания рада инвестировать в это перспективное с её точки зрения направление. Вторит ему Рик Шротри (Rick Shrotri), управляющий партнёр Digital Alpha. В том же ключе высказались и представители Hewlett Packard Pathfinder, Key 1 Capital, Ibex Investors, а также MoreTech Ventures.

WekaIO анонсировала облачное решение для хранения данных, основанное на собственной быстрой файловой системе WekaFS, которая унифицирует и упрощает доставку данных для ресурсоемких рабочих нагрузок и операций DataOps. Weka представила эталонные архитектуры для Amazon Web Services (AWS), Cloudian, IBM, Seagate, Quantum, Scality и другими в рамках программы Weka Technology Alliance Program по созданию экономичной облачной системы хранения данных любого масштаба. Дополнительно в рамках OEM-партнерства с Hitachi Vantara Weka представила интегрированное решение на основе Hitachi Content Platform.

Weka выделяет следующие ключевые преимущества своих комплексных решений:

• Быстрая бизнес-аналитика с помощью единого высокопроизводительного решения для хранения данных;
• Гибкое управление затратами на хранение и масштабирование хранилища под конкретные задачи;
• Единая система хранения на периферии, в дата-центре и в облаке;
• Надежность системы хранения и повышенная безопасность всех операций;
• Экономичное хранилище, которое может вмещать петабайты информации с небольшими накладными расходами.

WekaFS позволяет иметь общее пространство имен и создавать единую систему хранения на высокопроизводительной all-flash СХД, совмещенную с облачным хранилищем Amazon S3 с поддержкой REST. Метаданные файловой системы хранятся на флеш-памяти, при этом емкость легко расширяется за счет хранилища объектов частного или общедоступного облака. Все операции ввода-вывода обслуживаются уровнем флеш-памяти, а объектный уровень используется для масштабирования емкости.

WekaFS позволяет переносить данные между несколькими уровнями (частные или общедоступные облака), с возможностью использования общего пространства имен. Таким образом обеспечивается максимальная эффективность хранения и низкая совокупная стоимость владения.

Данные уже давно стали стратегическим активом для бизнеса, а управление их жизненным циклом имеет первостепенное значение, однако объем данных, использующихся для ИИ, машинного обучения, высокопроизводительных вычислений стал настолько велик, что традиционные приложения для резервного копирования просто не справляются с этим объемом, создавая частичные копии и не обеспечивая при этом полной защиты данных.

Weka использует мгновенные снимки для управления версионностью данных; сами снимки занимают мало места и обеспечивают хорошую защиту данных. На определенный момент данных существует связанная копия, включающая в себя пространство имен на флеш-памяти и хранилище объектов; в дальнейшем этот снимок можно использовать как новую копию данных для развертывания в частном или общедоступном облаке. Все снимки защищены с помощью сквозного шифрования, которое работает на протяжении всего жизненного цикла.

Weka имеет партнерские отношения с ведущими облачными провайдерами, что обеспечивает единую проверенную экосистему сервисов для хранения данных. Совместные решения включают в себя AWS S3, AWS Outposts, Cloudian HyperStore, Hitachi Content Platform (HCP), IBM Object System, Quantum.ActiveScale и Scality RING.

Мы уже писали о файловой системе WekaIO, которая может передавать огромные объемы информации буквально за секунды, используя GPUDirect Storage от NVIDIA. Как сообщает Blocks&Files, на новых системах NVIDIA DGX-2 этот производительный тандем может «прокачать» терабайт данных менее чем за девять секунд, работая со скоростью 113,1 Гбайт/с.

GPUDirect Storage (GDS) позволяет системе хранения отправлять данные непосредственно на графический процессор, не используя для этого стандартный стек ввода-вывода операционной системы хост-сервера. GDS обеспечивает прямой доступ к памяти (DMA) и передает данные из памяти графического ускорителя к накопителям NVMe.

Microsoft Research провела тестирование обновленного программного обеспечения WekaIO 3.8, с подключением через Infiniband к DGX-2, используя GPUDirect Storage. При замерах была зафиксирована скорость передачи данных 97,9 Гбайт/с при использовании единственной точки монтирования к WekaFS. Эта скорость на данный момент является рекордной для всех одноузловых протестированных систем с использованием GDS. Результат был подтвержден с помощью утилиты NVIDIA GDSIO, работавшей более 10 минут, и получением стабильной производительности в течении всего измерения.

Источник: Blocks&Files

Но и таких скоростей тестировщикам показалось мало, и они собрали новый тестовый стенд с десятью двухпортовыми сетевыми адаптерами, получив прирост в 38% — 113,13 Гбайт/с для сервера DGX-2. Тестовая система выдала 5 млн IOPS — внушительный результат.

Понятно, что это не массовое решение и стоит оно пока космических денег, однако WekaIO поставила планку скорости, к которой теперь будут стремиться конкуренты. Будем ждать, пока подобные технологии будут доступны более широкому кругу пользователей, ведь они открывают огромные возможности для обработки данных в режиме реального времени.

Мы недавно писали про WekaIO и про ее разработки, ускоряющие передачу данных от NVMe-накопителей к графическим ускорителям NVIDIA. Недавно стало известно о достаточно интересном практическом применении этой технологии: NASA использует WekaIO для передачи файлов на четыре графических ускорителя NVIDIA для моделирования спуска посадочного модуля на Марс.

Посадочный модуль прибывает на Марс, двигаясь со скоростью 12 000 миль/ч (примерно 19 300 км/ч) и замедляется, используя ракетные двигатели. На приземление отводится всего семь минут, а посадку осложняет разреженная атмосфера Марса, которая делает невозможным эффективное использование парашюта.

Компьютерное моделирование показывает, как реактивная струя ракеты взаимодействует с марсианской атмосферой в реальном времени. В видео NASA говорится, что потребовалось 150 Тбайт данных и недельное тестирование на суперкомпьютере Summit в Oak Ridge National Laboratories с более чем 27 тыс. GPU NVIDIA для создания полной модели. Данные в модели содержат более 1 миллиарда записей данных, каждая из которых содержит семь атрибутов.

Симуляция в реальном времени может проигрываться с помощью WekaIO Matrix. Система хранит наборы данных на NVMe SSD, которые параллельно передаются четырем графическим ускорителям со скоростью 160 Гбайт/с посредством NVIDIA GPUDirect Storage, минуя центральный процессор и память хост-сервера. Без использования технологии GPU Direct Storage пропускная способность падает до 30 Гбайт/с.

WekaIO разработала готовое решение, помогающее ускорить передачу данных в хранилище в рабочих нагрузках ИИ. Основная особенность нового решения — поддержка NVIDIA GPUDirect Storage хранилищем на базе NVMe-накопителей. WekaIO заявляет, что ее решение может обеспечить пропускную способность в десятки раз больше, чем стандартные решения:

Инфраструктура Weka AI включает в себя настраиваемые эталонные архитектуры и комплекты для разработки программного обеспечения, основанные на GPU NVIDIA, сетевом оборудовании Mellanox (NVIDIA Networks), серверах Supermicro (можно использовать оборудование любых вендоров) и программном обеспечении Weka Matrix.

Weka AI использует технологию GPUDirect Storage, что обеспечивает прямую связь между хранилищем и ускорителями, устраняя узкие места ввода-вывода для приложений ИИ, интенсивно использующих данные. Обеспечивается не только большая пропускная способность, но и низкая задержка ввода-вывода.

На данный момент заявлена поддержка протоколов POSIX, NFS, SMB и S3. Поддерживаются объектные хранилища данных Amazon S3, Cloudian, IBM COS, Quantum (ActiveScale), Scality и SwiftStack S3. Референсная архитектура решения уже доступна для пользователей.