Материалы по тегу: wekaio

27.10.2020 [23:25], Юрий Поздеев

WekaIO анонсировала облачное хранилище данных для высоких нагрузок

WekaIO анонсировала облачное решение для хранения данных, основанное на собственной быстрой файловой системе WekaFS, которая унифицирует и упрощает доставку данных для ресурсоемких рабочих нагрузок и операций DataOps. Weka представила эталонные архитектуры для Amazon Web Services (AWS), Cloudian, IBM, Seagate, Quantum, Scality и другими в рамках программы Weka Technology Alliance Program по созданию экономичной облачной системы хранения данных любого масштаба. Дополнительно в рамках OEM-партнерства с Hitachi Vantara Weka представила интегрированное решение на основе Hitachi Content Platform.

Weka выделяет следующие ключевые преимущества своих комплексных решений:

  • Быстрая бизнес-аналитика с помощью единого высокопроизводительного решения для хранения данных;
  • Гибкое управление затратами на хранение и масштабирование хранилища под конкретные задачи;
  • Единая система хранения на периферии, в дата-центре и в облаке;
  • Надежность системы хранения и повышенная безопасность всех операций;
  • Экономичное хранилище, которое может вмещать петабайты информации с небольшими накладными расходами.

WekaFS позволяет иметь общее пространство имен и создавать единую систему хранения на высокопроизводительной all-flash СХД, совмещенную с облачным хранилищем Amazon S3 с поддержкой REST. Метаданные файловой системы хранятся на флеш-памяти, при этом емкость легко расширяется за счет хранилища объектов частного или общедоступного облака. Все операции ввода-вывода обслуживаются уровнем флеш-памяти, а объектный уровень используется для масштабирования емкости.

WekaFS позволяет переносить данные между несколькими уровнями (частные или общедоступные облака), с возможностью использования общего пространства имен. Таким образом обеспечивается максимальная эффективность хранения и низкая совокупная стоимость владения.

Данные уже давно стали стратегическим активом для бизнеса, а управление их жизненным циклом имеет первостепенное значение, однако объем данных, использующихся для ИИ, машинного обучения, высокопроизводительных вычислений стал настолько велик, что традиционные приложения для резервного копирования просто не справляются с этим объемом, создавая частичные копии и не обеспечивая при этом полной защиты данных.

Weka использует мгновенные снимки для управления версионностью данных; сами снимки занимают мало места и обеспечивают хорошую защиту данных. На определенный момент данных существует связанная копия, включающая в себя пространство имен на флеш-памяти и хранилище объектов; в дальнейшем этот снимок можно использовать как новую копию данных для развертывания в частном или общедоступном облаке. Все снимки защищены с помощью сквозного шифрования, которое работает на протяжении всего жизненного цикла.

Weka имеет партнерские отношения с ведущими облачными провайдерами, что обеспечивает единую проверенную экосистему сервисов для хранения данных. Совместные решения включают в себя AWS S3, AWS Outposts, Cloudian HyperStore, Hitachi Content Platform (HCP), IBM Object System, Quantum.ActiveScale и Scality RING.

Постоянный URL: http://servernews.ru/1023954
12.10.2020 [20:29], Юрий Поздеев

113,1 Гбайт/с и 5 млн IOPS: новый рекорд пропускной способности NVIDIA GPUDirect Storage c WekaIO

Мы уже писали о файловой системе WekaIO, которая может передавать огромные объемы информации буквально за секунды, используя GPUDirect Storage от NVIDIA. Как сообщает Blocks&Files, на новых системах NVIDIA DGX-2 этот производительный тандем может «прокачать» терабайт данных менее чем за девять секунд, работая со скоростью 113,1 Гбайт/с.

GPUDirect Storage (GDS) позволяет системе хранения отправлять данные непосредственно на графический процессор, не используя для этого стандартный стек ввода-вывода операционной системы хост-сервера. GDS обеспечивает прямой доступ к памяти (DMA) и передает данные из памяти графического ускорителя к накопителям NVMe.

Microsoft Research провела тестирование обновленного программного обеспечения WekaIO 3.8, с подключением через Infiniband к DGX-2, используя GPUDirect Storage. При замерах была зафиксирована скорость передачи данных 97,9 Гбайт/с при использовании единственной точки монтирования к WekaFS. Эта скорость на данный момент является рекордной для всех одноузловых протестированных систем с использованием GDS. Результат был подтвержден с помощью утилиты NVIDIA GDSIO, работавшей более 10 минут, и получением стабильной производительности в течении всего измерения.

Источник: Blocks&Files

Источник: Blocks&Files

Но и таких скоростей тестировщикам показалось мало, и они собрали новый тестовый стенд с десятью двухпортовыми сетевыми адаптерами, получив прирост в 38% — 113,13 Гбайт/с для сервера DGX-2. Тестовая система выдала 5 млн IOPS — внушительный результат.

Понятно, что это не массовое решение и стоит оно пока космических денег, однако WekaIO поставила планку скорости, к которой теперь будут стремиться конкуренты. Будем ждать, пока подобные технологии будут доступны более широкому кругу пользователей, ведь они открывают огромные возможности для обработки данных в режиме реального времени.

Постоянный URL: http://servernews.ru/1022752
16.08.2020 [22:09], Юрий Поздеев

Видео дня: WekaIO поможет отправиться на Марс

Мы недавно писали про WekaIO и про ее разработки, ускоряющие передачу данных от NVMe-накопителей к графическим ускорителям NVIDIA. Недавно стало известно о достаточно интересном практическом применении этой технологии: NASA использует WekaIO для передачи файлов на четыре графических ускорителя NVIDIA для моделирования спуска посадочного модуля на Марс.

Посадочный модуль прибывает на Марс, двигаясь со скоростью 12 000 миль/ч (примерно 19 300 км/ч) и замедляется, используя ракетные двигатели. На приземление отводится всего семь минут, а посадку осложняет разреженная атмосфера Марса, которая делает невозможным эффективное использование парашюта.

Компьютерное моделирование показывает, как реактивная струя ракеты взаимодействует с марсианской атмосферой в реальном времени. В видео NASA говорится, что потребовалось 150 Тбайт данных и недельное тестирование на суперкомпьютере Summit в Oak Ridge National Laboratories с более чем 27 тыс. GPU NVIDIA для создания полной модели. Данные в модели содержат более 1 миллиарда записей данных, каждая из которых содержит семь атрибутов.

Симуляция в реальном времени может проигрываться с помощью WekaIO Matrix. Система хранит наборы данных на NVMe SSD, которые параллельно передаются четырем графическим ускорителям со скоростью 160 Гбайт/с посредством NVIDIA GPUDirect Storage, минуя центральный процессор и память хост-сервера. Без использования технологии GPU Direct Storage пропускная способность падает до 30 Гбайт/с.

Постоянный URL: http://servernews.ru/1018361
13.08.2020 [14:51], Юрий Поздеев

WekaIO внедрила поддержку NVIDIA GPUDirect Storage для ускорения ИИ-задач

WekaIO разработала готовое решение, помогающее ускорить передачу данных в хранилище в рабочих нагрузках ИИ. Основная особенность нового решения — поддержка NVIDIA GPUDirect Storage хранилищем на базе NVMe-накопителей. WekaIO заявляет, что ее решение может обеспечить пропускную способность в десятки раз больше, чем стандартные решения:

Инфраструктура Weka AI включает в себя настраиваемые эталонные архитектуры и комплекты для разработки программного обеспечения, основанные на GPU NVIDIA, сетевом оборудовании Mellanox (NVIDIA Networks), серверах Supermicro (можно использовать оборудование любых вендоров) и программном обеспечении Weka Matrix.

Weka AI использует технологию GPUDirect Storage, что обеспечивает прямую связь между хранилищем и ускорителями, устраняя узкие места ввода-вывода для приложений ИИ, интенсивно использующих данные. Обеспечивается не только большая пропускная способность, но и низкая задержка ввода-вывода.

На данный момент заявлена поддержка протоколов POSIX, NFS, SMB и S3. Поддерживаются объектные хранилища данных Amazon S3, Cloudian, IBM COS, Quantum (ActiveScale), Scality и SwiftStack S3. Референсная архитектура решения уже доступна для пользователей.

Постоянный URL: http://servernews.ru/1018163
Система Orphus