Selectel, крупнейший независимый провайдер сервисов IT-инфраструктуры в России, открыл первое в России мультирегиональное объектное хранилище с выбором локации в разных федеральных округах — Москве и Санкт-Петербурге. Новое решение позволит размещать данные, обеспечивая более высокую надёжность, производительность и катастрофоустойчивость инфраструктуры.

Добавление мультирегиональности в хранилище S3 Selectel открывает новые возможности для современных IT-команд, которые теперь могут создавать бакеты в разных географических локациях, выбирая оптимальное расположение для хранения и обработки данных. Этот подход позволяет разнести данные по нескольким дата-центрам, минимизируя риски и обеспечивая максимальную катастрофоустойчивость. Критически важные данные теперь можно дублировать между регионами, сохраняя их на расстоянии более 750 км друг от друга. В случае сбоя в одном регионе, будь то проблемы с интернетом или электропитанием, или даже масштабный катаклизм, данные останутся доступными из резервного региона.

Источник изображения: Selectel

Новая функциональность также помогает улучшить производительность благодаря снижению задержек при доступе к данным. Географическое расположение хранилища ближе к точкам нагрузки значительно уменьшает время ожидания. Это особенно актуально для бизнеса, который имеет представительства сразу в нескольких регионах или по всей России, и нуждается в гибкой IT-инфраструктуре, размещая данные там, где это необходимо, исходя из своих задач.

«Одна из зон доступности нашего мультирегионального хранилища расположена в пуле gis-1 и подходит для хранения данных согласно требованиям 17 приказа ФСТЭК, что крайне важно для компаний, которые работают с государственными информационными системами, — отмечает Александр Гришин, менеджер продуктов Selectel. — Наша команда уже работает над расширением географии хранилища, и в ближайшее время мы планируем запустить новые регионы и зоны доступности».

Помимо классических файловых и блочных систем хранения данных в бизнес-процессах часто используются объектные СХД, позволяющие хранить большие объёмы неструктурированных данных, для извлечения которых используются специальные протоколы, наиболее распространённым из которых является S3. Такие хранилища легко масштабируются и обеспечивают расширенные возможности хранения метаданных, а также управления временем и другими параметрами хранения.

Компания YADRO имеет в своём арсенале программно-аппаратное решение TATLIN.OBJECT, полностью разработанное в России с учётом местных особенностей, но при этом не уступающее лучшим зарубежным объектным СХД. В основе решения лежит децентрализованный движок хранения данных, изначально спроектированный специалистами компании для работы в сложных условиях — например, при нестабильности функционирования глобальной сети, отказе накопителей или выходе из строя части узлов.

Источник здесь и далее: YADRO

Аппаратная часть TATLIN.OBJECT реализована с помощью специализированных серверных платформ. Они тщательно проверены на совместимость и используют подключение 10/25GbE. В качестве накопителей в узлах хранения данных используются Nearline HDD с интерфейсом SAS, а для кеширования возможна установка до четырёх SSD объёмом по 1,92 Тбайт.

Пространство на накопителях сформировано в «шарды». Каждый шард является минимальной «единицей» хранения объектов и представляет собой логическую сущность, состоящую из ёмкости HDD и части ёмкости твердотельного накопителя.

В зависимости от размера объекта система может осуществлять его сохранение по-разному: крупные объекты разделяются на несколько объектов поменьше, а малые — напротив, объединяются в более крупную структуру. Это гарантирует оптимальную производительность и рациональное использование дискового пространства, причём данная механика полностью прозрачна с точки зрения пользователя.

Помимо этого, TATLIN.OBJECT характеризуется высокой надёжностью: система не имеет единых точек отказа, обеспечивает самовосстановление после сбоев, а в случае необходимости имеет механизм быстрой эвакуации данных с узла, показавшего аварийный статус. Более того, сам формат хранения данных реализован с учетом возможной необходимости ручного извлечения и восстановления!

Вместе с тем система легко масштабируется практически до любых размеров, вплоть до сети узлов, расположенных в географически разнесённых ЦОД. Высокая производительность при этом обеспечивается движком, в котором реализован развитый параллелизм обработки запросов множеством узлов одновременно.

Также производительности способствует система интеллектуального сжатия данных в зависимости от типа объекта, а в анонсированной недавно версии 1.6.0 в TATLIN.OBJECT появилась поддержка так называемого «стирающего кодирования» (erasure coding). Это помехоустойчивый, распределенный и очень эффективный алгоритм кодирования, позволяющий избежать многократного увеличения объёма данных, характерного для репликации.

При использовании EC данные нарезаются на куски (chunks) меньшего объёма, которые затем распределяются по узлам хранения, а при чтении вновь собираются воедино. Размер и количество необходимых для полного восстановления копий данных при этом минимален, что при соблюдении условий отказоустойчивости даёт повышенную производительность и максимально эффективное использование дискового пространства.

Помимо erasure coding, в новой версии TATLIN.OBJECT была существенно улучшена система контроля доступа. Так, дальнейшее развитие получили IAM-совместимые методы разграничения доступа к ресурсам СХД. Есть и гибкие политики хранения, и аудит действий администратора, и другие механизмы защиты от несанкционированного доступа.

Разработчики отлично понимают, что СХД не может функционировать в вакууме, поэтому TATLIN.OBJECT изначально спроектирована с учётом совместимости с другими российскими программными комплексами. Среди них есть «Кибер Бэкап», «Кибер Инфраструктура», «Закрома.Хранение», «Закрома.Архив» и др. Обеспечена совместимость с наиболее востребованными вызовами AWS S3 API.

Кроме того, поддерживается интеграция с корпоративными системами мониторинга и внешними системами тарификации конечных пользователей хранилища. Поддерживается REST API для автоматизации, имеется набор шаблонов Zabbix, а также SDK для языка Go и спецификации protobuf/gRPC API для других языков. TATLIN.OBJECT легко интегрируется с популярной системой визуализации Grafana и озером Arenadata Hadoop, а благодаря поддержке интерфейса OCI Distribution СХД можно использовать для хранения образов контейнеров Kubernetes.

Таким образом, TATLIN.OBJECT являет собой современное универсальное решение для объектного хранения данных, пригодное, в том числе для организации масштабных CDN-сетей с региональным расположением кеширующих серверов и гибкой настройкой предоставления услуг по хранению клиентских данных. Возможны иные сценарии, такие как хранилище резеревных копий или контейнеров Kubernetes.

Система TATLIN.OBJECT доступна для заказа как законченный программно-аппаратный комплекс, включающий в себя минимум четыре узла. Это минимальное количество серверов на одну площадку ЦОД, максимальное же на данный момент составляет 100 узлов. Каждый узел, как уже упоминалось, может снабжаться SSD для кеширования на чтение и запись. Также он содержит 6 или 12 дисков NL-SAS.

При этом лицензируется только полезная ёмкость, без учёта резервирования и реплицирования, гранулярность при этом составляет 1 Тбайт. Само резервирование и степень защиты данных определяется настройкой «фактора репликации» — либо количеством копий объекта в системе, либо политиками «стирающего кодирования» (erasure coding).

Установка и обновление TATLIN.OBJECT осуществляется силами инженеров компании YADRO. Доступны различные программы технической поддержки, учитывающие требования заказчика к нормативным срокам реакции на заявки, особенности инфраструктуры и ряд других факторов. Компания планирует активно развивать данное решение и далее: уже на I квартал 2025 года запланировано внедрение поддержки S3 Lifecycles, вирVirtual-Hosted style адресации, метода PATCH и других новых функций.

Компания Nimbus Data анонсировала накопители семейства ExaDrive EN с Ethernet-подключением: это, как утверждается, первые в мире многопротокольные U.2 SSD, поддерживающие NVMe-oF и NFS. Устройства ориентированы на поставщиков облачных услуг и операторов масштабных ИИ-платформ.

Попытки создания SSD с Ethernet предпринимались и ранее, например, Kioxia представила накопители EM6 ещё в 2021 году. Но, как заявляет Nimbus Data, возможности таких изделий были ограничены. Отмечается, что предыдущие решения фактически представляли собой обычные NVMe SSD с конвертером NVMe-to-Ethernet на базе ASIC либо внутри самого накопителя, либо на внешнем адаптере. Nimbus Data заявляет, что такая схема сопряжена с нехваткой необходимого ПО и снижением вычислительной мощности. В результате подобные продукты предлагают лишь базовый блочный доступ, работают медленнее традиционных SSD и не могут в полной мере использовать возможности, которые предоставляет технология Ethernet.

В устройствах Nimbus Data ExaDrive EN используется иной подход, говорит компания. В накопителях применяется SoC с архитектурой Arm, обеспечивающая вычислительные ресурсы для поддержки функций, выходящих за рамки простого блочного хранилища. Кроме того, Nimbus Data портировала на Arm свой софт HALO, создав тем самым «основу для интеллектуального Ethernet SSD с уникальными возможностями». То есть речь идёт уже о SmartSSD с сетевым интерфейсом.

Источник изображения: Nimbus Data

Среди ключевых особенностей ExaDrive EN названы встроенная поддержка протоколов NFS и NVMe/TCP, шифрование AES-256 и подсчёт контрольных сумм для автоматического устранения повреждений данных. Устройства соответствуют спецификации SNIA Native NVMe-oF Drive v1.1, что гарантирует совместимость с EBOF (Ethernet Bunch of Flash). В дальнейшем функциональность будет расширяться: станут доступны сжатие, поддержка параллельных файловых систем и S3-совместимого объектного хранилища.

Используя устройства ExaDrive EN, организации могут задействовать дезагрегацию для создания более эффективной и масштабируемой инфраструктуры данных. Хосты подключаются к таким SSD с помощью клиентов NVMe-oF/TCP и NFS, поддержка которых есть в популярных ОС. Накопителями можно управлять и разделять их на виртуальные пространства имен с помощью веб-интерфейса HALO, CLI или RESTful API. Таким образом, при формировании масштабных хранилищ отпадает необходимость в приобретении дополнительных серверов, сетевых карт, коммутаторов и другого оборудования. В сочетании с масштабируемыми файловыми системами накопители ExaDrive EN можно объединить в единое глобальное пространство экзабайтного уровня.

На первом этапе накопители ExaDrive EN будут доступны в версии вместимостью 16 Тбайт на основе флеш-памяти TLC: такие изделия поступят в продажу в IV квартале 2024 года. В 2025-м появятся варианты большей ёмкости.

Компания Softline сообщила о расширении функциональных возможностей облачной платформы Multicloud («Мультиоблако») и включении в её состав объектного хранилища S3, построенного на базе системы «Кибер Инфраструктура» российского разработчика «Киберпротект».

Softline Multicloud предлагает две политики объектного хранилища: «холодное» хранилище (подходит для хранения бэкапов и данных, к которым нужен редкий доступ) и «тёплое» хранилище (подходит для хранения часто используемых данных: неструктурированных файлов, объектов, изображений, видео, программного кода, архивов, документов и так далее; применяется для частых операций чтение-запись и обеспечивает высокую скорость доступа к информации).

Ключевые особенности платформы Softline «Мультиоблако» (источник изображения: Softline)

Для решения задач, связанных с созданием бэкапов, в составе «Мультиоблака» представлены инструменты для резервного копирования данных на базе решения «Кибер Бэкап Облачный» от компании «Киберпротект» и сервис резервного копирования виртуальных машин на платформе Open Nebula на базе решения от «Хайстекс». Для всех этих продуктов используется хранилище S3 на основе «Кибер Инфраструктуры».

В будущем Softline планирует запустить ещё несколько сервисов с применением хранилища S3. В данный момент компания тестирует одно из решений для виртуального офиса — офисное приложение, предоставляющее доступ к почтовой системе, размещённой в облаке.

Компания Spectra Logic анонсировала ленточную библиотеку Spectra Cube для облачных платформ. По заявлениям разработчика, новинка обеспечивает простоту развёртывания, обслуживания и масштабирования. При этом по сравнению с другими решениями затраты на «холодное» хранение информации могут быть снижены в два раза и более.

Новинка выполнена в формате 42U. Габариты системы составляют 201,7 × 115,3 × 91,2 см, масса — 466,3 кг. Во фронтальной части расположен цветной сенсорный дисплей для мониторинга и управления.

Spectra Cube поддерживает работу с картриджами LTO-9, LTO-8, LTO-7 и LTO-6, максимальное количество которых составляет 1670 штук. При использовании изделий LTO-9 «сырая» суммарная вместимость достигает 30 Пбайт, ёмкость со сжатием — 75 Пбайт. Одновременно могут использоваться до 16 ленточных приводов полной высоты или до 30 приводов половинной высоты. Заявленная пропускная способность — до 32 Тбайт/ч. Возможно применение магазинов TeraPack на десять LTO-картриджей.

Источник изображения: Spectra Logic

Диапазон рабочих температур — от +16 до +32 °C. Энергопотребление в максимальной конфигурации составляет 1186 Вт. Применены источники питания стандарта 85 PLUS Gold с резервированием по схеме N+1. Значение MTBF (средняя наработка на отказ) — 250 тыс. часов при включенном питании.

В качестве программной платформы используется LumOS, которая обеспечивает безопасное локальное и удалённое управление, а также мониторинг. Говорится о совместимости с облачными хранилищами Amazon S3 и Amazon S3 Glacier. Для общих или многопользовательских сред возможна организация до 16 логических разделов. В дополнительном отсеке в верхней части ленточной библиотеки можно размещать стоечные устройства, включая серверы и хранилище Spectra Logic BlackPearl.

Quantum анонсировала объектную СХД ActiveScale Z200, предназначенную для работы с приложениями ИИ и задачами, которые предусматривают интенсивный обмен информацией. Благодаря гибкому масштабированию новинка подходит для формирования крупных озёр данных, говорит компания.

ActiveScale Z200 относится к решениям All-Flash. Устройство выполнено в форм-факторе 1U (437 × 43 × 597 мм, 13,02 кг) и рассчитано на установку десяти NVMe SSD вместимостью 15,36 Тбайт. Таким образом, общая ёмкость узла составляет 153,6 Тбайт. Предусмотрены два сетевых интерфейса 10/25GbE. Система ActiveScale Z200 Scale-Out предполагает трёхузловую конфигурацию с 30 накопителями на 15,36 Тбайт, то есть общая ёмкость достигает 460,8 Тбайт. Причём решение может масштабироваться до неограниченной вместимости — вплоть до экзабайт.

Источник изображения: Quantum

Задействована программная платформа ActiveScale OS 7.x. Поддерживаются протоколы доступа RESTful S3 и NFS v3, а также интерфейсы управления ActiveScale SM Real-time System Management Console, CLI, RESTful API, ActiveScale View. Возможно шифрование информации по алгоритму AES-256.

Компания Quantum отмечает, что СХД ActiveScale Z200 обеспечивает до пяти раз более высокую пропускную способность (Гбайт/с) и до девяти раз большую скорость обработки транзакций (объектов в с) по сравнению с традиционными решениями объектного хранения на базе HDD. Новинка подходит для работы и с «горячими», и с «холодными» данными. Утверждается, что при формировании масштабных озёр данных, облаков хранения и долгосрочных архивов достигается сокращение финансовых затрат до 80 % по сравнению с альтернативными решениями.

Компания Quantum анонсировала ленточную библиотеку Scalar i7 Raptor, ориентированную на гиперскейлеров и крупных корпоративных заказчиков. Решение предназначено для работы в том числе с ИИ-приложениями, оперирующими большими объёмами данных.

Разработчик заявляет, что на сегодняшний день Scalar i7 Raptor — это самое плотное и наиболее масштабируемое ленточное хранилище на рынке. Новинка предоставляет заказчикам «экономичную, экологичную и безопасную платформу» для формирования озёр данных, а также частных и гибридных облачных систем.

Благодаря высокой плотности хранения информации клиенты могут снизить затраты на инфраструктуру, пространство в дата-центре, питание, охлаждение, обслуживание и администрирование. Реализованы функции защиты от программ-вымогателей, такие как блокировка ленты. Средства аналитики на базе ИИ позволяют прогнозировать возможные сбои и повышать общую производительность. В результате, улучшается доступность и минимизируется возможное время простоя.

Источник изображения: Quantum

Scalar i7 Raptor интегрируется с ActiveScale — системой объектного S3-хранилища Quantum. Утверждается, что решение отличается самым низким в отрасли энергопотреблением и использует экологически чистые материалы и процессы на протяжении всего жизненного цикла: от производства и доставки до эксплуатации, технического обслуживания и утилизации. Кроме того, говорится об упрощённом развёртывании.

Технические характеристики Scalar i7 Raptor пока не раскрываются. На сегодняшний день семейство ленточных библиотек Quantum включает варианты i3 на 25–400 слотов, i6 на 50–800 слотов и i600 на 100–14 100 слотов. Существует также масштабируемый продукт i6H (на изображении), предназначенный для гиперскейлеров: предполагается, что именно ему на смену и придёт Scalar i7 Raptor. В продажу новинка поступит в начале 2025 года. Quantum надеется, что она поможет ей поправить финансовое положение, а пока компании грозит делистинг с Nasdaq.

Российский облачный провайдер НУБЕС (Nubes) объявил о запуске сервиса объектного хранилища S3 с возможностью хранения десятков петабайт информации и быстрым доступом к данным. Сервис совместим с инструментами Amazon S3 и другими популярными решениями для администрирования хранилищ.

В случае необходимости объём хранилище можно расширить до нескольких десятков петабайт. Капитальные вложения не требуются ни при подключении хранилища, ни при его масштабировании. Клиент оплачивает только используемые ресурсы и исходящий трафик. Предлагается два типа хранилища: горячее (Hot Storage) и холодное (Cold Storage). Выбор варианта зависит от частоты доступа к объектам и требований к их хранению.

Источник изображения: Nubes

Сервис-провайдер обеспечивает сохранность и безопасность хранимых данных, что оговорено соглашением об уровне обслуживания (SLA). Все данные хранятся в трёх копиях в собственном дата-центре Tier III в Москве на разных серверах. При необходимости усиленной защиты информации можно использовать шифрование на стороне сервера и клиента.

«Новый сервис особенно полезен онлайн-ретейлерам, разработчикам AI-решений, банкам и другим компаниям, которым приходится работать с большими объёмами информации, — сообщил генеральный директор компании НУБЕС (Nubes). —В частности, в нашем объектном хранилище S3 бизнес может размещать датасеты и неструктурированные данные, резервные копии и архивы, логи, медиафайлы, контент статических сайтов, сведения с IoT-устройств».

Облачная платформа AWS объявила о доступности Amazon S3 Express One Zone — нового высокопроизводительного объектного хранилища. Утверждается, что решение обеспечивает в 10 раз более высокую производительность по сравнению со стандартной версией S3, что позволяет ускорить работу приложений с интенсивным использованием данных.

Каждая корзина Amazon S3 Express One Zone располагается в определённой локальной зоне, выбранной заказчиком. Там же могут находиться вычислительные ресурсы (EC2, ECS, EKS), что обеспечивает минимальные задержки при обработке запросов. AWS заявляет, что S3 Express One Zone не только быстрее стандартного хранилища S3, но и обеспечивает значительную экономию средств. Утверждается, что стоимость запросов на 50 % ниже по сравнению с обычным хранилищем S3.

Источник изображений: AWS

Утверждается, что хранилище Amazon S3 Express One Zone может обслуживать сотни тысяч запросов в секунду с постоянной задержкой, которая измеряет миллисекундами. Сервис способен обрабатывать объекты любого размера, но наибольшая эффективность достигается при работе с небольшими блоками. Доступ к хранилищу можно получить посредством стандартного набора API. Корзины поддерживают заданный набор функций, включая загрузку и копирование файлов по частям (multi-part upload/copy), предварительно назначенные URL-адреса и анализатор доступа.

По заявлениям AWS, решение отлично подходит для создания масштабных ИИ-моделей, которым требуется доступ к наборам обучающих данных миллионы раз в минуту. Кроме того, могут решаться ресурсоёмкие задачи в сферах финансового моделирования, обработки мультимедийного контента, формирования и размещения рекламы в реальном времени и пр. Такие приложения обычно хранят данные в течение относительно короткого периода времени, но в течение этого срока обращаются к ним очень часто.

Корпорация Dell анонсировала программно определяемую объектную систему хранения данных ObjectScale XF960. Новинка, ставшая первым представителем семейства ObjectScale X Series, ориентирована на задачи генеративного ИИ и аналитику в реальном времени. В состав системы входят серверы PowerEdge, коммутаторы, необходимое стоечное оборудование и кабели. Применена программная платформа ObjectScale v1.3.

В зависимости от конфигурации ObjectScale XF960 объединяет от 4 до 16 узлов. Каждый из них несёт на борту два 32-ядерных процессора Intel Xeon Sapphire Rapids и 256 Гбайт оперативной памяти. Предусмотрены два загрузочных накопителя с зеркалированием для обеспечения надёжности. Сетевая подсистема включает по два порта 100 GbE (back-end) и 25 GbE (front-end).

Система относится к классу All-Flash. В оснащение каждого из 2U-узлов входят 24 накопителя NVMe на основе флеш-памяти TLC вместимостью 30,72 Тбайт. Таким образом, суммарная «сырая» ёмкость составляет 737,3 Тбайт. В максимальной конфигурации с 16 узлами общая вместимость достигает 11,8 Пбайт.

Источник изображения: Dell

Dell заявляет, что ObjectScale XF960 — это полностью интегрированная система «под ключ» и самая мощная в мире объектная платформа хранения данных, созданная специально для Kubernetes. Система способна обеспечить скорость чтения до 5,7 Гбайт/с и скорость записи до 5,0 Гбайт/с на каждый узел.