Компания ScaleFlux анонсировала контроллер SFX 5016, предназначенный для создания вычислительных SSD следующего поколения. Такие устройства могут частично взять на себя нагрузку по обработке хранимых данных и тем самым высвободить ресурсы CPU для других задач.

Представленное изделие соответствует спецификации NVMe 2.0 и стандарту OCP Datacenter SSD Spec 2.0. Поддерживается интерфейс PCIe 5.0. Возможно использование до 128 Гбайт памяти LPDDR5, а максимально поддерживаемая вместимость накопителей достигает 256 Тбайт (со сжатием; физически — 64 Тбайт).

Контроллер обеспечивает скорость передачи информации до 14 Гбайт/с блоками по 128 Кбайт при последовательном чтении и до 11 Гбайт/с такими же блоками при последовательной записи. Заявленный показатель IOPS (операций ввода/вывода в секунду) достигает 3 200 000 при произвольном чтении данных блоками по 4 Кбайт и 1 500 000 при установившейся произвольной записи.

Источник изображения: ScaleFlux

Для контроллера SFX 5016 заявлена поддержка шифрования по алгоритму AES-256. Чип может применяться в составе накопителей с флеш-памятью NAND различных производителей, включая изделия TLC и QLC. Говорится о поддержке TCG Opal в соответствии со стандартом FIPS 140-3. Энергопотребление в активном режиме заявлено на уровне 6 Вт, в режиме простоя — менее 2 Вт. При производстве применяется 7-нм технология.

ScaleFlux предлагает вычислительные накопители серий CSD 2000 и CSD 3000 на контроллерах предыдущего поколения. Так, устройства CSD 3000 используют чип SFX 3016. Контроллер SFX 5016, в свою очередь, ляжет в основу SSD серии CSD 5000.

Компания IBM объявила о том, что новейшие серверные флеш-накопители FlashCore Modules четвёртого поколения (FCM4) получили встроенную систему защиты от вредоносного ПО, работающую на уровне прошивки. Новая технология тесно интегрирована с Storage Defender. Теперь в FCM в режиме реального времени анализируется весь поток данных, а затем с помощью ИИ-модели вычленяются подозрительные операции.

Ранее защита в хранилищах IBM FlashSystem функционировала на блочном уровне и использовала локальное ПО с данными о возможных атаках, дополненное облачной ИИ-службой для идентификации аномалий в поведении накопителей, которые могут свидетельствовать о начале атаки. К таковым, к примеру, относятся попытки массового шифрования данных кибер-вымогателями (ransomware). При таком подходе у злоумышленников могло оставаться достаточно времени для нанесения урона.

FCM4 же собирает статистику на уровне I/O-операций, производимых самим накопителем, которая тут же анализируется при помощи ИИ-алгоритмов. Это сокращает время реакции на подозрительные действия до менее чем одной минуты. Комбинация FCM4 со Storage Defender, по словам IBM, обеспечивает лучшую защиту данных в современных мультиоблачных гибридных средах.

Консорциум NVM Express обновил спецификации, добавив возможность работы с вычислительными хранилищами NVMe Computational Storage Feature. Речь идёт о возможности использования устройств хранения, которые могут самостоятельно обрабатывать хранящуюся на них информацию по команде извне. Это позволит снизить совокупную стоимость владения IT-системами и повысить их общую производительность.

Спецификация включает два новых набора команд: Computational Programs и Subsystem Local Memory Command Sets. Первый отвечает за исполнение программ на устройстве хранения, в том числе их загрузку, поиск уже загруженных программ и их запуск. Набор обеспечивает модульный подход к программам, управляемым хостом. Второй предоставляет доступ к памяти в подсистеме NVM и позволяет работать с данными, обрабатываемыми программами на устройстве хранения.

Источник изображения: NVM Express

Вычислительное хранилище сокращает необходимость в перемещении данных между накопителями и процессором/ускорителем. Определённые операции могут производиться непосредственно на устройстве хранения, что повышает время отклика приложений, критичных к задержке. Это могут быть базы данных, модели ИИ и системы доставки контента.

В целом, функция NVMe Computational Storage Feature обеспечивает стандартизированную, не зависящую от поставщика оборудования архитектуру для хранения и обработки данных на накопителях NVMe. Решение ориентировано прежде всего на операторов дата-центров и гиперскейлеров.

Компания ScaleFlux представила платформу для вычислительных SSD ещё в 2021 году, а сейчас компания анонсировала обновленную версию накопителей CSD 3000 с увеличенной ёмкостью. Сама по себе платформа CSD 3000 достаточно производительна — она имеет интерфейс PCIe 4.0, 16 каналов для подключения флеш-памяти, восемь ядер ARM Cortex-A53, а также массив различных дополнительных ускорителей.

Обновлённые CSD 3000 в форм-факторе E1.S получили «сырую» ёмкость 16 Тбайт, но компания-разработчик заявляет о 24 Тбайт эффективного пространства для хранения. Как показывают опубликованные ScaleFlux результаты тестов, в зависимости от типа данных коэффициент сжатия может варьироваться от скромных 1,17:1 для Stable Diffusion до более чем 2,5:1 для LLM, а для систем сегментации изображений этот показатель достигает внушительных 5,54:1.

Источник изображений здесь и далее: ScaleFlux

Компания продолжает вести работы над улучшением Flash Translation Layer, ведёт сотрудничество с системными интеграторами, а также говорит о разработке вычислительных накопителей в новых форм-факторах ещё большего объёма с интерфейсом PCIe 5.0. Сейчас программное обеспечение накопителей оптимизируется главным образом для использования с различными ИИ-системами.

Впрочем, как напоминает Blocks & Files, пока по показателю ёмкости ScaleFlux отстаёт от Solidigm, предлагающей SSD объёмом 61,44 Тбайт, или Pure Storage с её модулями DFM объёмом до 75 Тбайт. Не стоит забывать и о модулях IBM FLashCore с «сырой» ёмкостью 38,4 Тбайт, но с возможностью компрессии вплоть до 3:1.

Идея вычислительных накопителей, располагающих помимо классического контроллера дополнительными мощностями в виде процессоров общего назначения или FPGA, насчитывает уже не один год. С 2018 года ассоциация SNIA (Storage Networking Industry Association) работала над созданием единого стандарта для таких устройств. И вот, наконец, первая официальная версия этих спецификаций увидела свет.

Стандарт, озаглавленный Computational Storage Architecture and Programming Model, описывает архитектуру вычислительных накопителей и методы работы с ними, что должно сильно упростить и ускорить разработку как аппаратных, так и программных решений, а также обеспечить совместимость устройств различных производителей.

Основные виды вычислительных устройств хранения данных. Источник: SNIA

Рабочая группа TWG, ответственная за разработку нового стандарта, была сформирована ещё в 2018 году. Первые предварительные наработки SNIA версии 0.1 появились в феврале 2019 года, в них вошла базовая документация, описывающая разработку на базе стандарта NVMe. Финальная же версия появилась только в самом конце августа этого года.

Второе поколение «умных» накопителей Samsung. Источник: Samsung Electronics

Спецификация содержит теоретическое описание различных видов вычислительных накопителей (CSD, computational storage drive) и массивов (CSA, computational storage array), а также сопроцессоров (CSP, computational storage processor). В документе детально разбирается терминология и принципы работы таких устройств, описаны методы их программного обнаружения, конфигурирования и использования, а также способы обеспечения безопасности и многое другое.

В настоящее время усилия рабочей группы TWG концентрируются на создании единого программного API, в основу которого должна лечь модель, описанная в новом стандарте. Стоит отметить, что SNIA считает, что следующим транспортным стандартом для устройств хранения данных после NVMe станет CXL. В рамках единого стандарта продолжит работу по его внедрению и консорциум NVM Express.

Сокращение дистанции между вычислительными ресурсами и ресурсами памяти породило ряд технологий, включая различные варианты «умной» DRAM, однако компания Macronix, поставщик NOR- и NAND-устройств, видит проблему иначе и предлагает перенести ряд вычислений непосредственно в специальную разновидность флеш-памяти.

С растущими объёмами данных в ряде современных сценариев, включая машинное обучение, системы не всегда могут «прокормить» вычислительные ядра, так что Macronix предлагает производить первичную обработку данных прямо во флеш-памяти. И такую память под названием FortiX Macronix представила на мероприятии Flash Memory Summit 2022.

Источник: Blocks & Files

В данном случае речь не о классическом «вычислительном накопителе», в котором используется достаточно мощный контроллер с процессорными ядрами общего назначения или сразу FPGA. Сама структура NAND-чипов Fortix включает в себя специализированные структуры nvTCAM (non-volatile ternary content-addressable memory).

Она может выполнять достаточно узкоспециализированные вычисления, в частности, поиск по ключевым словам, и определение расстояния Хэмминга. Она работает не так быстро, как аналогичные запросы к классической DRAM, но это без учёта накладных расходов на транспортировку данных с флеш-накопителя в память и выполнение соответствующих функций с участием центрального процессора.

Источник: Blocks & Files

В случае с FortiX флеш-память выполняет эти задачи сама, чем экономит пропускную способность и электроэнергию. В сравнении с DRAM накопитель на базе памяти FortiX может выигрывать в некоторых аспектах, предлагая плотность упаковки от 64 Гбит на чип против 8–16 у DRAM, а также потребляя около 330 мВт против примерно 1 Вт. Правда, скорость поиска на порядок ниже, зато число запросов на порядок больше, утверждает Macronix.

Компания называет областью применения FortiX различные задачи машинного интеллекта — распознавание паттернов и голоса, поиск в крупных (Big Data) массивах данных, поиск совпадения в ДНК. Подробностей о строении вычислительной части FortiX компания не приводит и некоторые зарубежные источники считают, что речь может идти о разных комбинациях NAND и специфических, настроенных под определенную задачу, обработчиках запросов.

«Вычислительные» или «умные» SSD уже не являются новой технологией: один за другим разработчики на рынок новые продукты. А плодом сотрудничества между Лос-Аламосской национальной лабораторией (LANL) и компанией SK hynix стал новый класс подобного рода устройств.

На мероприятии Flash Memory Summit 2022 этот альянс продемонстрировал SSD, в котором доступ к данным основан не на традиционном блочном принципе и даже не на файловом, а на принципе хранилищ «ключ-значение» (key–value store, KV-CSD). Это не первый подобный проект. Более того, в спецификациях NVMe 2.0 уже определён необходимый набор команд.

Прототип KV-CSD. Источник: LANL

Структуры «ключ-значение» широко применяются в индустрии аналитики, так что накопитель, способный работать с таким форматом данных напрямую и на низком уровне может обеспечить огромный выигрыш в производительности в ряде сценариев. Детище LANL и SK hynix, работающее под управлением DeltaFS такой выигрыш и продемонстрировало, превзойдя классические SSD в 1000 раз за счёт эффективной индексации и сокращения объёмов передаваемых при запросе данных (data reduction).

Представитель LANL отметил, что такая эффективность в первичной обработке данных серьезно ускоряет анализ результатов крупномасштабных физических симуляций в сравнении с файловым хранилищем. Прямая работа с данными на столь низком уровне должна помочь учёным справиться с постоянно растущими объёмами информации. Оба участника альянса довольны полученными результатами и намереваются продолжить сотрудничество в деле разработки и выпуска вычислительных накопителей нового типа.

Идея «умных» накопителей не нова и довольно очевидна — накопители можно дополнить чипами, которые могут взять на себя первичную обработку данных непосредственно на месте их хранения, например, обслуживая рутинные операции с базами данных или (де-)компрессию на лету и без загрузки CPU хост-системы.

Samsung Electronics экспериментирует с данной технологией давно: компания демонстрировала прототипы «вычислительных SSD» ещё на SC18, а в 2020 году уже представила коммерческие накопители SmartSSD, оснащённые мощной ПЛИС Xilinx Kintex, дополненной 4 Гбайт оперативной памяти. Но пришло время двигаться дальше и сегодня компания анонсировала новое поколение накопителей.

Источник: Samsung Electronics

Во втором поколении SmartSSD компания-разработчик сменила FPGA Kintex на более универсальную и производительную платформу Versal. Сама AMD Xilinx называет эти чипы «адаптивной платформой ускорения вычислений», поскольку в них имеются блоки практически на любой случай, от классической ПЛИС до ядер Arm Cortex-A и R, а также DSP и криптодвижки.

Источник: Samsung Electronics

По словам Samsung, новые накопители обрабатывают «тяжёлые» запросы к БД на 50 % быстрее традиционных серверных SSD, при этом они на 70 % экономичнее, а выигрыш по нагрузке на CPU сервера составляет и вовсе 97 %, поскольку основную работу берёт на себя Versal. Главной областью применения SmartSSD нового поколения Samsung видит рынок машинного обучения и сетей пятого и шестого поколений, как требующий активной обработки больших объёмов данных.

Стартап Esperanto Technologies сообщил о том, что сразу несколько крупных IT-игроков тестируют её уникальный ИИ-ускоритель ET-SoC-1. В их число, в частности, входит Samsung SDS, подразделение южнокорейского гиганта, специализирующееся на IT-решениях и услугах. В конце прошлого года Samsung уже представила концепт SmartSSD, который как раз задействует ET-SoC-1 для «умной» обработки данных непосредственно на накопителе.

Чип Esperanto ET-SoC-1 использует архитектуру RISC-V. Он содержит 1088 энергоэффективных ядер ET-Minion и четыре высокопроизводительных ядра ET-Maxion. Подробно об особенностях новинки можно узнать в нашем материале. Чип предназначен для решения сложных задач, связанных с ИИ и машинным обучением. Утверждается, что изделие обеспечивает более высокую энергетическую эффективность, нежели другие специализированные решения.

Esperanto прямо не говорит, кто ещё, помимо Samsung SDS, тестирует решение. Отмечается лишь, что это «ведущие заказчики». Между тем Патрик Бангерт, вице-президент по ИИ-решениям в Samsung SDS, говорит, что его команда впечатлена результатами первых тестов ET-SoC-1: «Чип был быстрым, производительным и в целом простым в использовании. Кроме того, изделие продемонстрировало почти линейное масштабирование производительности в различных конфигурациях вычислительных ИИ-кластеров»

Изображение: Samsung

Аналитики Cambrian-AI Research также высоко оценили работу новинки в Resnet50, DLRM и BERT, отметив, что уровень энергопотребления укладывался в 20 Вт при максимальной рабочей частоте чипа. Отмечена и хорошая программная поддержка, которая позволит не только охватить будущие ИИ-нагрузки, но и потенциально позволит использовать ET-SoC-1 для других массивно-параллельных задач. Поскольку чип ориентирован на гиперскейлеров, качество ПО зачастую выходит на первый план.