Компания ScaleFlux представила платформу для вычислительных SSD ещё в 2021 году, а сейчас компания анонсировала обновленную версию накопителей CSD 3000 с увеличенной ёмкостью. Сама по себе платформа CSD 3000 достаточно производительна — она имеет интерфейс PCIe 4.0, 16 каналов для подключения флеш-памяти, восемь ядер ARM Cortex-A53, а также массив различных дополнительных ускорителей.

Обновлённые CSD 3000 в форм-факторе E1.S получили «сырую» ёмкость 16 Тбайт, но компания-разработчик заявляет о 24 Тбайт эффективного пространства для хранения. Как показывают опубликованные ScaleFlux результаты тестов, в зависимости от типа данных коэффициент сжатия может варьироваться от скромных 1,17:1 для Stable Diffusion до более чем 2,5:1 для LLM, а для систем сегментации изображений этот показатель достигает внушительных 5,54:1.

Источник изображений здесь и далее: ScaleFlux

Компания продолжает вести работы над улучшением Flash Translation Layer, ведёт сотрудничество с системными интеграторами, а также говорит о разработке вычислительных накопителей в новых форм-факторах ещё большего объёма с интерфейсом PCIe 5.0. Сейчас программное обеспечение накопителей оптимизируется главным образом для использования с различными ИИ-системами.

Впрочем, как напоминает Blocks & Files, пока по показателю ёмкости ScaleFlux отстаёт от Solidigm, предлагающей SSD объёмом 61,44 Тбайт, или Pure Storage с её модулями DFM объёмом до 75 Тбайт. Не стоит забывать и о модулях IBM FLashCore с «сырой» ёмкостью 38,4 Тбайт, но с возможностью компрессии вплоть до 3:1.

Идея вычислительных накопителей, располагающих помимо классического контроллера дополнительными мощностями в виде процессоров общего назначения или FPGA, насчитывает уже не один год. С 2018 года ассоциация SNIA (Storage Networking Industry Association) работала над созданием единого стандарта для таких устройств. И вот, наконец, первая официальная версия этих спецификаций увидела свет.

Стандарт, озаглавленный Computational Storage Architecture and Programming Model, описывает архитектуру вычислительных накопителей и методы работы с ними, что должно сильно упростить и ускорить разработку как аппаратных, так и программных решений, а также обеспечить совместимость устройств различных производителей.

Основные виды вычислительных устройств хранения данных. Источник: SNIA

Рабочая группа TWG, ответственная за разработку нового стандарта, была сформирована ещё в 2018 году. Первые предварительные наработки SNIA версии 0.1 появились в феврале 2019 года, в них вошла базовая документация, описывающая разработку на базе стандарта NVMe. Финальная же версия появилась только в самом конце августа этого года.

Второе поколение «умных» накопителей Samsung. Источник: Samsung Electronics

Спецификация содержит теоретическое описание различных видов вычислительных накопителей (CSD, computational storage drive) и массивов (CSA, computational storage array), а также сопроцессоров (CSP, computational storage processor). В документе детально разбирается терминология и принципы работы таких устройств, описаны методы их программного обнаружения, конфигурирования и использования, а также способы обеспечения безопасности и многое другое.

В настоящее время усилия рабочей группы TWG концентрируются на создании единого программного API, в основу которого должна лечь модель, описанная в новом стандарте. Стоит отметить, что SNIA считает, что следующим транспортным стандартом для устройств хранения данных после NVMe станет CXL. В рамках единого стандарта продолжит работу по его внедрению и консорциум NVM Express.

Сокращение дистанции между вычислительными ресурсами и ресурсами памяти породило ряд технологий, включая различные варианты «умной» DRAM, однако компания Macronix, поставщик NOR- и NAND-устройств, видит проблему иначе и предлагает перенести ряд вычислений непосредственно в специальную разновидность флеш-памяти.

С растущими объёмами данных в ряде современных сценариев, включая машинное обучение, системы не всегда могут «прокормить» вычислительные ядра, так что Macronix предлагает производить первичную обработку данных прямо во флеш-памяти. И такую память под названием FortiX Macronix представила на мероприятии Flash Memory Summit 2022.

Источник: Blocks & Files

В данном случае речь не о классическом «вычислительном накопителе», в котором используется достаточно мощный контроллер с процессорными ядрами общего назначения или сразу FPGA. Сама структура NAND-чипов Fortix включает в себя специализированные структуры nvTCAM (non-volatile ternary content-addressable memory).

Она может выполнять достаточно узкоспециализированные вычисления, в частности, поиск по ключевым словам, и определение расстояния Хэмминга. Она работает не так быстро, как аналогичные запросы к классической DRAM, но это без учёта накладных расходов на транспортировку данных с флеш-накопителя в память и выполнение соответствующих функций с участием центрального процессора.

Источник: Blocks & Files

В случае с FortiX флеш-память выполняет эти задачи сама, чем экономит пропускную способность и электроэнергию. В сравнении с DRAM накопитель на базе памяти FortiX может выигрывать в некоторых аспектах, предлагая плотность упаковки от 64 Гбит на чип против 8–16 у DRAM, а также потребляя около 330 мВт против примерно 1 Вт. Правда, скорость поиска на порядок ниже, зато число запросов на порядок больше, утверждает Macronix.

Компания называет областью применения FortiX различные задачи машинного интеллекта — распознавание паттернов и голоса, поиск в крупных (Big Data) массивах данных, поиск совпадения в ДНК. Подробностей о строении вычислительной части FortiX компания не приводит и некоторые зарубежные источники считают, что речь может идти о разных комбинациях NAND и специфических, настроенных под определенную задачу, обработчиках запросов.

«Вычислительные» или «умные» SSD уже не являются новой технологией: один за другим разработчики на рынок новые продукты. А плодом сотрудничества между Лос-Аламосской национальной лабораторией (LANL) и компанией SK hynix стал новый класс подобного рода устройств.

На мероприятии Flash Memory Summit 2022 этот альянс продемонстрировал SSD, в котором доступ к данным основан не на традиционном блочном принципе и даже не на файловом, а на принципе хранилищ «ключ-значение» (key–value store, KV-CSD). Это не первый подобный проект. Более того, в спецификациях NVMe 2.0 уже определён необходимый набор команд.

Прототип KV-CSD. Источник: LANL

Структуры «ключ-значение» широко применяются в индустрии аналитики, так что накопитель, способный работать с таким форматом данных напрямую и на низком уровне может обеспечить огромный выигрыш в производительности в ряде сценариев. Детище LANL и SK hynix, работающее под управлением DeltaFS такой выигрыш и продемонстрировало, превзойдя классические SSD в 1000 раз за счёт эффективной индексации и сокращения объёмов передаваемых при запросе данных (data reduction).

Представитель LANL отметил, что такая эффективность в первичной обработке данных серьезно ускоряет анализ результатов крупномасштабных физических симуляций в сравнении с файловым хранилищем. Прямая работа с данными на столь низком уровне должна помочь учёным справиться с постоянно растущими объёмами информации. Оба участника альянса довольны полученными результатами и намереваются продолжить сотрудничество в деле разработки и выпуска вычислительных накопителей нового типа.

Идея «умных» накопителей не нова и довольно очевидна — накопители можно дополнить чипами, которые могут взять на себя первичную обработку данных непосредственно на месте их хранения, например, обслуживая рутинные операции с базами данных или (де-)компрессию на лету и без загрузки CPU хост-системы.

Samsung Electronics экспериментирует с данной технологией давно: компания демонстрировала прототипы «вычислительных SSD» ещё на SC18, а в 2020 году уже представила коммерческие накопители SmartSSD, оснащённые мощной ПЛИС Xilinx Kintex, дополненной 4 Гбайт оперативной памяти. Но пришло время двигаться дальше и сегодня компания анонсировала новое поколение накопителей.

Источник: Samsung Electronics

Во втором поколении SmartSSD компания-разработчик сменила FPGA Kintex на более универсальную и производительную платформу Versal. Сама AMD Xilinx называет эти чипы «адаптивной платформой ускорения вычислений», поскольку в них имеются блоки практически на любой случай, от классической ПЛИС до ядер Arm Cortex-A и R, а также DSP и криптодвижки.

Источник: Samsung Electronics

По словам Samsung, новые накопители обрабатывают «тяжёлые» запросы к БД на 50 % быстрее традиционных серверных SSD, при этом они на 70 % экономичнее, а выигрыш по нагрузке на CPU сервера составляет и вовсе 97 %, поскольку основную работу берёт на себя Versal. Главной областью применения SmartSSD нового поколения Samsung видит рынок машинного обучения и сетей пятого и шестого поколений, как требующий активной обработки больших объёмов данных.

Стартап Esperanto Technologies сообщил о том, что сразу несколько крупных IT-игроков тестируют её уникальный ИИ-ускоритель ET-SoC-1. В их число, в частности, входит Samsung SDS, подразделение южнокорейского гиганта, специализирующееся на IT-решениях и услугах. В конце прошлого года Samsung уже представила концепт SmartSSD, который как раз задействует ET-SoC-1 для «умной» обработки данных непосредственно на накопителе.

Чип Esperanto ET-SoC-1 использует архитектуру RISC-V. Он содержит 1088 энергоэффективных ядер ET-Minion и четыре высокопроизводительных ядра ET-Maxion. Подробно об особенностях новинки можно узнать в нашем материале. Чип предназначен для решения сложных задач, связанных с ИИ и машинным обучением. Утверждается, что изделие обеспечивает более высокую энергетическую эффективность, нежели другие специализированные решения.

Esperanto прямо не говорит, кто ещё, помимо Samsung SDS, тестирует решение. Отмечается лишь, что это «ведущие заказчики». Между тем Патрик Бангерт, вице-президент по ИИ-решениям в Samsung SDS, говорит, что его команда впечатлена результатами первых тестов ET-SoC-1: «Чип был быстрым, производительным и в целом простым в использовании. Кроме того, изделие продемонстрировало почти линейное масштабирование производительности в различных конфигурациях вычислительных ИИ-кластеров»

Изображение: Samsung

Аналитики Cambrian-AI Research также высоко оценили работу новинки в Resnet50, DLRM и BERT, отметив, что уровень энергопотребления укладывался в 20 Вт при максимальной рабочей частоте чипа. Отмечена и хорошая программная поддержка, которая позволит не только охватить будущие ИИ-нагрузки, но и потенциально позволит использовать ET-SoC-1 для других массивно-параллельных задач. Поскольку чип ориентирован на гиперскейлеров, качество ПО зачастую выходит на первый план.

Первый в мире «большой» ИИ-ускоритель на базе архитектуры RISC-V от молодой компании Esperanto, созданной ветераном индустрии Дэвидом Дитцелем (Dave Ditzel), который стоял у истоков легендарной Transmeta, может найти своё место в новых «умных» SSD Samsung. Корейский гигант раскрыл сведения о прототипе такого накопителя в рамках мероприятия SAFE, прошедшем осенью этого года.

Ускоритель Esperanto ET-SoC-1 изначально создавался с прицелом на энергоэффективные инференс-платформы для различных систем рекомендаций, и помимо 1088 ядер (ET-Minion), получил весьма объёмную подсистему SRAM (более 160 Мбайт) и восьмиканальный контроллер LPDDR4. Создатели ET-SoC-1 получили первые партии чипов, выпущенные с использованием 7-нм техпроцесса, и в настоящее время активно работают над различными сценариями использования своего детища.

Изображения: Samsung/Esperanto

Но не только они — на ET-SoC-1 обратила внимание компания Samsung. Такие системы сейчас используются повсюду, от стриминговых платформ до крупных магазинов и социальных сетей, поэтому рынок огромен, а преимущество на нём получат те, чьи движки рекомендаций работают быстрее и точнее. Они настолько прочно вошли в нашу жизнь, что по некоторым оценкам, у таких гигантов, как Google, Facebook✴ или Amazon, до 80% всех ИИ-нагрузок приходится именно на рекомендательные системы.

SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем и освобождает системные ресурсы

Увы, движки подобного рода оперируют с массивами информации объёмами в десятки гигабайт, но чтобы использовать их, системе надо сперва затребовать соответствующие данные с накопителей. В то же время от таких движков требуются практически мгновенные ответы на поступающие запросы, а сами массивы требуют регулярного обновления.

Но ET-SoC-1, по мнению Esperanto и Samsung, позволит перенести этот процесс ближе к накопителям — чип может быть непосредственно интегрирован в SSD и считывать массивы данных непосредственно из NAND-памяти. В концепции такого SmartSSD Samsung центральные процессоры серверов занимаются только диспетчеризацией пользовательских запросов, а вся работа с массивами, сопоставлением данных и выработкой решения ложится на плечи ET-SoC-1.

Первые результаты тестов, опубликованные Samsung

Такой подход разгружает не только процессоры, но и освобождает ресурсы PCIe-шины. Предварительные тесты показывают, что выигрыш в используемой пропускной способности между SSD и CPU может достигать от 10 до 100 раз, и это при том, что в прототипе задействуется лишь небольшая часть из 1088 ядер ET-SoC-1 — от 32 до 128. Но архитектура у творения Esperanto модульная, и ничто не мешает серийным «рекомендательным SSD» использовать более просты чипы с меньшим числом блоков ET-Minion.