Материалы по тегу: esperanto

26.04.2022 [17:12], Сергей Карасёв

Уникальный тысячеядерный RISC-V чип Esperanto ET-SoC-1 приглянулся Samsung

Стартап Esperanto Technologies сообщил о том, что сразу несколько крупных IT-игроков тестируют её уникальный ИИ-ускоритель ET-SoC-1. В их число, в частности, входит Samsung SDS, подразделение южнокорейского гиганта, специализирующееся на IT-решениях и услугах. В конце прошлого года Samsung уже представила концепт SmartSSD, который как раз задействует ET-SoC-1 для «умной» обработки данных непосредственно на накопителе.

Чип Esperanto ET-SoC-1 использует архитектуру RISC-V. Он содержит 1088 энергоэффективных ядер ET-Minion и четыре высокопроизводительных ядра ET-Maxion. Подробно об особенностях новинки можно узнать в нашем материале. Чип предназначен для решения сложных задач, связанных с ИИ и машинным обучением. Утверждается, что изделие обеспечивает более высокую энергетическую эффективность, нежели другие специализированные решения.

 Изображение: Samsung

Изображение: Samsung

Esperanto прямо не говорит, кто ещё, помимо Samsung SDS, тестирует решение. Отмечается лишь, что это «ведущие заказчики». Между тем Патрик Бангерт, вице-президент по ИИ-решениям в Samsung SDS, говорит, что его команда впечатлена результатами первых тестов ET-SoC-1: «Чип был быстрым, производительным и в целом простым в использовании. Кроме того, изделие продемонстрировало почти линейное масштабирование производительности в различных конфигурациях вычислительных ИИ-кластеров»

Аналитики Cambrian-AI Research также высоко оценили работу новинки в Resnet50, DLRM и BERT, отметив, что уровень энергопотребления укладывался в 20 Вт при максимальной рабочей частоте чипа. Отмечена и хорошая программная поддержка, которая позволит не только охватить будущие ИИ-нагрузки, но и потенциально позволит использовать ET-SoC-1 для других массивно-параллельных задач. Поскольку чип ориентирован на гиперскейлеров, качество ПО зачастую выходит на первый план.

Постоянный URL: http://servernews.ru/1064709
08.02.2022 [12:43], Владимир Мироненко

Партнёрство с Intel позволит Esperanto Technologies продвигать свои ИИ-ускорители на базе RISC-V

Esperanto Technologies, разработчик высокопроизводительных энергоэффективных инференс-ускорителей на базе архитектуры RISC-V, объявил о заключении стратегического партнёрства с Intel. Как сообщается, сотрудничество с технологическим гигантом поможет Esperanto в продвижении своих массивно-параллельных RISC-V-решений.

В рамках партнёрства Esperanto Technologies планирует использовать технологии Intel Foundry Services (IFS) для упаковки микросхем и чиплетов, что позволит охватить весь спектр решений — от облака до периферии. Сейчас у Esperanto Technologies в активе имеется тысячеядерный ускоритель ET-SoC-1, который сама компания называет суперкомпьютером-на-чипе.

 Источник изображения: Esperanto Technologies

Источник изображения: Esperanto Technologies

ET-SoC-1 разработана специально для крупных дата-центров и гиперскейлеров, которым нужны высокопроизводительные, но в то же время энергоэффективные решения для задач инференса рекомендательных систем, поскольку для них это один из наиболее важных типов рабочих ИИ-нагрузок.

Постоянный URL: http://servernews.ru/1059709
24.12.2021 [22:58], Алексей Степин

Samsung представила концепт SSD c тысячеядерным ИИ-ускорителем Esperanto

Первый в мире «большой» ИИ-ускоритель на базе архитектуры RISC-V от молодой компании Esperanto, созданной ветераном индустрии Дэвидом Дитцелем (Dave Ditzel), который стоял у истоков легендарной Transmeta, может найти своё место в новых «умных» SSD Samsung. Корейский гигант раскрыл сведения о прототипе такого накопителя в рамках мероприятия SAFE, прошедшем осенью этого года.

Ускоритель Esperanto ET-SoC-1 изначально создавался с прицелом на энергоэффективные инференс-платформы для различных систем рекомендаций, и помимо 1088 ядер (ET-Minion), получил весьма объёмную подсистему SRAM (более 160 Мбайт) и восьмиканальный контроллер LPDDR4. Создатели ET-SoC-1 получили первые партии чипов, выпущенные с использованием 7-нм техпроцесса, и в настоящее время активно работают над различными сценариями использования своего детища.

 Изображения: Samsung/Esperanto

Изображения: Samsung/Esperanto

Но не только они — на ET-SoC-1 обратила внимание компания Samsung. Такие системы сейчас используются повсюду, от стриминговых платформ до крупных магазинов и социальных сетей, поэтому рынок огромен, а преимущество на нём получат те, чьи движки рекомендаций работают быстрее и точнее. Они настолько прочно вошли в нашу жизнь, что по некоторым оценкам, у таких гигантов, как Google, Facebook* или Amazon, до 80% всех ИИ-нагрузок приходится именно на рекомендательные системы.

 SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем

SSD с чипом Esperanto на борту (справа) упрощает работу рекомендационных систем и освобождает системные ресурсы

Увы, движки подобного рода оперируют с массивами информации объёмами в десятки гигабайт, но чтобы использовать их, системе надо сперва затребовать соответствующие данные с накопителей. В то же время от таких движков требуются практически мгновенные ответы на поступающие запросы, а сами массивы требуют регулярного обновления.

Но ET-SoC-1, по мнению Esperanto и Samsung, позволит перенести этот процесс ближе к накопителям — чип может быть непосредственно интегрирован в SSD и считывать массивы данных непосредственно из NAND-памяти. В концепции такого SmartSSD Samsung центральные процессоры серверов занимаются только диспетчеризацией пользовательских запросов, а вся работа с массивами, сопоставлением данных и выработкой решения ложится на плечи ET-SoC-1.

 Первые результаты тестов, опубликованные Samsung

Первые результаты тестов, опубликованные Samsung

Такой подход разгружает не только процессоры, но и освобождает ресурсы PCIe-шины. Предварительные тесты показывают, что выигрыш в используемой пропускной способности между SSD и CPU может достигать от 10 до 100 раз, и это при том, что в прототипе задействуется лишь небольшая часть из 1088 ядер ET-SoC-1 — от 32 до 128. Но архитектура у творения Esperanto модульная, и ничто не мешает серийным «рекомендательным SSD» использовать более просты чипы с меньшим числом блоков ET-Minion.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1056715
26.08.2021 [03:07], Алексей Степин

Получены первые образцы 1000-ядерного суперкомпьютера-на-чипе Esperanto ET-SoC-1

Рекомендательные системы, активно используемые социальными сетями, рекламными платформами и т.д. имеют специфические особенности. От них требуется высокая скорость отклика, но вместе с тем их ИИ-модели весьма объёмны, порядка 100 Гбайт или более. А для их эффективной работы нужен ещё и довольно большой кеш. Для инференса чаще всего используется либо CPU (много памяти, но относительно низкая скорость) или GPU (высокая скорость, но мало памяти), но они не слишком эффективны для этой задачи.

При этом существуют ещё и физические ограничения со стороны гиперскейлеров: в сервере не так много полноценных PCIe-слотов и свободного места + есть жёсткие ограничения по энергопотреблению и охлаждению (чаще всего воздушному). Всё это было учтено компанией Esperanto, чьей специализацией является разработка чипов на базе архитектуры RISC-V. На днях она получила первые образцы ИИ-ускорителя ET-SoC-1, который она сама называет суперкомпьютером-на-чипе (Supercomputer-on-Chip).

Новинка предназначена для инференса рекомендательных систем, в том числе на периферии, где на первый план выходит экономичность. Компания поставила для себя непростую задачу — весь комплекс ускорителей с памятью и служебной обвязкой должен потреблять не более 120 Вт. Для решения этой задачи пришлось применить немало ухищрений. Самое первое и очевидное — создание относительно небольшого, но универсального чипа, который можно было бы объединять с другими такими же чипами с линейным ростом производительности.

Для достижения высокой степени параллелизма основой такого чипа должны стать небольшие, но энергоэффективные ядра. Именно поэтому выбор пал на 64-бит ядра RISC-V, поскольку они «просты» не только с точки зрения ISA, но и по транзисторному бюджету. Чип ET-SoC-1 сочетает в себе два типа ядер RISC-V: классических «больших» ядер (ET-Maxion) с внеочередным выполнением у него всего 4, зато «малых» ядер (ET-Minion) с поддержкой тензорных и векторных вычислений — целых 1088.

На комплекс ядер ET-Maxion возлагаются задачи общего назначения и в ИИ-вычислениях он напрямую не участвует, зато позволяет быть ET-SoC-1 полностью автономным, так как прямо на нём можно запустить Linux. Помогает ему в этом ещё один служебный RISC-V процессор для периферии. А вот ядра ET-Minion довольно простые: внеочередного исполнения инструкций в них нет, зато есть поддержка SMT2 и целый набор новых инструкций для INT- и FP-операций с векторами и тензорами.

За каждый такт ядро ET-Minion способно выполнять 128 INT8-операций с сохранением INT32-результата, 16 FP32-операций или 32 — FP16. «Длинные» тензорные операции могут непрерывно исполняться в течение 512 циклов (до 64 тыс. операций), при этом целочисленные блоки в это время отключаются для экономии питания. Система кешей устроена несколько непривычным образом. На ядро приходится 4 банка памяти, которые можно использовать как L1-кеш для данных и как быструю универсальную память (scratchpad).

Восемь ядер ET-Minion формируют «квартал» вокруг общего для них кеша инструкций, так как на таких задачах велика вероятность того, что инструкции для всех ядер действительно будут одни и те же. Кроме того, это энергоэффективнее, чем восемь индивидуальных кешей, и позволяет получать и отправлять данные большими блоками, снижая нагрузку на L2-кеш. Восемь «кварталов» формируют «микрорайон» с коммутатором и четырьмя банками SRAM объёмом по 1 Мбайт, которые можно использовать как приватный L2-кеш, как часть общего L3-кеша или как scratchpad.

Посредством mesh-сети «микрорайоны» общаются между собой и с другими блоками: ET-Maxion, восемь двухканальных контроллеров памяти, два root-комплекса PCIe 4.0 x8, аппаратный RoT. Суммарно на чип приходится порядка 160 Мбайт SRAM. Контроллеры оперативной памяти поддерживают модули LPDDR4x-4267 ECC (256 бит, до 137 Гбайт/с). Тактовая частота ET-Minion варьируется в пределах от 500 МГц до 1,5 ГГц, а ET-Maxion — от 500 МГц до 2 ГГц.

В рамках OCP-блока Glacier Point V2 компания объединила на одной плате шесть ET-SoC-1 (всего 6558 ядер RISC-V), снабдив их 192 Гбайт памяти (822 Гбайт/с) — это больше, нежели у NVIDIA A100 (80 Гбайт). Такая связка развивает более 800 Топс, требуя всего 120 Вт. В среднем же она составляет 100 ‒ 200 Топс на один чип с потреблением менее 20 Вт. Это позволяет создать компактный M.2-модуль или же наоборот масштабировать систему далее. Шасси Yosemite v2 может вместить 64 чипа, а стойка — уже 384 чипа.

В тесте MLPerf для рекомендательных систем производительность указанной выше связки из шести чипов в пересчёте на Ватт оказалась в 123 раза выше, чем у Intel Xeon Platinum 8380H (250 Вт), и в два-три раза выше, чем у NVIDIA A10 (150 Вт) и T4 (70 Вт). В «неудобном» для чипа тесте ResNet-50 разница с CPU и ускорителем Habana Goya уже не так велика, а вот с решениями NVIDIA, напротив, более заметна.

При этом о поддержке со стороны ПО разработчики также подумали: чипы Esperanto могут работать с широко распространёнными фреймворками PyTorch, TensorFlow, MXNet и Caffe2, а также принимать готовые ONNX-модели. Есть и SDK для C++, а также драйверы для x86-хостов.

Опытные образцы изготовлены на TSMC по 7-нм техпроцессу. Кристалл площадью 570 мм2 содержит 24 млрд транзисторов. Чип имеет упаковку BGA2494 размерами 45 × 45 мм2. Энергопотребление (а вместе с ним и производительность) настраивается в диапазоне от 10 до 60+ Ватт. Потенциальным заказчикам тестовые чипы станут доступны до конца года. Компания также готова адаптировать ET-SoC-1 под другие техпроцессы и фабрики, но демо на базе OCP-платформы и сравнение с Cooper Lake — это недвусмысленный намёк для Facebook*, что Esperanto будет рада видеть её в числе первых клиентов.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1047568
10.12.2020 [13:04], Юрий Поздеев

Esperanto представила энергоэффективный ИИ-чип ET-SoC-1 с более чем 1000 ядрами RISC-V

На саммите RISC-V компания Esperanto представила новый чип, предназначенный для машинного обучения, который содержит 1089 ядер с низким энергопотреблением. Компания Esperanto была создана в 2014 году и за последние несколько лет смогла привлечь $77 млн венчурного капитала, что позволило ей разработать несколько новых чипов на базе архитектуры RISC-V.

Новый 64-бит чип Esperanto ET-SoC-1 будет иметь два комплекта ядер: ET-Maxion, представляющий собой высокопроизводительное решение, и ET-Minion — компактное энергоэффективное решение c векторным/тензорным ускорением операций для машинного обучения.

 Модуль расширения OCP Glacier Point v2 с шестью чипами Esperanto ET-SoC-1

Модуль расширения OCP Glacier Point v2 с шестью чипами Esperanto ET-SoC-1

Чипы ET-SoC-1 будут выпускаться по 7-нм технологии TSMC, при этом количество транзисторов достигает внушительных 23,8 млрд. До сих пор для рабочих нагрузок ИИ и машинного обучения использовались GPU, которые обладают унифицированными ядрами, однако имеют большое энергопотребление. Решения от Esperanto, как утверждает компания, способны обеспечить больше производительности в пересчете на Вт потребляемой мощности.

ET-Maxion изначально основано на архитектуре процессора Berkeley Out-Of-Order (BOOM) RISC-V с открытым исходным кодом. Хотя Esperanto и планирует значительное расширение архитектуры, преемственность сохраняется, что особенно важно для разработанных решений под данную архитектуру. Esperanto продолжит поддержку репозитория BOOM, однако все расширения технологии будут иметь отдельную платную лицензию.

Ядра ET-Minion разработаны для вычислений с плавающей точкой, он использует 64-битный набор команд RISC-V (in-order), с расширением DSЕ и дополнительными инструкциями для ускорения тензорных и векторных операций, которые могут выполняться параллельно (до 4 потоков).

Готовое решение (SoC) будет включать в себя 16 ядер ET-Maxion RISC-V с кешем L1 и L2, 4096 ядер ET-Minion RISC-V, а также аппаратные ускорители. Решение будет иметь единое адресное пространство между ядрами, обеспечивая согласованную поддержку кеш-памяти. Esperanto уже разработала компилятор для своего решения, которое показало себя более энергоэффективным в сравнении с GPU. Обещана поддержка всех основных фреймворков для машинного обучения.

Не стоит думать, что подобные решения отберут значительную долю рынка у GPU: NVIDIA приобретает Arm и собирается выпускать решения на этой архитектуре, которая может составить достойную конкуренцию RISC-V. А сама ниша подобных специализированных решений уже достаточно насыщена: Xilinx, Mythic, Groc, Intel и многие другие компании выпускают энергоэффективные чипы для ускорения разного типа ИИ-нагрузок.

Постоянный URL: http://servernews.ru/1027480
Система Orphus