Канадский разработчик микрочипов Tenstorrent, возглавляемый легендарным Джимом Келлером (Jim Keller), наконец, представил свои первые решения на базе архитектуры RISC-V — ИИ-процессоры Grayskull и ускорители на их основе, Grayskull e75 и e150. Оба варианта доступны для приобретения уже сейчас по цене $599 за младшую версию и $799 за старшую. Данные решения предназначены для инференс-систем, разработки и отладки ПО.

В комплект разработчика входят инструменты TT-Buda и TT-Metalium. В первом случае речь идёт о высокоуровневом стеке, предназначенном для компиляции и запуска ИИ-моделей на аппаратном обеспечении Tenstorrent, а во втором — о низкоуровневой программной платформе, обеспечивающей прямой доступ к аппаратным ресурсам. Поддерживается PyTorch, ONNX и другие фреймворки. Создатели делают особенный упор на простоте программирования в сравнении с классическими GPU. Поддерживается широкий спектр ИИ-моделей, но Tenstorrent особенно выделяет BERT, ResNet, Whisper, YOLOv5 и U-Net.

Источник изображений здесь и далее: Tenstorrent

Архитектура Grayskull базируется на RISC-V, в настоящий момент максимальное количество фирменных ядер Tensix достигает 120, работают они на частотах вплоть до 1,2 ГГц. Каждое такое ядро содержит пять полноценных ядер RISC-V, блок тензорных операций, блок SIMD для векторных операций, а также ускорители сетевых операций и сжатия/декомпрессии данных. Дополнительно каждое ядро может иметь до 1,5 Мбайт сверхбыстрой памяти SRAM. Между собой ядра общаются напрямую.

В случае Grayskull e150 процессор работает в полной конфигурации со 120 ядрами и 120 Мбайт SRAM, объём внешней памяти LPDDR4 составляет 8 Гбайт (ПСП 118,4 Гбайт/с). Ускоритель выполнен в формате полноразмерной платы расширения с теплопакетом 200 Вт и интерфейсом PCIe 4.0 x16. У младшей модели, Grayskull e75, активных ядер только 96, их частота снижена до 1 ГГц, а пропускная способность внешней памяти при том же объёме снижена до 102,4 Гбайт/с. При этом теплопакет составляет всего 75 Вт, что позволило выполнить ускоритель в виде низкопрофильной платы расширения и обойтись без дополнительного питания.

Чипы Wormhole тоже используют Tensix. В составе Wormhole n300 таких ядер 128, частота равна 1 ГГц при теплопакете 300 Вт. Объём SRAM составляет 1,5 Мбайт на ядро, а внешняя подсистема памяти включает 12 Гбайт GDDR6 и с ПСП 288 Гбайт/с. Wormhole n150 имеют такую же конфигурацию памяти, но оснащены только 72 ядрами Tensix и 108 Мбайт SRAM. TDP составляет 160 Вт. От Grayskull эти решения отличаются возможностью масштабирования путём прямого объединения плат. Также есть по паре сетевых интерфейсов 200GbE. Возможна работа с форматами FP8/16/32, TF32, BFP2/4/8, INT8/16/32 и UINT8.

Чипы Tenstorrent Grayskull и Wormhole лежат в основе уникальных масштабируемых платформ собственной разработки — AICloud и Galaxy. В первом случае используются процессоры Grayskull, поскольку Wormhole на рынке должен появиться позже. Платформа предназначена в качестве аппаратной для ИИ и HPC-нагрузок в облаке Tenstorrent.

Каждый 4U-узел AICloud высотой содержит восемь карт (16 чипов) и способен предоставить в распоряжение пользователей от 30 до 60 vCPU и от 256 до 1024 Гбайт памяти, вкупе с дисковым пространством объёмом 100–400 Гбайт. Восемь таких узлов составляют стойку, а четыре стойки — кластер Server Pod. Четыре таких кластера объединены общей системой интерконнекта, управления и СХД (до 200 Тбайт), дальнейшее масштабирование уже выходит на уровень ЦОД.

В Tenstorrent Galaxy упор сделан на возможность создания высокопроизводительных ИИ-систем с быстрым интерконнектом на базе Ethernet. Строительным блоком здесь являются 80-ядерные модули Wormhole. 4U-сервер вмещает 32 таких модуля, что в совокупности даёт 2560 ядер Tensix и 384 Гбайт глобально адресуемой GDDR6. Наличие 16 каналов 200GbE в каждом модуле обеспечивает производительность интерконнекта на уровне 3,2 Тбитс.

На уровне стойки высотой 48U это дает 256 чипов Wormhole, общий объём SRAM в этом случае достигает 30,7 Гбайт, а GDDR6 — 3 Тбайт. Производительность стойки оценивается разработчиками в 20 Попс (Петаопс), а совокупная скорость интерконнекта — в 76,8 Тбит/с. Расплатой за универсальность и производительность станет энергопотребление, достигающее 60 КВт.

Канадская компания Tenstorrent, по сообщению HPC Wire, расширит участие в индийской программе Digital India RISC-V (DIR-V) благодаря сотрудничеству с Bodhi Computing — местным разработчиком серверных продуктов и HPC-решений. Речь идёт о создании передовых изделий на основе архитектуры RISC-V и технологий ИИ.

Инициатива DIR-V, поддерживаемая Министерством электроники и информационных технологий Индии, предусматривает разработку современных чипов на базе RISC-V в 2023–2024 гг. Ранее Tenstorrent уже заявляла о намерении заключить соглашения о сотрудничестве с индийскими стартапами с целью продвижения названной архитектуры. Отмечается, что в рамках партнёрства с Bodhi Computing компания Tenstorrent поможет в развитии экосистемы RISC-V в Индии.

Источник изображения: Tenstorrent

Bodhi Computing будет разрабатывать и поставлять серверное оборудование на основе решений Tenstorrent AI и RISC-V. Ожидается, что заказчиками станут индийские ЦОД, различные предприятия, HPC-платформы, участники телекоммуникационной и автомобильной отраслей. В этих сегментах ожидается быстрый рост в ближайшие годы, а поэтому они открывают огромные возможности для Bodhi Computing и Tenstorrent. В дальнейшем Bodhi Computing планирует расширять присутствие на глобальном рынке.

«Когда я узнал, что Министерство электроники и информационных технологий Индии запустило программу Digital India RISC-V, чтобы создать к 2024 году первый собственный чипсет, я понял, что Tenstorrent должна поддержать инициативу», — сказал Джим Келлер, генеральный директор Tenstorrent. Партнёрство предполагает разработку программного обеспечения и систем для RISC-V и ИИ. При этом Джим Келлер войдёт в совет директоров Bodhi Computing.

Канадская компания Tenstorrent, по информации The Economic Times, намерена заключить соглашения о сотрудничестве с индийскими стартапами с целью разработки микропроцессоров с архитектурой RISC-V. По словам генерального директора Tenstorrent Джима Келлера (Jim Keller), речь, в частности, идёт о строительстве полноценных дата-центров на открытой платформе RISC-V.

Господин Келлер возглавил Tenstorrent в начале 2023 года. До этого он работал в AMD, Apple, Intel и Tesla, а к стартапу присоединился два года назад. Что касается Tenstorrent, то эта молодая компания занимается созданием систем ИИ и машинного обучения, а также производительных процессоров с архитектурой RISC-V. У фирмы есть офисы в США и Канаде, в британском Кембридже, индийском Бангалоре и сербском Белграде.

Источник изображения: Tenstorrent

Джим Келлер сказал, что он много лет работал с индийскими инженерами и пришёл к выводу, что иногда они проявляют «неоправданный оптимизм». Вместе с тем он отметил, что с удовольствием взаимодействовал с командами из Индии в течение долгого времени. Поэтому дизайнерские центры Tenstorrent в Бангалоре намерены сотрудничать с некоторыми местными стартапами по ряду перспективных проектов.

Министерство электроники и информационных технологий Индии ранее запустило программу Digital India RISC-V (DIR-V) с целью создания современных отечественных чипов с этой архитектурой в 2023–2024 гг. Ожидается, что данная инициатива будет способствовать развитию индийской полупроводниковой отрасли. Ранее в Индии было создано семейство RISC-V чипов Shakti.