Специализированными ИИ-ускорителями сейчас никого не удивить. Версии, предназначенные для обучения моделей, уже сравнялись по сложности и энергопотреблению с современными GPU, но и чипы, служащие для запуска натренированных моделей, не всегда отличаются простотой.
Компания Neuchips пошла другим путём, анонсировав ASIC RecAccel N3000, который отличается повышенной экономичностью и пониженным тепловыделением при высоком уровне производительности. Это сделает его подходящим для «умных» платформ периферийных вычислений, которые часто вынуждены работать в жёстких тепловых и энергетических рамках. В данном случае речь идёт о компактных, но мощных инференс-системах.
Новинка выполнена с использованием 7-нм техпроцесса TSMC и изначально спроектирована для запуска рекомендательных моделей глубокого машинного обучения (deep learning recommendation models, DLRM). В течение второго полугодия компания намеревается вывести на рынок OCP-модули для серверов, причём сразу в двух форм-факторах: двойном M.2 и в виде платы расширения с интерфейсом PCI Express 5.0.
Источник: Neuchips
Компания провела полноценное тестирование RecAccel N3000 в MLPerf и уверена в успехе новинки. Ускоритель использует фирменные алгоритмы 8-бит квантизации и калибровки, гарантирующие точность на уровне 99,95% от FP32, встроенная система кеширования снизит трафик к внешней памяти LPDDR5 на 50%, а эффективность использования ПСП, наоборот, повысится на 30%.
Архитектура, спроектированная Neuchips, обеспечивает энергоэффективность в районе 1 мкДж на каждый результат, что позволяет разработчикам говорить о производительности новой ASIC-платформы выше ранее запланированного уровня 20 млн инференс-решений в секунду при потреблении 20 Вт. На данный момент оценить этот показатель в сравнении с уже существующими решениями достаточно сложно, поскольку речь может идти о разных моделях и сценариях их применения.
Отметим, что подобные ускорители существовали уже в 2020 году. Сейчас известно лишь то, что RecAccel N3000 получит аппаратный RoT и будет поддерживать все популярные рекомендательные варианты ИИ-моделей, включая DLRM, WND, DCN и NCF. Впрочем, есть основания полагать, что всё это не пустые обещания, поскольку создал компанию бывший глава Global Unichip Corporation, дочернего предприятия TSMC, которая занимается разработкой заказных ASIC и IP-блоков.
Источник:
