Облачный провайдер HyperAI из Нидерландов обвинил Graphcore в обмане, поскольку британский разработчик ИИ-чипов сначала отказался от прежних обязательств, а потом и вовсе заявил, что никогда ничего не продавал HyperAI. Как сообщил порталу Datacenter Dynamics представитель HyperAI, ситуация дошла до абсурда, поэтому компания обратилась в суд. Graphcore, испытывающая финансовые трудности, отметила, что не комментирует незавершённые судебные разбирательства, но решительно отрицает претензии HyperAI.

HyperAI, занимающаяся предоставлением облачных услуг в Европе, впервые обратилась к Graphcore в феврале 2021 года, посчитав, что её ИИ-ускорители BoW IPU сравнимы с продуктами NVIDIA, а в некоторых отношениях даже превосходят их. В апреле 2022 года появилась официальная информация о том, что HyperAI заказала комплекс Graphcore BOW POD16. Фактически система была поставлена только в августе, однако Graphcore неправильно настроила её, в результате чего HyperAI не могла осуществить официальный запуск сервиса до декабря 2022 года.

Изображение: Graphcore

В январе 2023 года отношения компаний ухудшились. Менеджер по продажам Graphcore потребовал объяснить, почему HyperAI называет себя облачным партнёром Graphcore, если у последней уже есть эксклюзивный партнёр в Европе — Gcore. В HyperAI считают, что со времён самых первых контактов был очевиден облачный профиль бизнеса компании и никто из Graphcore никогда не говорил, что такие заявления могут вызвать проблемы. Об эксклюзивном европейском партнёрстве с Gcore компании также никто не сообщал.

Позже выяснилось, что вице-президент по продажам Graphcore, который был руководителем упомянутого менеджера, перешёл в Gcore. В Graphcore сначала попытались сгладить ситуацию, но позже заявили, что, возможно, не смогут обеспечить полноценную техническую поддержку из-за сокращения штата. В конце концов компания сообщила, что не будет общаться с HyperAI без адвоката. Более того, Graphcore неожиданно заявила, что не продавала комплекс BOW POD16, а HyperAI сама приобрела некоторые комплектующие у некой третьей стороны.

Британский стартап Graphcore Ltd., специализирующийся на ИИ-ускорителях, по слухам, рассматривает продажу бизнеса. Silicon Angle сообщает, что такое решение связано с трудностями конкуренции на рынке, в первую очередь с NVIDIA.

В минувшие выходные в СМИ появилась информация о том, что компания обсуждала потенциальную сделку с крупнейшими технологическими компаниями в попытке получить средства для покрытия больших убытков. Ожидаемая оценка компании — $500 млн. Более того, сделку будут изучать и британские спецслужбы в связи с важностью для национальной безопасности любых вопросов, связанных с ИИ-технологиями. В декабре 2020 года Graphcore привлекла $222 млн инвестиций, капитализация компании на тот момент составляла $2,77 млрд.

Источник изображения: Graphcore

Компания предлагает вычислительные системы BOW-2000 IPU Machine, каждая из которых включает по четыре чипа BOW IPU, которые обеспечивают ИИ-производительность до 1,4 Пфлопс. Чипы разработаны при поддержке TSMC и используются 3D-упаковку WoW (Wafer-on-Wafer). Также доступны кластеры BOW POD, насчитывающие от 16 до 1024 чипов. На момент дебюта сообщалось, что 16-чиповы BOW POD16 более чем в пять раз производительнее NVIDIA DGX A100, но при этом вдвое дешевле.

Хотя на бумаге всё выглядело довольно многообещающе, компания столкнулась с трудностями при реализации своих решений. У Graphcore попросту нет достаточно средств, чтобы выдержать гонку с NVIDIA. По слухам, компания уже вела с инвесторами переговоры по поводу привлечения дополнительных капиталов, но не преуспела. Более того, ожидался и очередной раунд инвестиций в III квартале 2023 года, но никакой информации о нём так и не поступило.

В число потенциальных покупателей Graphcore входят британская Arm, японская Softbank и даже OpenAI. Косвенным свидетельством вероятной продажи служит заявление инвестиционного фонда Chrysalis Investments Ltd., имеющего в Graphcore долю. В декабре фонд заявил, что одна из компаний в его портфолио находится в процессе продажи, а через несколько недель довёл оценочную стоимость Graphcore до $528 млн — обычно такое происходит незадолго до значимых событий.

Британский разработчик ИИ-ускорителей Graphcore вынужден прекратить продажи своей продукции в Китай, а также уволить большую часть своего персонала в этой стране в связи с введением США новых ограничений на поставки в Поднебесную высокопроизводительных чипов и оборудования для их производства, сообщил Bloomberg. Ранее компания выпустила специальную версию ускорителя для клиентов из Китая и Сингапура.

«Недавно обновлённые правила экспортного контроля США означают, что Graphcore, как и другие производители оборудования для ИИ, больше не может продавать системы IPU в Китае. К сожалению, это означает, что мы будем значительно сокращать бизнес-операции в Китае», — сообщил представитель Graphcore в электронном письме ресурсу Bloomberg. Вместе с тем компания отказалась сообщить масштабы сокращения персонала.

Источник изображения: Graphcore

Основанная в 2016 году компания Graphcore одно время считался одним из самых многообещающих стартапов Великобритании. В 2020 году Graphcore привлёк $222 млн инвестиции, после чего его рыночная стоимость выросла до $2,8 млрд. Стартап разрабатывает ускорители ИИ, получившие название Intelligence Processor Units (IPU), а также связанный с ними программный стек Poplar и облачные сервисы IPU. По словам экспертов, в некоторых ИИ-нагрузках чипы Graphcore даже могут быть лучше ускорителей NVIDIA.

Хотя Graphcore является британской компанией, экспортные ограничения США касаются и её, поскольку они распространяются на использование американских инструментов производства и проектирования передовых полупроводников. Graphcore возлагала большие надежды на китайский рынок, особенно после того, как США заблокировали возможность поставок в Китай продвинутых ускорителей NVIDIA. Ранее стартап сообщал о высоком спросе на свои продукты в Поднебесной. На конференции Bloomberg Technology в октябре Найджел Тун (Nigel Toon), гендиректор Graphcore, заявил, что продажи на китайском рынке составляют «возможно, от 20 до 25 %» бизнеса компании.

В 2022 году Graphcore столкнулся с падением выручки год к году на 46 %. При этом убытки стартапа составили $204,6 млн, увеличившись по сравнению с 2021 годом на 11 %. В связи с этим Graphcore свернул операции в Норвегии, Японии и Южной Корее, а также сократил почти четверть штата. В октябре стартап заявил о необходимости привлечения инвестиций для продолжения работы, однако с тех пор никаких новостей об этом не поступало. Как сообщала газета Sunday Times ранее в этом году, один из наиболее известных спонсоров Graphcore компания Sequoia списала стоимость своей доли в стартапе до нуля.

Британская компания Graphcore, специализирующаяся на разработке ИИ-чипов, по сообщению Bloomberg, срочно ищет новое финансирование для продолжения деятельности. Положение Graphcore серьёзно ухудшилось на фоне роста убытков и сокращения выручки.

В 2020 году Graphcore объявила о создании нового класса ускорителей, которые она назвала IPU: Intelligence Processing Unit. Предполагалось, что эти решения составят конкуренцию изделиям NVIDIA, но бизнес с трудом находил поддержку даже в условиях нынешнего бума генеративного ИИ.

Источник изображения: Graphcore

В документации, поданной в Регистрационную палату Великобритании, говорится, что в 2022 году убытки Graphcore до уплаты налогов достигли $204,6 млн. Это на 11 % больше по сравнению с потерями за 2021-й. При этом выручка в годовом исчислении рухнула на 46 % — до $2,7 млн. На фоне ухудшения финансового положения Graphcore, основанная в 2016 году, уже уволила часть сотрудников: численность персонала сократилась на 21 % — до 494 человек. Кроме того, были свёрнуты операции в Норвегии, Японии и Южной Корее.

Около двух лет назад Graphcore привлекла на развитие $222 млн при оценке в $2,8 млрд. Компания являлась одним из самых многообещающих стартапов Великобритании, но сейчас она отчаянно нуждается в деньгах. Graphcore заявляет, что сталкивается с «существенной неопределенностью» относительно того, сможет ли продолжать свою деятельность, если не получит дополнительные средства к маю 2024 года. Компания ведёт переговоры с потенциальными инвесторами, но соглашение пока не достигнуто.

Провайдер облачных и периферийных сервисов Gcore объявил о запуске облачного ИИ-кластера AI Cloud в Ньюпорте (Уэльс, Великобритания). Кластер был построен с использованием ИИ-решений Graphcore Intelligence (IPU) — Graphcore Bow-Pod, IPU-Pod и Bow-vPod, предназначенных для выполнения задач и алгоритмов машинного обучения.

Как сообщает ресурс Data Center Dynamics, во время тестирования производительности Bow Pod16 позволил обучить нейросеть EfficientNET-B4 менее чем за 14 часов, в то время как новейшим GPU для этого требовалось 70,5 часа. Производительность в задачах Dynamic Temporal Graph Network также была в 10 раз выше. Общая производительность этих кластеров ИИ не разглашается.

Источник изображений: Gcore

«Открытие облачного кластера Gcore AI Cloud в Ньюпорте в партнёрстве с Graphcore является важным шагом на пути к созданию одной из первых европейских инфраструктур искусственного интеллекта. Этот шаг позволит компаниям любого размера интегрировать инновации и легко получить доступ к передовым технологиям искусственного интеллекта», — заявил Всеволод Вайнер (Seva Vayner), директор подразделения Edge Cloud Stream компании Gcore.

Новый IaaS обеспечивает доступ к ИИ-оборудованию Graphcore с поминутной оплатой. Gcore AI Cloud также включает целый ряд инструменов, таких как PyTorch, Keras, TensorFlow, Hugging Face, Paddle и ONNX, используемых для поддержки машинного обучения и приложений ИИ. Это третья точка присутствия (PoP) AI Cloud Gcore после Нидерландов и Люксембурга. Всего Gcore имеет точки присутствия в более чем в 140 регионах, а также более чем 20 облачных локаций.

На этой неделе премьер-министр Великобритании Риши Сунак (Rishi Sunak) представил программу, которая позволит стране «укрепить своё место в качестве мировой сверхдержавы в области науки и технологий к 2030 году». Одним из главных проектов программы должно стать создание HPC-системы, способной соперничать по мощности с самым производительным суперкомпьютером в мире Frontier (без учёта китайских OceanLight и Tianhe-3), установленным в США. По словам источников, министерство финансов пока не дало согласия на финансирование проекта.

Согласно данным источников ресурса Bloomberg, в настоящее время канцлер казначейства Великобритании обсуждает предложение Департамента науки, инноваций и технологий, созданного в феврале, вложить £800 млн ($946 млн) в создание суперкомпьютера. Frontier, к примеру, обошёлся США в $600 млн. Как утверждают в департаменте, суперкомпьютер обеспечит финансовый импульс отечественной технологической отрасли, поскольку, как предполагается, вычислительная система будет построена британскими фирмами с использованием чипов и систем, созданных британскими же производителями. То есть участие американской HPE и французской Atos, построивших многие из самых мощных суперкомпьютеров в мире, не предполагается.

ARCHER2 — самый мощный суперкомпьютер Великобритании (Фото: EPCC/The University of Edinburgh)

Ресурс The Register допустил, что ответственность за создание суперкомпьютера возложат на британский стартап Graphcore, который уже работает над ИИ-суперкомпьютером Good Machine. Стоит эта система около $120 млн, а производительность её составляет 10 Эфлопс в вычислениях пониженной точности (не FP64). The Register также допускает участие в проекте Arm, поскольку в Великобритании был запущен в работу первый в мире Arm-суперкомпьютер Isambarad, а японский Fugaku возглавлял TOP500. Ещё одним потенциальным участником проекта называется американская NVIDIA, которая также задействует Arm-ядра в новейших чипах Grace Superchip и Grace Hopper.

Источник: Hyperion Research

Ситуация с мощными машинами усугубляется тем, что Великобритания в связи с Brexit'ом покинула консорциум EuroHPC, в создании которого принимала активное участие. Суперкомпьютеры EuroHPC уже занимают третье (финский LUMI от HPE) и четвёртое (итальянский Leonardo от Atos) место в последнем TOP500. В скором времени EuroHPC будут развёрнуты самый мощный европейский ИИ-суперкомпьютер MareNostrum-5, первый экзафлопсный суперкомпьютер JUPITER и шесть квантовых компьютеров. При этом Евросоюз активно вкладывается в создание собственных CPU и ускорителей, а также СХД.

Британская компания Graphcore анонсировала ускоритель C600 в виде карты расширения PCIe, предназначенный для задач ИИ и машинного обучения. Изделие поначалу будет доступно только на рынках Китая и Сингапура — о возможности организации поставок в другие регионы пока ничего не сообщается.

В основу новинки положен двухлетний чип IPU (Intelligence Processing Unit) Colossus Mk2 GC200. В основе IPU лежат не традиционные ядра, а так называемые «тайлы» — это области кристалла, содержащие как вычислительную логику, так и быструю память. В случае изделия Colossus Mk2 задействованы 892 Мбайт SRAM в 1472 тайлах, способных выполнять одновременно 8832 потока.

Источник изображения: Graphcore

Ускоритель Graphcore C600 имеет двухслотовое исполнение; используется интерфейс PCIe 4.0 x8. Показатель TDP равен 185 Вт. Заявленная производительность достигает 280 Тфлопс при FP16-вычислениях и 560 Тфлопс при вычислениях FP8. В одно серверное шасси могут устанавливаться до восьми ускорителей C600, связанных интерконнектом Graphcore IPU-Link, который обеспечивает пропускную способность до 256 Гбайт/с.

Компания Graphcore отмечает, что появление нового ускорителя является ответом на запросы клиентов, у которых конфигурации дата-центров, включая форматы стоек и подсистемы питания, могут сильно различаться. Релиз C600 состоялся на фоне ухудшения положения Graphcore. В сентябре стартап заявил, что планирует сокращение рабочих мест из-за крайне сложной макроэкономической ситуации. Вместе с тем инвесторы снизили оценку Graphcore на $1 млрд из-за финансовых проблем, включая расторжение сделки с Microsoft.

Нужно отметить, что в связи с вводом Соединёнными Штатами новых экспортных ограничений на поставки в Китай производители стали намеренно снижать быстродействие чипов. Так, производитель серверов Inspur начал применять вместо ускорителя NVIDIA A100 решение A800, разработанное NVIDIA специально для Китая в соответствии с санкциями. Пока не ясно, распространяется ли подобная практика на изделие Colossus Mk2.

Исследователи со всего мира в скором времени смогут получить доступ к новой вычислительной ИИ-системе компании Graphcore, которая будет установлена в Аргоннской национальной лаборатории Министерства энергетики США.

Речь идёт о комплексе Bow Pod Intelligence Processing Unit (IPU). Напомним, основной единицей IPU является не ядро, а «тайл» — область кристалла, содержащая как вычислительную логику, так и быструю память. В случае решения Bow применён кристалл второго поколения Colossus Mk2. Конфигурация включает 892 Мбайт SRAM в 1472 тайлах, способных выполнять одновременно 8832 потока. Подробнее об изделии можно узнать в нашем материале.

Источник изображения: Аргоннская национальная лаборатория

В Аргоннской национальной лаборатории расположится система Bow Pod64 с производительностью 22 Пфлопс. Доступ к ней обеспечит площадка ALCF AI Testbed, на базе которой тестируются многие передовые технологии в области ИИ и глубокого обучения.

Ранее в лаборатории уже была смонтирована другая система Graphcore — IPU-M2000. Она тестировалась на научных приложениях машинного обучения, в частности, BraggNN (анализ данных рентгеновских экспериментов) и CANDLE Uno (исследования в области злокачественных образований). Специалисты пришли к выводу, что IPU «хорошо подходит для обычных задач машинного обучения и нерегулярных нагрузок».

Добавим, что в Аргоннской национальной лаборатории вскоре также заработает другая тестовая ИИ-система — комплекс DataScale нового поколения, который поставит молодая компания SambaNova Systems.

Разработка специализированных ускорителей для задач и алгоритмов машинного обучения в последние несколько лет чрезвычайно популярна. Ещё в 2020 году британская компания Graphcore объявила о создании нового класса ускорителей, которые она назвала IPU: Intelligence Processing Unit. Их архитектура оказалась очень любопытной.

Основной единицей IPU является не ядро, а «тайл» — область кристалла, содержащая как вычислительную логику, так и некоторое количество быстрой памяти с пропускной способностью в районе 45 Тбайт/с (7,8 Тбайт/с между тайлами). В первой итерации чип Graphcore получил 1216 таких тайлов c 300 Мбайт памяти, а сейчас компания анонсировала следующее поколение своих IPU.

Изображения: Graphcore

Новый чип, получивший название BOW, можно условно отнести к «поколению 2,5». Он использует кристалл второго поколения Colossus Mk2: 892 Мбайт SRAM в 1472 тайлах, способных выполнять одновременно 8832 потока. Этот кристалл по-прежнему производится с использованием 7-нм техпроцесса TSMC, но теперь Graphcore перешла на использование более продвинутой упаковки типа 3D Wafer-on-Wafer (3D WoW).

Новый IPU стал первым в индустрии чипом высокой сложности, использующем новый тип упаковки, причём технология 3D WoW была совместно разработана Graphcore и TSMC с целью оптимизации подсистем питания. Процессоры такой сложности отличаются крайней прожорливостью, а «накормить» их при этом не просто. В итоге обычная упаковка не позволяет добиться от чипа уровня Colossus Mk2 максимальной производительности — слишком велики потери и паразитный нагрев.

Реализована 3D WoW во многом аналогично технологии, применённой AMD в серверных чипах Milan-X. Упрощённо говоря, медные структуры-стержни пронизывают кристалл и позволяют соединить его напрямую с другим кристаллом, причём «склеиваются» они друг с другом благодаря. В случае с BOW роль нижнего кристалла отводится распределителю питания с системой стабилизирующих конденсаторов, который питает верхний кристалл Colossus Mk2. За счёт перехода с плоских структур на объёмные можно как увеличить подводимый ток, так и сделать путь его протекания более короткими.

В итоге компании удалось дополнительно поднять частоту и производительность BOW, не прибегая к переделке основного процессора или переводу его на более тонкий и дорогой техпроцесс. Если у оригинального IPU второго поколения максимальная производительность составляла 250 Тфлопс, то сейчас речь идёт уже о 350 Тфлопс — для системы BOW-2000 с четырьмя чипами заявлено 1,4 Пфлопс совокупной производительности. И это хороший выигрыш, полученный без критических затрат.

С внешним миром IPU общается по-прежнему посредством 10 каналов IPU-Link (320 Гбайт/с). Внутренней памяти в такой системе уже почти 4 Гбайт, причём работает она на скорости 260 Тбайт/с — критически важный параметр для некоторых задач машинного обучения, которые требуют всё большие по объёму наборов данных. Ёмкость набортной памяти далека от предлагаемой NVIDIA и AMD, но выигрыш в скорости даёт детищу Graphcore серьёзное преимущество.

Узлы BOW-2000 совместимы с узлами предыдущей версии. Четыре таких узла (BOW POD16) с управляющим сервером — всё в 5U-шасси — имеют производительность до 5,6 Пфлопс. А полная стойка с 16 узлами BOW-2000 (BOW POD64) даёт уже 22,4 Пфлопс. По словам компании, производительность новой версии возросла на 30–40 %, а прирост энергоэффективности составляет от 10 % до 16 %.

Graphcore говорит о десятикратном превосходстве BOW POD16 над NVIDIA DGX-A100 в полной стоимости владения (TCO). Cтоит BOW POD16 вдвое дешевле DGX-A100. К сожалению, говорить о завоевании рынка машинного обучения Graphcore рано: клиентов у компании уже довольно много, но среди них нет таких гигантов, как Google или Baidu. В долгосрочной перспективе ситуация для Graphcore далеко не безоблачна, но компания уже готовит третье поколение IPU на базе 3-нм техпроцесса.

Несмотря на все проблемы в полупроводниковой индустрии, технологии продолжают развиваться. Технологические нормы 7 нм уже давно не являются чудом, вовсю осваиваются и более тонкие нормы, например, 5 нм. А ведущий контрактный производитель, TSMC, штурмует следующую вершину — 3-нм техпроцесс. Одним из первых продуктов на базе этой технологии станет ИИ-платформа Graphcore с четырьмя IPU нового поколения.

Британская компания Graphcore разрабатывает специфические ускорители уже не первый год. В прошлом году она представила процессор IPU (Intelligence Processing Unit), интересный тем, что состоит не из ядер, а из так называемых тайлов, каждый из которых содержит вычислительное ядро и некоторое количество интегрированной памяти. В совокупности 1216 таких тайлов дают 300 Мбайт сверхбыстрой памяти с ПСП до 45 Тбайт/с, а между собой процессоры IPU общаются посредством IPU-Link на скорости 320 Гбайт/с.

Colossально: ИИ-сервер Graphcore с четырьмя IPU на борту

Компания позаботилась о программном сопровождении своего детища, снабдив его стеком Poplar, в котором предусмотрена интеграция с TensorFlow и Open Neural Network Exchange. Разработкой Graphcore заинтересовалась Microsoft, применившая IPU в сервисах Azure, причём совместное тестирование показало самые положительные результаты. Следующее поколение IPU, Colossus MK2, представленное летом этого года, оказалось сложнее NVIDIA A100 и получило уже 900 Мбайт сверхбыстрой памяти.

Машинное обучение, в основе которого лежит тренировка и использование нейронных сетей, само по себе требует процессоров с весьма высокой степенью параллелизма, а она, в свою очередь, автоматически означает огромное количество транзисторов — 59,4 млрд в случае Colossus MK2. Поэтому освоение новых, более тонких и экономичных техпроцессов является для этого класса микрочипов ключевой задачей, и Graphcore это понимает, заявляя о своём сотрудничестве с TSMC.

Тайловая архитектура Graphcore Colossus MK2

В настоящее время TSMC готовит к началу «рискового» производства новый техпроцесс с нормами 3 нм, причём скорость внедрения такова, что первые продукты на его основе должны увидеть свет уже в 2021 году, а массовое производство будет развёрнуто во второй половине 2022 года. И одним из первых продуктов на базе 3-нм технологических норм станет новый вариант IPU за авторством Graphcore, известный сейчас как N3. Судя по всему, использовать 5 нм британский разработчик не собирается.

В планах компании явно указано использование 3-нм техпроцесса

В настоящее время чипы Colossus MK2 производятся с использованием техпроцесса 7 нм (TSMC N7). Они включают в себя 1472 тайла и способны одновременно выполнять 8832 потока. В режиме тренировки нейросетей с использованием вычислений FP16 это даёт 250 Тфлопс, но существует удобное решение мощностью 1 Пфлопс — это специальный 1U-сервер Graphcore, в нём четыре IPU дополнены 450 Гбайт внешней памяти. Доступны также платы расширения PCI Express c чипами IPU на борту.

Дела у Graphcore идут неплохо, её технология оказалась востребованной и среди инвесторов числятся Microsoft, BMW, DeepMind и ряд других компаний, разрабатывающих и внедряющих комплексы машинного обучения. Разработка 3-нм чипа ещё более упрочнит позиции этого разработчика. Более тонкие техпроцессы существенно увеличивают стоимость разработки, но финансовые резервы у Graphcore пока есть; при этом не и исключён вариант более тесного сотрудничества, при котором часть стоимости разработки возьмёт на себя TSMC.