Джейсон Тейлор (Jason Taylor), бывший исполнительный директор Meta✴ Platforms, по сообщению The Information, перешёл на работу в Microsoft, где занял пост старшего руководителя команды дата-центров. Его непосредственным начальником станет технический директор Microsoft Кевин Скотт (Kevin Scott).

Тейлор проработал в Meta✴ почти 14 лет. Занимая должность вице-президента по инфраструктуре, он в числе прочего курировал расширение сети ЦОД и создание серверных чипов Meta✴. Тейлор ушёл из компании Марка Цукерберга (Mark Zuckerberg) в сентябре 2022 года. Согласно информации профилю LinkedIn, с тех пор он официально работал только в Intrepid Ventures.

Источник изображения: LinkedIn / Datacenter Dynamics

Отмечается, что в Microsoft Тейлор будет исполнять обязанности, аналогичные тем, что были возложены на него в Meta✴. В настоящее время Microsoft активно развивает направление дата-центров, что связано со стремительным внедрением технологий ИИ. В частности, совместно с OpenAI создаётся масштабный кампус ЦОД под названием Stargate стоимостью около $100 млрд. Мощность объектов в составе этого комплекса суммарно составит до 5 ГВт. Кроме того, Microsoft продолжает закупать ускорители на базе GPU для решения ИИ-задач: планируется, что количество таких изделий в составе вычислительной ИИ-инфраструктуры корпорации к концу 2024 года достигнет 1,8 млн штук.

Ожидается, что Тейлор примет участие в расширении сети дата-центров Microsoft, а также возьмёт на себя некоторые обязанности Брайана Гарри (Brian Harry), старшего руководителя команды ЦОД, который планирует уйти на пенсию. Сама корпорация назначение Тейлора никак не комментирует. Два месяца назад Microsoft также переманила к себе Ахмеда Шихаба (Ahmed Shihab), ответственного ранее за аппаратные решения облака AWS. На новом месте он займётся «созданием передовых сервисов хранения данных для платформы Azure».

Компания Meta✴ и Alphabet X работают над технологиями Direct Air Capture (DAC) для извлечения углекислого газа с последующей его утилизацией. По данным Datacenter Dynamics, для высвобождения углекислоты из сорбентов будет применяться тепло, выделяемое оборудованием дата-центров.

Meta✴ ведёт соответствующие работы над DAC как минимум с 2021 года. Похоже, история началась с лабораторного прототипа технологии удаления углекислоты, интегрированной в системы охлаждения ЦОД. С тех пор проект претерпел некоторые изменения, но исследования по-прежнему продолжаются, как с жидкими сорбентами, так и с твёрдыми. Для регенерации поглощающих элементов действительно предполагается использовать «мусорное» тепло ЦОД.

Источник изображения: Ella Ivanescu/unsplash.com

После захвата CO₂ из воздуха сорбент способен при нагревании высвобождать его для хранения где угодно, например, в подземных полостях. По последним данным, Meta✴ работает над новой системой DAC, использующей для высвобождения углекислоты нагрев до невысокой температуры — это значительно снизит издержки.

О проекте Alphabet X Development известно мало. Компания в 2021 году подала патентную заявку, описывающую методы и системы для высвобождения из DAC-сорбентов CO₂ с использованием тепла от производственных процессов. Сам был опубликован в 2023 году. Судя по описанию, «промышленное» тепло используется в комбинации с одним и более тепловым насосом для отделения CO₂ от твёрдого или жидкого сорбента. Некоторые из участников проекта с тех пор перешли в Amazon. Похожую патентную заявку, посвящённую системе захвата углерода с помощью тепла дата-центров, подавала и Microsoft.

Тепло ЦОД пытаются использовать повсеместно — от подогрева ферм по выращиванию угрей до нагрева воды в плавательных бассейнах. Нет ничего удивительного, что со временем возникла идея использования его для захвата углерода. Одной из проблем была необходимость нагревать сорбенты до высоких температур, что само по себе приводит к углеродным выбросам. К счастью, в прошлом году компания Spiritus представила сорбент, который можно нагревать до температур ниже 100℃. Как заявляют в Meta✴, ключевыми покупателями нового материал являются именно ЦОД.

Источник изображения: Spiritus

По данным Spiritus, целесообразно устанавливать DAC в дата-центрах, способных отдавать 20–50 МВт избыточного тепла, а кампусы, способные генерировать 300 МВт тепла способны захватывать три мегатонны углекислоты ежегодно в сравнении с мегатонной, доступной более ранним DAC-технологиям, целесообразность которых тоже была под вопросом. Так, в рамках не связанного с ЦОД проекта Orchard One компания будет удалять из атмосферы по две мегатонны CO₂ каждый год.

При этом в Spiritus отказались сообщать, участвует ли она в проектах Meta✴ или X. Впрочем, будущее всех подобных проектов пока под вопросом, поскольку природные или искусственные полости для закачки туда углекислоты есть далеко не везде, а транспортировка CO₂, возможно, не получит одобрения регуляторов. Другими словами, ЦОД с системами подобной очистки можно будет строить лишь в некоторых местах.

Alphabet и Meta✴ входят в проект Frontier Climate, в рамках которого осуществляется покупка «углеродных кредитов» у компаний, использующих самые разные технологии захвата углекислоты из атмосферы, включая DAC. Frontier Climate является инвестором в другие проекты вроде Lithos, CarbonCapture Inc., Airhive, Inplanet, Living Carbon и Heirloom. Google, инвестировавшая $35 млн в проект по захвату углерода, заявила, что недавно покупала углеродные кредиты у Frontier, но деталей сделки не раскрыла.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Компания Meta✴ поделилась подробностями о следующем собственных ИИ-ускорителей Meta✴ Training and Inference Accelerator. Новый чип отличается более высокой производительностью по сравнению со чипом MTIA v1, представленным в мае прошлого года, и будет играть решающую роль в обеспечении работы ИИ-моделей Meta✴.

Следующее поколение крупномасштабной инфраструктуры Meta✴ рассчитано на поддержку новых продуктов и услуг в области генеративного ИИ, рекомендательных систем и передовых исследований в области ИИ. Создание нового чипа является частью инвестиций в инфраструктуру. В ближайшие годы, как ожидается, затраты в этом направлении будут расти, поскольку требования к вычислительным ресурсам для поддержки моделей будут расти вместе с усложнением последних.

Источник изображений: Meta✴

Архитектура чипа ориентирована на обеспечение «правильного баланса вычислений, пропускной способности и объёма памяти» даже при относительно небольших размерах обрабатываемых последовательностей. MTIA v2 в сравнении с MTIA v1 в 3,5 раза быстрее в обычных вычислениях и в 7 раз — в разреженных. Новый чип изготавливается по 5-нм техпроцессу TSMC и имеет габариты 25,6 × 16,4 мм (упаковка 40 × 50 мм). Ускоритель работает на частоте 1,35 ГГц, а его TDP составляет 90 Вт, тогда как 7-нм MTIA v1 работал на частоте 800 МГц и имел TDP всего 25 Вт. Готовая стоечная система вмещает до 72 ускорителей и состоит из трёх шасси с 12 платами, на каждой из которых размещено по два ускорителя. Для дальнейшего масштабирования можно добавить RDMA-сеть.

Чип состоит из 64 вычислительных элементов (PE). У каждого PE есть небольшой блок локальной памяти объёмом 384 Кбайт с ПСП 1 Тбайт/с. На весь чип приходится 256 Мбайт SRAM (2,7 Тбайт/с), а внешняя память представлена 128 Гбайт LPDDR5 (204,8 Гбайт/с). Для подключения к хосту используется интерфейс PCIe 5.0 x8 (32 Гбайт/с). При работе с матрицами чип развивает 177 (FP16/BF16) и 354 (INT8) Тфлопс, в разреженных вычислениях — вдвое больше. SIMD-блоки выдают 2,76 Тфлопс для FP32 и 5,53 Тфлопс для INT8/FP16/BF16. В векторных расчётах значения те же, только для INT8 показатель составляет уже 11,06 Тфлопс.

MTIA v2 совместим с кодами, разработанными для MTIA v1. Стек MTIA ориентирован на PyTorch 2.0 и включает компилятор Triton-MTIA. Предварительные испытания MTIA v2 на четырёх ключевых ИИ-моделях компании показали, что он втрое быстрее MTIA v1 чип первого поколения. А на уровне платформы достигнуто шестикратное увеличение пропускной способности модели и рост производительности на Вт в 1,5 раза. Чипы MTIA уже развёрнуты в ЦОД компании. Правда, для обучения Meta✴ их пока не использует.

Компания WekaIO, разработчик решений для хранения данных, анонсировала высокопроизводительное All-Flash хранилище WEKApod, оптимизированное для работы с платформой NVIDIA DGX SuperPOD на базе NVIDIA DGX H100. Новинка объединяет специализированное ПО WekaIO и «лучшее в своем классе оборудование».

Хранилище WEKApod спроектировано для ресурсоёмких нагрузок ИИ. Базовая конфигурация состоит из восьми 1U-узлов, обеспечивающих суммарную вместимость в 1 Пбайт. Показатель IOPS (операций ввода-вывода в секунду) достигает 18,3 млн. Заявленная пропускная способность при чтении составляет до 720 Гбайт/с, при записи — до 186 Гбайт/с.

Утверждается, что восемь узлов WEKApod обеспечивает производительность, необходимую для 128 систем NVIDIA DGX H100. При этом WEKApod может масштабироваться до сотен узлов блоками по четыре узла. Таким образом, можно сформировать систему необходимой вместимости с высокой отказоустойчивостью для обучения больших языковых моделей (LLM), ИИ-приложений, работающих в реальном времени, и пр.

Источник изображения: WekaIO

Отмечается, что архитектура WEKApod обеспечивает снижение энергопотребления благодаря оптимальному использованию пространства, улучшенному охлаждению и средствам энергосбережения в режиме простоя. В результате, достигается потенциальное сокращение углеродного следа до 260 т/Пбайт.

WEKApod использует адаптеры NVIDIA ConnectX-7 и NVIDIA Base Command Manager для мониторинга и управления. Каждый из узлов несёт на борту процессор AMD EPYC 9454P (48C/96T; 2,75–3,80 ГГц; 290 Вт) и 384 Гбайт памяти DDR5-4800. Есть посадочные места для 14 накопителей формата E3.S с интерфейсом PCIe 5.0. Производительность в расчёте на узел достигает 90 Гбайт/с при чтении и 23,3 Гбайт/с при записи, а величина IOPS равна 2,3 млн при произвольном чтении и 535 тыс. при произвольной записи.

Компания Meta✴, по сообщению ресурса The Register, подала в суд на бывшего вице-президента по инфраструктуре Дипиндера Сингха Хурану (Dipinder Singh Khurana), который подозревается в краже «сверхсекретных планов», касающихся дата-центров.

Хурана, также известный как Т. С. Хурана (T. S. Khurana), проработал в Meta✴ / Facebook✴ в общей сложности приблизительно 12 лет. Он покинул эту корпорацию в июне 2023 года, перейдя на должность старшего вице-президента по операциям в некоем стартапе, который всё ещё работает в скрытом режиме. Название этой фирмы в судебных документах не раскрывается.

Источник изображения: Meta✴

После подачи заявления об уходе Хурана якобы использовал имеющиеся у него права доступа для кражи «проприетарных, крайне секретных, конфиденциальных и закрытых документов о бизнесе и сотрудниках Meta✴». Говорится, что похищенные файлы содержат внутреннюю информацию о дата-центрах Meta✴, поставщиках компании и проектах, связанных с технологиями ИИ. Кроме того, в этих документах содержатся данные о бизнес-операциях Meta✴ и расходах, связанных с закупками.

Meta✴ подчёркивает, что при уходе из компании Хурана получил «щедрую компенсацию», но, тем не менее, решил похитить корпоративные данные. Украденные файлы якобы были загружены в его персональные аккаунты Google Drive и Dropbox. Более того, многие из этих файлов были скопированы в папки с именем нового работодателя.

Meta✴ считает, что похищенные сведения использовались в том числе для поиска сотрудников для нового работодателя, который специализируется на облачных ИИ-технологиях. Meta✴ выдвинула против Хураны пять обвинений, включая нарушение условий контракта, неосновательное обогащение и нарушение фидуциарных обязанностей. Истцы требуют от своего бывшего вице-президента возмещения ущерба.

Datacenter Dynamics сообщает со ссылкой на публикации в местных СМИ о планах Meta✴ по строительству своего первого в Индии дата-центра для удовлетворения роста спроса на её сервисы в регионе. По данным одного из локальных источников, речь идёт о небольшом ЦОД ёмкостью 10–20 МВт для кеширования материалов социальных сетей.

Отчасти рост потребностей Meta✴ в местном дата-центре связан с увеличением спроса на платформу Reels, конкурирующую с TikTok по всему миру. В Индии TikTok находится под запретом, поэтому обеспечить здесь инфраструктуру для Reels особенно важно для компании. Пока единственный дата-центр Meta✴ в Азитаско-Тихоокеанском регионе расположен в Сингапуре, многочисленные кампусы ЦОД имеются у компании в США и несколько — в Евросоюзе.

Источник изображения: Hakan Nural/unsplash.com

Индия запретила TikTok и ещё более 100 китайских приложений ещё в июне 2020 года, сославшись на угрозу национальной безопасности. Принадлежащий Meta✴ сервис Reels доступен пользователям через социальные сети Instagram✴ и Facebook✴, где он появился в 2020 и 2021 гг. соответственно.

Компания Meta✴, по сообщению The Register, опубликовала множество объявлений о поиске специалистов для разработки интегральных схем специального назначения (ASIC). Речь идёт о создании собственных ускорителей для машинного обучения и ИИ, а также SoC для дата-центров.

Сейчас для ИИ-задач Meta✴ массово применяет решения NVIDIA. Кроме того, компания присматривается к ускорителям AMD Instinct MI300. С целью снижения зависимости от сторонних поставщиков и сокращения расходов Meta✴ также проектирует собственные аппаратные компоненты.

В частности, весной прошлого года Meta✴ анонсировала свой первый кастомизированный процессор, разработанный специально для ИИ-нагрузок. Изделие под названием MTIA v1 (Meta✴ Training and Inference Accelerator) представляет собой ASIC в виде набора блоков, функционирующих параллельно. Задействованы 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра RISC-V. Кроме того, компания создала чип MSVP (Meta✴ Scalable Video Processor) для обработки видеоматериалов. В разработке также находятся собственные ИИ-ускорители Artemis.

Источник изображения: Meta✴

Как теперь сообщается, Meta✴ ищет ASIC-инженеров с опытом работы в области архитектуры, дизайна и тестирования. Необходимы специалисты в Бангалоре (Индия) и Саннивейле (Калифорния, США). В некоторых вакансиях работодателем указана собственно Мета✴, тогда как в других случаях указан Facebook✴. От кандидатов в числе прочего требуется «глубокий опыт в одной или нескольких ключевых сферах, связанных с созданием сложных SoC для дата-центров». Тестировщикам необходимо иметь опыт проверки проектов для ЦОД, связанных с машинным обучением, сетевыми технологиями и пр.

Некоторые вакансии были впервые опубликованы в соцсети LinkedIn в конце декабря 2023 года и обновлены в феврале нынешнего года. Претендентам обещаны неплохие зарплаты. Для каких именно задач компании Meta✴ требуются аппаратные решения, не уточняется. Но сетевые источники отмечают, что это может быть инференс, создание новых ИИ-платформ и т.п.

Компания Pure Storage, специализирующаяся на All-Flash СХД, провела очередной раунд увольнений, уволив до 275 сотрудников, сообщил ресурс Blocks & Files. По данным издания, сокращения затронули направление по защите данных, а также специалистов в области ИИ, аналитики, баз данных, альянсов и в сфере неструктурированных данных.

Представитель Pure рассказал изданию, что компания продолжает масштабироваться и поддерживать высокие темпы роста и инноваций. Нынешнее сокращение призвано привести структуру штата в соответствие с приоритетами компании и областями, которые являются стратегическими для бизнеса. Уволенным сотрудникам предоставили право подать заявки на открытые вакансии, а также предложили помощь в трудоустройстве за пределами Pure.

Изображение: Meta✴

Pure показала хорошие результаты в III квартале 2024 финансового года, завершившемся 5 ноября. Выручка выросла на 13 % в годовом исчислении до $762,8 млн, а прибыль составила $70,4 млн в то время, как год назад у компании были небольшие убытки. Вместе с тем Pure прогнозирует в IV квартале снижение выручки год к году на 3,5 % до $782 млн. Снижение показателя объясняется переходом на подписку, а также отсрочкой поставок на $41 млн.

Изображение: Hammerspace

По словам Blocks & Files, Meta✴, а это один из крупных заказчиков Pure Storage, не вполне довольна её СХД. Для обучения больших языковых моделей (LLM) Meta✴ строит кластеры из тысячи узлов хранения с суммарной пропускной способностью 100 Тбит/с, используя при этом L3-коммутацию без RDMA и NVMe-oF. Источник издания утверждает, что Meta✴, как и другим гиперскейлерами, нужна масштабируемая POSIX-совместимая файловая система на базе типовых серверов. Этим условиям удовлетворяет Hammerspace.

Источники издания также сообщили, что решение VAST Data, которое как раз и базируется на типовых серверах и предлагает NVMe-oF, дорого и не может масштабироваться более чем на 30 узлов без заметного падения производительности.

В 2024 году компания Meta✴, по сообщению The Register, после многих лет разработки может начать массовое внедрение собственных ИИ-чипов. Они станут альтернативой ускорителям NVIDIA и AMD, что поможет снизить зависимость от продукции сторонних поставщиков. В 2024 году компания намерена потратить до $37 млрд на развитие своей инфраструктуры.

В настоящее время для поддержания ИИ-нагрузок Meta✴ применяет такие решения, как NVIDIA H100. Ожидается, что к концу 2024 года компания будет иметь в своём распоряжении 350 тыс. этих ускорителей. Вместе с тем Meta✴ проявляет интерес и к изделиям AMD Instinct MI300. Ранее компания высоко оценила возможности Qualcomm Cloud AI 100, но отказалась от них из-за несовершенства ПО. Не приглянулись Meta✴ и чипы Esperanto. Сейчас Meta✴ ведёт разработку собственных ИИ-ускорителей.

Источник изображения: Meta✴

Весной 2023 года стало известно, что компания создала свой первый ИИ-процессор. Чип под названием MTIA (Meta✴ Training and Inference Accelerator; на изображении) представляет собой ASIC в виде набора блоков, функционирующих в параллельном режиме. Задействованы 64 вычислительных элемента в виде матрицы 8 × 8, каждый из которых объединяет два ядра с архитектурой RISC-V. Конструкция включает 128 Мбайт памяти SRAM, а также до 64/128 Гбайт памяти LPDDR5. Показатель TDP равен 25 Вт. Заявленная производительность на операциях INT8 достигает 102,4 TOPS, на операциях FP16 — 51,2 Тфлопс. Процессор производится по 7-нм технологии TSMC.

Источник изображения: Meta✴

Как теперь сообщается, в 2024-м Meta✴ намерена начать активное использование собственных ИИ-ускорителей с кодовым именем Artemis. В их основу лягут компоненты MTIA первого поколения. Чип Artemis, оптимизированный для инференса, будет применяться наряду с ускорителями сторонних поставщиков. При этом, как отметили представители компании, изделия Artemis обеспечат «оптимальное сочетание производительности и эффективности при рабочих нагрузках, специфичных для Meta✴».

Источник изображения: Meta✴

Компания пока не раскрывает ни архитектуру Artemis, ни конкретные рабочие нагрузки, которые будет поддерживать чип. Участники рынка полагают, что Meta✴ будет запускать готовые ИИ-модели на собственных специализированных ASIC, чтобы высвободить ресурсы ускорителей для развивающихся приложений. По данным SemiAnalysis, Artemis получит улучшенные ядра, а компоненты LPDDR5 уступят место более быстрой памяти, использующей технологию TSMC CoWoS.

Нужно добавить, что Amazon и Google уже несколько лет используют собственные чипы для ИИ-задач. Например, Amazon недавно ИИ-ускорители Trainium2 и Inferenetia2, тогда как Google в 2023 году представила сразу два новых ускорителя: Cloud TPU v5p и TPU v5e. А Microsoft сообщила о создании ИИ-ускорителя Maia 100.