Холдинг Alphabet, материнская структура Google, опубликовал отчёт о работе в III четверти текущего финансового года, которая была закрыта 30 сентября. Выручка за трёхмесячный период достигла $76,69 млрд, что примерно на 11 % больше прошлогоднего результата в $69,09 млрд.

По итогам квартала получена чистая прибыль в размере $19,69 млрд. Для сравнения: годом ранее показатель равнялся $13,91 млрд. Таким образом, рост составил около 40 %. Прибыль в пересчёте на одну ценную бумагу в годовом исчислении поднялась с $1,06 до $1,55.

Продолжается активное развитие облачного бизнеса Google Cloud. В него входят инфраструктурные и платформенные сервисы, средства совместной работы и другие инструменты для корпоративных заказчиков. Выручка в данном сегменте за год поднялась с $6,87 млрд до $8,41 млрд. Темпы роста зафиксированы на отметке 22 %, что вдвое превосходит значение для бизнеса Alphabet в целом. По направлению Google Cloud в III квартале 2023-го показана операционная прибыль в размере $266 млн, тогда как годом ранее это подразделение понесло операционные убытки около $440 млн.

Источник изображения: Google Cloud

В последние годы Alphabet вкладывает значительные средства в свой бизнес облачных вычислений, пытаясь догнать основных конкурентов в лице Amazon Web Services (AWS) и Microsoft Azure. На фоне роста интереса к генеративному ИИ облачный бизнес становится ещё более важным, поскольку многие корпоративные клиенты переносят в облако свои самые значительные вычислительные нагрузки. Вместе с тем по итогам квартала подразделение Google Cloud не оправдало ожидания сторонних аналитиков, которые прогнозировали выручку на уровне $8,64 млрд. В компании это связывают с сокращением затрат со стороны клиентов на фоне кризиса и сложной макроэкономической обстановки.

Отмечается также, что Google добилась значительной экономии средств благодаря увеличению срока службы оборудования. Компания повысила расчётный период эксплуатации серверов с четырёх до шести лет, а ряда сетевых устройств — с пяти до шести лет. В результате, за первые девять месяцев 2023 года Google сократила расходы на $2,9 млрд и увеличила чистую прибыль на $2,3 млрд.

Сроки использования оборудования увеличивают и другие операторы дата-центров и облачных платформ. В 2022 году на такие меры пошла Microsoft, тогда как Amazon сообщила о намерении создать специальную фабрику по восстановлению и переработке своего серверного оборудования. А облачный провайдер Scaleway и вовсе довёл срок эксплуатации серверов до 10 лет.

Корпорация Google, по сообщению Datacenter Dynamics, тестирует специализированную систему, которая позволяет динамически снижать энергопотребление определённых дата-центров в зависимости от текущей нагрузки на локальную энергосеть.

Новая система, как отмечается, является дальнейшим развитием технологии перемещения нагрузок между различными ЦОД в зависимости от уровня доступности «зелёной» энергии. Соответствующую функцию Google начала использовать в 2020 году. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных — например, транскодирование видео для YouTube или обновление словарной базы Google Translate. Похожий инструмент внедряет и Microsoft.

Источник изображения: Google

Тестируемая теперь система даёт возможность во время перегрузок местных электросетей переносить несрочные вычислительные задачи на другое время и/или в другое место. Таким образом, в часы пик дата-центры Google сокращают потребление энергии, что снижает вероятность возникновения сбоев в энергосистеме региона, где располагается оборудование. В настоящее время эта система развёрнута в ЦОД на Тайване, в Орегоне и по всей Европе. В дальнейшем планируется её внедрение в других облачных зонах. Google уверяет, что использование функции перераспределения нагрузок не влияет на качество предоставляемых услуг.

Отмечается, что Google планирует нагрузки, опираясь в том числе на информацию от операторов электрических сетей. Некоторые задачи перенаправляются в другие ЦОД, тогда как выполнение некритичных операций просто откладывается. Система была опробована в Европе зимой 2022–2023 гг., когда произошёл резкий рост цен на энергоносители. Google использовала технологию для снижения энергопотребления на своих объектах в Нидерландах, Бельгии, Ирландии, Финляндии и Дании периоды типовой пиковой нагрузки. А в Орегоне и Небраске Google снижала энергопотребление дата-центров во время недавних экстремальных погодных явлений.

Google Cloud сообщила, что в следующем месяце станут доступны инстансы Google Compute Engine A3 на базе платформы NVIDIA HGX H100 с восемью ускорителями H100, двумя процессорами Intel Xeon Sapphire Rapids, 2 Тбайт, а также интерконнектом NVLink и адаптерами Google Titanium. Платформ обеспечивает высокую производительность для всех видов ИИ-приложений, в том числе для обучения и обслуживания особенно требовательных рабочих нагрузок ИИ и больших языковых моделей (LLM).

В блоге Google Cloud отмечено, что сочетание ускорителей NVIDIA с ведущими инфраструктурными технологиями Google Cloud обеспечивает масштабируемость и производительность и является огромным шагом вперёд в возможностях ИИ: обучение происходит в 3 раза быстрее, а пропускная способность сети в 10 раз выше, чем у предыдущего поколения. Инстансы A3 также поддерживают масштабирование до 26 тыс. ускорителей H100.

Изображение: NVIDIA

Незадолго до этого Google Cloud объявила NVIDIA партнёром года по генеративному ИИ (Generative AI Partner of the Year). Компании сотрудничают по разным направлениям: от проектирования инфраструктуры до реализации программного обеспечения, чтобы упростить создание и развёртывание приложений ИИ на платформе Google Cloud. PaxML, платформа Google для создания больших языковых моделей, теперь оптимизирована для решений NVIDIA и доступна в реестре NVIDIA NGC. Google использовала PaxML для создания внутренних моделей, включая DeepMind, а также исследовательских проектов.

Кроме того, компании сервис Google Dataproc позволяет задействовать решения NVIDIA для ускорения работы Apache Spark. H100 вскоре также появятся на платформе Vertex AI. Наконец, было обещано, что в облаке Google появятся NVIDIA DGX Cloud и новейшие гибридные чипы GH200. Впрочем, вместе с анонсом A3 Google представила ИИ-инстансы на базе собственных ускорителей TPU v5e.

Как известно, Google Cloud использует в своей инфраструктуре не только сторонние ускорители, но и TPU собственной разработки. Эти кастомные ASIC компания продолжает активно развивать — она анонсировала предварительную доступность виртуальных машин с новейшими TPU v5e, разработка которых заняла более двух лет. Сам чип TPU v5e позиционируется Google как эффективный со всех точек зрения ускоритель, предназначенный для обучения нейросетей или инференс-систем среднего и большого классов.

В сравнении с TPU v4 он, по словам Google, обеспечивает вдвое более высокую производительность в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей. Для инференс-систем преимущество по тому же критерию составляет 2,5x. В сравнении с аналогичными решениями на базе других чипов, например, GPU, выигрыш может составить и 4x. Каждый чип TPU v5e включает четыре блока матричных вычислений, по одному блоку для скалярных и векторных расчётов, а также HBM2-память.

Источник изображения: Google

Компания отмечает, что не экономит на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях. Правда, здесь есть нюанс: INT8-производительности TPU v5e составляет 393 Тфлопс против 275 Тфлопс у v4, но вот BF16-производительность у TPU v4 составляет те же 275 Тфлопс, тогда как у v5e этот показатель равен уже 197 Тфлопс.

Источник изображения: Google

В настоящее время для предварительного тестирования доступно уже восемь вариантов инстансов на базе v5e, а в зависимости от конфигурации количество TPU может составлять от 1 до более чем 250. В рамках платформы обеспечена полная интеграция с Google Kubernetes Engine, собственной платформой Vertex AI, а также с большинством современных фреймворков, включая PyTorch, TensorFlow и JAX. Работа с TPU v5e будет значительно дешевле, чем с TPU v4 — $1,2/час против $3,4/час (за чип).

Источник изображения: Google

В настоящее время машины с TPU v5e доступны только в североамериканском регионе (us-west4), но в дальнейшем возможность их использования появится в регионах EMEA (Нидерланды) и APAC (Сингапур). Также Google предлагает опробовать технологию Multislice, позволяющей объединять в единый комплекс десятки тысяч TPU v5e или TPU v4, где каждый «слайс» может содержать до 3072 чипов TPU (v4). В максимальной конфигурации можно развернуть 64 инстанса, работающих с 256 кластерами TPU v5e. Сама компания уже использует новые чипы для своего поисковика и Google Photos.

Компания Google опубликовала ежегодный доклад Environmental Report о влиянии своего бизнеса на окружающую среду, а также о том, как ИИ в её облачных сервисах используется для минимизации экологического ущерба. Хотя ИИ помогает решить некоторые задачи, как сообщает The Register, его применение имеет и негативные последствия, да и в целом показатели экоустойчивости Google весьма неоднозначные.

Доклад Google по итогам 2022 года, в частности, рассказывает о том, в какой мере ИИ помогает клиентам компании снизить ущерб окружающей среде, оптимизируя работу облачных сервисов, и о достижениях самой компании, связанных с использованием безуглеродной энергии, отчётность по которой теперь учитывает работу офисов и сторонних дата-центров.

Источник изображения: Marcin Jozwiak/unsplash.com

Например, применяемый в Google Maps ИИ оптимизирует маршрута, снижая уровень потребления топлива или расход заряда тяговых АКБ. Эта функция позволила с момента запуска предотвратить углеродный выброс объёмом 1,2 млн тонн — столько за год генерируют 250 тыс. машин с ДВС. А термостаты Nest за 10 лет избавили от планету от 36 млн тонн выбросов. Впрочем, несмотря на декларируемые цели, доля «безуглеродной» энергии в потреблении компании снизилась в 2022 году с 66 до 64 %, а выбросы парниковых газов уровня Scope 2 выросли на 37 %.

При этом ИИ помог снизить негативный эффект от использования самих ИИ-моделей, оптимизировав нагрузки в ЦОД. В Google утверждают, что сделали свои дата-центры одними из самых эффективных в мире. Заодно Google помогает клиентам принимать решения для снижения выбросов и устранения климатических рисков. Так, функция Active Assist в Google Cloud использует машинное обучение для выявления потенциально бесполезных нагрузок, благодаря чему можно не только сократить углеродный выброс, но и сэкономить деньги.

Есть и значимые недостатки использования ИИ. Рост масштабов использования ИИ сам по себе ведёт к росту энергопотребления, увеличению углеродного выброса, а также объёма задач, которые необходимо выполнять в ЦОД. Впрочем, по данным Google, использование проверенных технологий позволило компании снизить расход энергии на тренировку моделей до 100 раз и выбросы — до 1000 раз. В дальнейшем компания планирует повысить эффективность этих методов.

Источник изображения: Guillaume de Germain/unsplash.com

Речь в докладе идёт и о других темах — в частности, компания сообщает, что к концу 2022 года её проекты помогли «восстановить» чуть больше 1 млн м³ воды. Всего Google потребила 21,2 млн м³. В будущем она намерена компенсировать 120 % от использованной пресной воды. Впрочем, пока результаты не впечатляют, поскольку «безвозвратное» потребление воды выросло в 2022 году на 22 % год к году. Ранее выяснилось, что только на один ЦОД Google в Орегоне приходится четверть объёма потребления питьевой воды американского городка.

Все выбросы Scope 1, 2 и 3 составили более 11 млн тонн в 2021 году и более 10 млн тонн в 2022. Для достижения нулевого выброса Google намерена покупать «углеродные кредиты» и ограничить доступными средствами выбросы Scope 3, за которые отвечают партнёры компании. Впрочем, как отмечает The Register, при расчёте ограничений выбросов Scope 3 компания учитывает далеко не все категории, какие следовало бы.

Стремясь удовлетворить ожидаемый спрос на генеративный ИИ, компания Microsoft увеличила капвложения в IV квартале 2023 финансового года до $10,7 млрд с $7,8 млрд в предыдущем квартале, пишет Data Center Dynamics (DCD). Капвложения Google во II квартале 2023 года составили $6,89 млрд, что, впрочем, ниже первоначальных прогнозов аналитиков, ожидавших около $7,9 млрд. Это связано с замедлением строительства офисов и задержками «некоторых проектов строительства ЦОД», отметил DCD.

Как сообщает Microsoft значительные средства были вложены в дата-центры, вычислительную инфраструктуру и сети. По словам компании, капвложений с каждым кварталом будут увеличиваться на протяжении всего 2024 финансового года. «Ускорение действительно довольно значительное, — отметила финдиректор Эми Худ (Amy Hood) в квартальном отчёте. — Это касается как ЦОД, так и CPU с GPU, а также сетевого оборудования». Худ добавила, что компания направляет средства на увеличение ёмкости для «обычных рабочих нагрузок Azure, а также некоторых рабочих нагрузок ИИ».

Источник изображения: Microsoft

Вложив миллиарды долларов в OpenAI, Microsoft стала единственным облачным провайдером стартапа, но вместе с тем, как и другие гиперскейлеры, стремится получить достаточное количество ускорителей NVIDIA. Ранее она подписала соглашение о сотрудничестве с CoreWeave об использовании его мощностей для обработки ИИ-нагрузок своих клиентов. По слухам, аналогичное соглашение Microsoft имеет и с Lambda. А до этого она обсуждала совместное использование ускорителей с Oracle, поскольку NVIDIA, похоже, предпочитает отдавать новейшие продукты тем компаниям, которые не пытаются разработать собственные ИИ-ускорители.

«Главная задача — быть в состоянии активно удовлетворять кривую спроса», — заявила Худ. Возможность увеличения капвложений обеспечивается ростом доходов: Microsoft сообщает об увеличении выручки за квартал на 8 % год к году до $56,2 млрд. Продажи облака Azure выросли на 27 %. Компания отметила, что около одного п.п. роста приходится на ИИ, и в следующем квартале, как ожидается, рост ИИ составит 2 п.п. При этом Microsoft не предоставляет финансовые данные по Azure. Известно лишь, что выручка подразделения Intelligent Cloud, куда входит Azure, составила в минувшем квартале $24 млрд.

Источник изображения: Google

Google также заявила, что инвестирует значительные средства в ЦОД и ИИ-инфраструктуру. «Самая большая часть расходов пришлась на серверы, что включало значительное увеличение наших инвестиций в ИИ-вычисления», — сообщила в квартальном отчёте Рут Порат (Ruth Porat) финансовый директор холдинга Alphabet, куда входит Google. По словам Порат, «уровни инвестиций в техническую инфраструктуру [вырастут] во II половине 2023 года и продолжат расти в 2024 году», что позволит наверстать медленный старт. Компания будет «инвестиировать в GPU и TPU, а также в мощности ЦОД».

В свою очередь, глава Alphabet Сундар Пичаи (Sundar Pichai) заявил, что ИИ-инфраструктура компании является ведущей платформой для обучения и обслуживания моделей генеративного ИИ. Более 70 % компаний-единорогов в этой области являются клиентами Google Cloud, включая Cohere, Jasper, Typeface и т.д. Также компания, по его словам предлагает, самые широкие возможности ИИ-суперкомпьютинга на базе TPU и ускорителей NVIDIA. Подразделение Google Cloud сообщило о 28-% увеличении продаж во II квартале (до $8 млрд) в годовом исчислении и прибыли в размере $395 млн.

Холдинг Alphabet, материнская структура Google, отрапортовал о работе во II четверти 2023 года. Выручка за трёхмесячный период составила приблизительно $74,6 млрд, что на 7 % больше прошлогоднего результата ($69,7 млрд). Причём показатель превзошёл ожидания аналитиков, прогнозировавших выручку в размере $72,8 млрд.

Чистая прибыль Alphabet в период с апреля по июнь включительно достигла $18,4 млрд против $16,0 млрд годом ранее. Прибыль в пересчёте на одну ценную бумагу увеличилась в годовом исчислении с $1,21 до $1,44.

Источник изображения: Google

В отчёте говорится о продолжающемся расширении облачного бизнеса Google Cloud. Выручка в данном сегменте во II квартале 2023-го составила $8,0 млрд против $6,3 млрд годом ранее. Таким образом, рост оказался на уровне 28 %. При этом была показана операционная прибыль в размере $395 млн, в то время как во II четверти 2022 года подразделение Google Cloud продемонстрировало операционные убытки в $590 млн. В прошлом квартале облако Google впервые за 15 лет получило прибыль.

Генеральный директор Alphabet Сундар Пичаи отметил, что в перспективе расширению Google Cloud будут способствовать приложения и сервисы на основе ИИ, которым требуются значительные вычислительные ресурсы. По его словам, инфраструктура Google Cloud, оптимизированная для ИИ, является одной из ведущих в отрасли платформ для обучения генеративным моделям.

На этом фоне холдинг Alphabet несколько расширил штат. По состоянию на конец июня 2023 года в различных подразделениях трудились в общей сложности 181 798 сотрудников. Для сравнения: годом ранее у компании было 174 014 работников.

Компания Google начала закладку фундамента для дата-центра в Месе, пригороде Финиксе (штат Аризона), сообщил ресурс Data Center Dynamics со ссылкой на публикации местных СМИ. Проект стоимостью $1 млрд, ранее известный как «Redhawk», был одобрен городской администрацией ещё в 2019 году.

Как сообщается сейчас, кампус ЦОД общей площадью 70 000 м² будет построен на участке 75,7 га на месте бывших сельскохозяйственных угодий. Первая очередь ЦОД площадью 26 805 м² должна быть введена в эксплуатацию в июле 2025 года, а все три очереди кампуса будут готовы к 2030 году.

Источник изображения: Mesa City Council/Data Center Dynamics

В заявлении Google указано, что ЦОД в Месе будут обеспечивать работу таких сервисов компании, как «Поиск», Gmail, «Карты» и «постоянных инноваций в области ИИ». Сделка с властями Месы включает предоставление льгот по налогу на имущество в размере $16 млн в течение 25 лет.

В современных ИИ-системах огромную роль играет перемещение больших объёмов данных, однако механика этого перемещения далеко не оптимальны. Google представила экспериментальную реализацию механизма Device Memory TCP для ядра Linux, который позволяет избавиться от ненужного копирование данных в буфер хост-системы, сообщает Phoronix.

Инициатива Device Memory TCP как раз и нацелена на то, чтобы избавиться от лишних перемещений больших объёмов данных при копировании их с устройств хранения на удалённые ускорители GPU/TPU в тех случаях, когда эти данные не требуют обработки хост-системой. То есть Devmem TCP позволяет открыть прямой сетевой доступ к ресурсам памяти GPU, TPU и прочих сопроцессоров.

Google: TPU Pod. В системах такого масштаба использование Devmem TCP позволит существенно поднять эффективность

Если технология Devmem TCP будет внедрена в Linux, то в ОС появятся новые API для работы с сокетами, позволяющие непосредственно отсылать содержимое памяти по сети, а также и принимать напрямую в память пакеты, приходящие из сети, без промежуточной буферизации. По словам Google, это позволит существенно снизить нагрузку на подсистемы памяти и более эффективно использовать доступную пропускную способность PCI Express. В тестовой реализации уже удалось добиться утилизации сетевого канала на уровне 96,6 %.

Компания Google, по сообщению ресурса Datacenter Dynamics, подала заявку на строительство нового кампуса дата-центров в Бельгии. Речь идёт о создании трёх объектов в бизнес-парке Ecopôle в Валлонии. Ещё в 2021 году Google заключила соглашение с компанией Igretec о покупке 53 га земли в Ecopôle. Тогда же поставщик электроэнергии Elia сообщил о готовности предоставить до 200–300 МВт для питания кампуса.

Как теперь сообщается, кампус будет занимать территорию около 53 000 м². Строительство начнется в конце 2023 года, а откроется новая площадка ЦОД в 2025 году. На начальном этапе речь идёт о введении в эксплуатацию объектов площадью приблизительно 7500 м². Кампус будет включать солнечные панели для выработки электроэнергии и систему рекуперации тепла для подачи в городскую тепловую сеть.

Источник изображения: Google

Нужно отметить, что в бельгийском Сен-Гислене (коммуна в Валлонии, расположенная в провинции Эно, округ Монс) находится первый дата-центр Google в Европе. С 2009 года компания построила пять ЦОД на своей площадке в Сен-Гилене площадью 90 га, а также солнечную электростанцию. Google выполняет основную часть своих операций в Бельгии через фирму-прокладку Crystal Computing.