Для питания своих дата-центров и колокейшн-мощностей Apple использовала в 2023 году 2,344 ТВт∙ч электроэнергии. Datacenter Dynamics сообщает, что компании принадлежит семь собственных ЦОД, а также неизвестное число колокейшн-площадок по всему миру, энергопотребление тех и других на 100 % компенсируется покупкой PPA-сертификатов.

В докладе Environmental Progress Report компания сообщила, что объект в Месе (штат Аризона) был крупнейшим потребителем, на него пришлось 488 ГВт∙ч, 82 % потреблённого электричества приходится на солнечную энергию, включая 4,76 МВт, которые получаются на территории самого кампуса. Ещё 18 % получают за счёт энергии ветра. ЦОД в Мейдене (Северная Каролина) использовал 453 ГВт·ч, 82 % приходится на солнечную энергию и 12 % — на ветряную.

В Рино (Невада) кампус потребил 440 ГВт∙ч, энергия обеспечена полностью за счёт солнца, в том числе 20 МВт от проекта Fort Churchill Solar Array, в котором используются искривлённые зеркала для концентрации света на фотоэлектрических ячейках. В Прайнвилле (Орегон) использовано 269 ГВт∙ч — 60 % получено за счёт ветряной энергии, 38 % — за счёт солнечной, а ещё 2 % — от малых ГЭС. Компания начала использовать микро-ГЭС в 2013 году, проект Earth By Design реализован рядом с ирригационным каналом. В компании утверждают, что теперь имеется уже два таких проекта.

Источник изображения: Apple

Два дата-центра в Китае использовали в общей сложности 171 ГВт∙ч, на солнечную и ветряную энергию приходится по 50 %. Правда, согласно местным законам, Apple не считается оператором этих ЦОД. На ЦОД в Виборге (Дания) пришлось 40 ГВт∙ч. Точных данных по распределению энергии не имеется, зато в Apple сообщили, что этот дата-центр не нуждается в резервных дизельных генераторах. В 2019 году компания отказалась от строительства второго ЦОД в стране, проект оценивался в $921 млн.

Что касается колокейшн-ёмкостей, то в США и за их пределами компания использовала 387 и 96 ГВт∙ч соответственно — на них приходится около 20,6 % IT-энергопотребления компании. Кстати, впервые в истории Apple использование электричества её колокейшн-объектами упало с 487,9 ГВт∙ч в 2022 году. В предыдущие пять лет до 2022 года оно росло в среднем на 14,49 % ежегодно.

В доклад не вошла отчётность об использовании Apple облаков. Компания давно пользуется услугами Google Cloud и, похоже, это крупнейший клиент платформы, а прошлом году на базе облака Google начата разработка ИИ-моделей. Самое приблизительное представление даёт статистика 2019 года. Тогда сообщалось, что более $30 млн/мес. тратится на облако AWS.

Оператор дата-центров Digital Realty намерен реорганизовать систему питания своих ЦОД в Ирландии таким образом, чтобы та могла отдавать электричество в энергосети во время пиковых нагрузок. The Register сообщает, что это поможет сгладить нагрузки на энергосистемы, снизить выбросы углекислого газа и обеспечить операторам дополнительную выручку.

Один из крупнейших в мире операторов дата-центров работает с энергораспределяющей компанией Enel X, которая позволит сохранить стабильность сетей с помощью систем бесперебойного питания ЦОД. Это, например, даст возможность снизить зависимость от электростанций, работающих на ископаемом топливе в часы максимальных нагрузок. Digital Realty уже ранее реализовала подобный проект с помощью Enel X в Сиднее.

Только вокруг Дублина оператор ЦОД имеет девять объектов. Он утверждает, что аккумуляторы их ИБП прошли самые строгие проверки и одобрены для снабжения резервной энергией электросетей. Для начала в программе будут участвовать источники бесперебойного питания мощностью 6 МВт. Соглашение с Enel X позволит Digital Realty использовать по-новому использовать энергетические активы дата-центров, в числе прочего позволяя подключать к сети больше возобновляемых источниках энергии.

Источник изображения: israel palacio/unsplash.com

Ирландия уже получает 30–40 % энергии из возобновляемых источников, что имеет и негативные стороны. В частности, неизбежны перепады качества энергоснабжения из-за нестабильности работы ветряков и других подобных источников. В Digital Realty подчёркивают, что в таких ситуациях пригодится энергия ИБП дата-центров. В этом месяце оператор EirGrid объявил о снижении минимального числа больших генераторов на ископаемом топливе, которые должны работать в энергосети страны в любое время — с пяти до четырёх, в ответ на растущую доступность возобновляемой энергии.

Впрочем, Digital Realty не первой представляет подобную схему в Ирландии. Microsoft уже анонсировала внедрение интерактивной ИБП-технологии в собственном ЦОД в Дублине в середине 2022 года, она сотрудничает с Eaton и той же Enel X. Последняя служит агрегатором для объединения коммерческих источников энергии в «виртуальные электростанции». В прошлом году Microsoft объявила, что проект увенчался успехом и заявила о намерении масштабировать его на другие ЦОД по всей планете.

Энергия для ЦОД стала весьма обсуждаемой темой в последнее время, эксперты предупреждают, что рост ёмкости дата-центров на фоне взрывного спроса на ИИ-сервисы может привести к тому, что только в США ЦОД будет потребляться к 2030 году 20–25 % всей электроэнергии, а в Ирландии к 2026 году — около трети. Это уже привело к рационированию вычислительных ресурсов AWS.

Занимающаяся разработкой и выпуском солнечных элементов питания компания Exowatt получила финансирование от руководителя OpenAI Сэма Альтмана (Sam Altman), а также двух других инвесторов. The Register сообщает, что точных данных об объёмах инвестиций Альтмана нет, но вкладывает деньги не его компания, а он лично.

Доля вложений Альтмана в Exowatt неизвестна, но есть данные, что двумя другими инвесторами выступили Andreessen Horowitz и Atomic. Общий объём инвестиций составляет $20 млн. В Exowatt рассчитывают генерировать экобезопасное электричество, стоимость которого со временем упадёт до $0,01/кВт·ч. Серьёзные проекты начнут реализовать уже в 2024 году.

Exowatt разрабатывает солнечные панели, сохраняющие энергию в виде тепла, которое конвертируется в электричество. Интеграция довольно больших «тепловых аккумуляторов» с собственно солнечными линзами в одном блоке, как заявляют в компании, и является ключевым отличием от других решений. Утверждается, что новое солнечное решение для питания ИИ и дата-центров будущего обеспечит меньшую стоимость энергии, чем у электростанций на ископаемом топливе.

Источник изображения: Exowatt

Высокие энергетические показатели чрезвычайно важны, когда речь идёт о дата-центрах, не говоря о ЦОД для ИИ-систем — дефицит электричества является серьёзной проблемой для гиперскейлеров вроде AWS, Microsoft или Google. Сам Альтман ещё в январе 2024 года говорил о проблемах с электроснабжением и подчёркивал, что для развития ИИ потребуется «прорыв» в энергетических технологиях.

Считается, что причиной инвестиций Альтмана отчасти стала дружба с главой Atomic Джеком Абрахамом (Jack Abraham), хотя глава OpenAI не впервые вкладывает деньги в энергетические проекты. Например, он поддерживает «атомные» стартапы Helion и Oklo. Примечательно, что первым потенциальным клиентом Helion является Microsoft, имеющая тесные связи с OpenAI — компания намерена получить доступ к электричеству, полученному за счёт термоядерного синтеза, уже в 2028 году.

Впрочем, в краткосрочной перспективе будут применяться более привычные источники электричества — солнечная и атомная энергии. Exowatt и другие экзотические энергетические компании всё ещё находятся на стадии стартапов. В то же время Amazon, например, использует традиционную АЭС для питания недавно купленного кампуса ЦОД.

Джейсон Тейлор (Jason Taylor), бывший исполнительный директор Meta✴ Platforms, по сообщению The Information, перешёл на работу в Microsoft, где занял пост старшего руководителя команды дата-центров. Его непосредственным начальником станет технический директор Microsoft Кевин Скотт (Kevin Scott).

Тейлор проработал в Meta✴ почти 14 лет. Занимая должность вице-президента по инфраструктуре, он в числе прочего курировал расширение сети ЦОД и создание серверных чипов Meta✴. Тейлор ушёл из компании Марка Цукерберга (Mark Zuckerberg) в сентябре 2022 года. Согласно информации профилю LinkedIn, с тех пор он официально работал только в Intrepid Ventures.

Источник изображения: LinkedIn / Datacenter Dynamics

Отмечается, что в Microsoft Тейлор будет исполнять обязанности, аналогичные тем, что были возложены на него в Meta✴. В настоящее время Microsoft активно развивает направление дата-центров, что связано со стремительным внедрением технологий ИИ. В частности, совместно с OpenAI создаётся масштабный кампус ЦОД под названием Stargate стоимостью около $100 млрд. Мощность объектов в составе этого комплекса суммарно составит до 5 ГВт. Кроме того, Microsoft продолжает закупать ускорители на базе GPU для решения ИИ-задач: планируется, что количество таких изделий в составе вычислительной ИИ-инфраструктуры корпорации к концу 2024 года достигнет 1,8 млн штук.

Ожидается, что Тейлор примет участие в расширении сети дата-центров Microsoft, а также возьмёт на себя некоторые обязанности Брайана Гарри (Brian Harry), старшего руководителя команды ЦОД, который планирует уйти на пенсию. Сама корпорация назначение Тейлора никак не комментирует. Два месяца назад Microsoft также переманила к себе Ахмеда Шихаба (Ahmed Shihab), ответственного ранее за аппаратные решения облака AWS. На новом месте он займётся «созданием передовых сервисов хранения данных для платформы Azure».

Synergy Research Group опубликовала результаты нового исследования, согласно которому количество крупных дата-центров, управляемых гиперскейлерами, превысило в начале 2024 года отметку в 1000 штук. В конце 2023 года число таких ЦОД составляло 992 единицы.

Как отметили в Synergy Research Group, всего четыре года потребовалось для того, чтобы общая ёмкость ЦОД гиперскейлеров удвоилась, поскольку их количество растёт наряду с увеличением средней ёмкости дата-центра. По данным аналитической компании, на США по-прежнему приходится 51 % мировой ёмкости, измеряемой в МВт критической ИТ-нагрузки, а на Европу и Китай — около трети.

Источник: Synergy Research Group

Согласно прогнозу Synergy Research Group, общая ёмкость ЦОД гиперскейлеров в ближайшие четыре года вновь удвоится. Хотя ежегодно будет появляться около 120–130 ЦОД гиперскейлеров, рост ёмкости будет во всё большей степени будет обусловлен ещё большим увеличением мощности новых ЦОД. Основной причиной такого роста будет расширение использования технологий генеративного ИИ. У Synergy Research Group есть информация о 440 объектов, которые находятся на разных стадиях планирования, разработки или оснащения.

Исследование основано на анализе работы ЦОД 19 крупнейших мировых компаний, предоставляющих облачные и интернет-услуги, включая крупнейших операторов SaaS, IaaS, PaaS, поиска, социальных сетей, электронной коммерции и игр.

Больше всего ЦОД у ведущих провайдеров облачных услуг Amazon, Microsoft и Google. Помимо большого количества ЦОД в США, каждая из них также имеет дата-центры во многих странах по всему миру. В совокупности на эти компании приходится 60 % общей ёмкости ЦОД гиперскейлеров. За ними в рейтинге следуют Meta/Facebook, Alibaba, Tencent, Apple, ByteDance и другие менее крупные игроки.

Всё новые линии электропередач тянутся к Северной Вирджинии, крупнейшему в мире скоплению гигантских дата-центров. На хаб приходится до 70 % мирового интернет-трафика, поэтому власти считают, что устойчивость энергосетей будет сохраняться только при прокладке новых энергомагистралей из соседних штатов. А необходимый объём энергии пока может дать только уголь.

The Washington Post сообщает, что целей по переходу на чистую энергию вряд ли удастся достичь в обозримом будущем, а ТЭС, которые планировалось закрыть, останутся. Новые линии электропередач будут построены в четырёх штатах в рамках проекта стоимостью $5,2 млрд и сойдутся к 2030 году в Северной Вирджинии. Но угольные станции, как теперь считается, нельзя отключать на фоне стремительно растущего спроса на электроэнергию со стороны дата-центров, в том числе из-за генеративного ИИ.

Источник изображения: American Public Power Association/unsplash.com

Количество ЦОД в Северной Вирджинии растёт с 1990-х годов. Они в основном сосредоточены в округах Лаудон (Laudon) и Принс-Уильям (Prince William), но недавно «перекинулись» и в соседний Мэриленд. Сегодня в Вирджинии насчитывается около 300 ЦОД. Во многом это заслуга AWS, которая уже потратила $35 млрд на строительство ЦОД и намерена потратить ещё столько же. Только Лаудон ежегодно собирает $600 млн налогов с ЦОД, ещё $100 млн — Принс-Уильям.

Источник изображения: Ginger Jordan/unsplash.com

Спрос на электричество так высок, что местная энергетическая компания Dominion Energy ранее заявила, что может не справиться с ним. По её прогнозам, новые ЦЛД в Вирджинии потребуют 11 ГВт, примерно вчетверо больше, чем было нужно в 2022 году. Причём «зелёные» ветряные и солнечные проекты, похоже, не будут готовы вовремя. Так что хотя угольные электростанции в соседних штатах серьёзно вредят экологии, их операторы пересматривают планы по сокращению генерации для сохранения надёжности энергоснабжения. Некоторые эксперты добавляют, что это сохранит и рабочие места шахтёрам.

Есть и ещё один аспект — массивные ЛЭП должны протянуться и над сельхозугодьями, и над жилыми массивами. Многие фермеры жалуются на то, что прокладка новых линий лишит их части земель и собственности. Энергетики обещают компенсации, хотя в крайнем случае допускают и принудительное отчуждение частной собственности государством. Заодно это ударит по многомиллиардной туристической индустрии. Недовольство местных жителей политикой властей продолжает нарастать.

Компания Meta✴ и Alphabet X работают над технологиями Direct Air Capture (DAC) для извлечения углекислого газа с последующей его утилизацией. По данным Datacenter Dynamics, для высвобождения углекислоты из сорбентов будет применяться тепло, выделяемое оборудованием дата-центров.

Meta✴ ведёт соответствующие работы над DAC как минимум с 2021 года. Похоже, история началась с лабораторного прототипа технологии удаления углекислоты, интегрированной в системы охлаждения ЦОД. С тех пор проект претерпел некоторые изменения, но исследования по-прежнему продолжаются, как с жидкими сорбентами, так и с твёрдыми. Для регенерации поглощающих элементов действительно предполагается использовать «мусорное» тепло ЦОД.

Источник изображения: Ella Ivanescu/unsplash.com

После захвата CO₂ из воздуха сорбент способен при нагревании высвобождать его для хранения где угодно, например, в подземных полостях. По последним данным, Meta✴ работает над новой системой DAC, использующей для высвобождения углекислоты нагрев до невысокой температуры — это значительно снизит издержки.

О проекте Alphabet X Development известно мало. Компания в 2021 году подала патентную заявку, описывающую методы и системы для высвобождения из DAC-сорбентов CO₂ с использованием тепла от производственных процессов. Сам был опубликован в 2023 году. Судя по описанию, «промышленное» тепло используется в комбинации с одним и более тепловым насосом для отделения CO₂ от твёрдого или жидкого сорбента. Некоторые из участников проекта с тех пор перешли в Amazon. Похожую патентную заявку, посвящённую системе захвата углерода с помощью тепла дата-центров, подавала и Microsoft.

Тепло ЦОД пытаются использовать повсеместно — от подогрева ферм по выращиванию угрей до нагрева воды в плавательных бассейнах. Нет ничего удивительного, что со временем возникла идея использования его для захвата углерода. Одной из проблем была необходимость нагревать сорбенты до высоких температур, что само по себе приводит к углеродным выбросам. К счастью, в прошлом году компания Spiritus представила сорбент, который можно нагревать до температур ниже 100℃. Как заявляют в Meta✴, ключевыми покупателями нового материал являются именно ЦОД.

Источник изображения: Spiritus

По данным Spiritus, целесообразно устанавливать DAC в дата-центрах, способных отдавать 20–50 МВт избыточного тепла, а кампусы, способные генерировать 300 МВт тепла способны захватывать три мегатонны углекислоты ежегодно в сравнении с мегатонной, доступной более ранним DAC-технологиям, целесообразность которых тоже была под вопросом. Так, в рамках не связанного с ЦОД проекта Orchard One компания будет удалять из атмосферы по две мегатонны CO₂ каждый год.

При этом в Spiritus отказались сообщать, участвует ли она в проектах Meta✴ или X. Впрочем, будущее всех подобных проектов пока под вопросом, поскольку природные или искусственные полости для закачки туда углекислоты есть далеко не везде, а транспортировка CO₂, возможно, не получит одобрения регуляторов. Другими словами, ЦОД с системами подобной очистки можно будет строить лишь в некоторых местах.

Alphabet и Meta✴ входят в проект Frontier Climate, в рамках которого осуществляется покупка «углеродных кредитов» у компаний, использующих самые разные технологии захвата углекислоты из атмосферы, включая DAC. Frontier Climate является инвестором в другие проекты вроде Lithos, CarbonCapture Inc., Airhive, Inplanet, Living Carbon и Heirloom. Google, инвестировавшая $35 млн в проект по захвату углерода, заявила, что недавно покупала углеродные кредиты у Frontier, но деталей сделки не раскрыла.

Компания Gartner обнародовала скорректированный прогноз по глобальному рынку IT-технологий на 2024 год. Аналитики полагают, что отрасль покажет рост приблизительно на 8,0 %. Если в 2023-м затраты составили $4,69 трлн, то в нынешнем году они достигнут $5,06 трлн.

Аналитики учитывают расходы на дата-центры, электронные устройства, ПО корпоративного класса, IT-сервисы и телекоммуникационные сервисы. В 2023 году суммарный рост затрат в обозначенных сегментах оказался на отметке 3,8 % по отношению к предыдущему году. В 2024-м темпы роста увеличатся, что объясняется, в частности, стремительным внедрением генеративного ИИ.

По направлению ЦОД специалисты Gartner прогнозируют увеличение расходов с $236,18 млрд в 2023 году до $259,68 млрд в 2024-м. Таким образом, ожидается рост примерно на 10,0 %. Говорится, что в 2024 году на системы для задач ИИ придётся около 60 % всех расходов гиперскейлеров на закупку серверов. Ещё $1,04 трлн принесёт ПО корпоративного класса. Годом ранее на этот сектор пришлось $914,69 млрд. Рост в годовом исчислении ожидается на уровне 13,9 %.

Источник изображения: Gartner

По направлению IT-сервисов затраты, по мнению экспертов Gartner, поднимутся на 9,7 % — с 1,39 трлн до $1,52 трлн. Телекоммуникационные сервисы покажут прибавку на уровне 4,3 % — с $1,49 трлн до $1,55 трлн. В сфере электронных устройств затраты достигнут $687,94 млрд против $664,03 млрд в 2023 году, что соответствует росту на 3,6 %.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Развитие ИИ-систем станет драйвером стремительного роста энергопотребления в районе Чикаго. Глава Exelon Corp. Кальвин Батлер (Calvin Butler) заявил, что ожидается взлёт спроса на электричество для дата-центров на уровне 900 %.

Сейчас на территории подразделения Exelon Commonwealth Edison Co. проводятся инженерные исследования, связанные с 25 новыми проектами ЦОД, которые будут совокупно потреблять около 5 ГВт энергии. Для сравнения — сегодня в локальной энергосистеме на ЦОД приходится около 400 МВт. Батлер рассчитывает на завершение до 80 % запланированных проектов строительства новых кампусов. По его словам, операторов ЦОД привлекают низкие тарифы Commonwealth Edison, безуглеродное производство электричества атомными реакторами и налоговые льготы штата Иллинойс.

Источник изображения: Pedro Lastra/unsplash.com

Компании предстоит убедиться, что система сможет справиться с дополнительными нагрузками. Быстро растущий спрос невозможно будет удовлетворить немедленно. Новые дата-центры поначалу будут забирать избыточные мощности из региональной сети, потом получать энергию из других районов и лишь затем — от вновь построенных электростанций.

Энергокомпании и регуляторы США отмечают самый масштабный рост спроса на энергию за последние годы. Помимо дата-центров для ИИ-задач, много энергии требуют заводы, строящиеся в рамках программы реиндустриализации, электромобили, тепловые насосы и т.д. Недоступность энергии, по данным Cushman & Wakefield, ограничивает строительство ЦОД. Тем не менее в компании рассматривают Чикаго как ключевой для США рынок, уступающий лишь развитым хабам вроде т.н. «Аллеи дата-центров» в Вирджинии, Атланте и Далласу.