Dominion Energy в прошлом году подключила к энергосети в Вирджинии — крупнейшем в мире рынке ЦОД — 15 дата-центров общей ёмкостью 933 МВт. По данным Datacenter Dynamics, в 2024 году электроснабжение получат ещё столько же ЦОД, суммарная ёмкость которых пока не подсчитана. А всего с 2019 года Dominion Energy подключила в Северной Вирджинии 94 дата-центра общей ёмкостью 4 ГВт. Для сравнения — ёмкость ЦОД Microsoft по всему миру только недавно превысила 5 ГВт.

В докладе Dominion Energy за 2023 год сообщается, что на дата-центры приходится 24 % продаж электричества дочерней Virginia Power, тогда как в 2022 году их доля была 21 %. При этом подчёркивается, что спрос отдельных ЦОД вырос с приблизительно с 30 МВт до 60–90 МВт, а запросы кампусов выросли с 300 МВт до «нескольких гигаватт». При этом на максимальное потребление они теперь выходят не за 4–5 лет, а всего за 2–3 года, причём в дальнейшем нагрузка только увеличится.

Источник изображения: American Public Power Association/unsplash.com

American Electric Power (AEP) получила запросы на поставку до 15 ГВт, львиная доля которых приходится на ЦОД. Драйверами спроса служат гиперскейлеры вроде AWS и Google. Компания имеет мощности около 38 ГВт и готова инвестировать более $27 млрд в линии электропередач и системы распределения энергии в следующие пять лет. Она ожидает увеличение капитальных издержек в будущем, связанных с ростом потребления энергии ЦОД.

Public Service Enterprise Group (PSEG) ведёт переговоры о строительстве ЦОД ёмкостью 50–100 МВт рядом со своими АЭС. Наконец, отвечающая за электропередачу компания PJM заявила, что располагает достаточными ресурсами для того, чтобы удовлетворить спрос летом 2024 года. Однако она предупреждает о проблемах в будущем из-за того, что для замены 1 МВт энергии от обычных электростанций на ископаемом топливе, которые активно выводятся из эксплуатации, фактически требуется несколько МВт из возобновляемых источников из-за нестабильности последних.

Проблема энергоснабжения ЦОД в США вообще и Северной Вирджинии в частности носит системный характер. В апреле сообщалось, что «зелёные» энергопроекты не смогут «прокормить» ИИ на крупнейшем в мире рынке ЦОД, причём тревогу поставщики бьют уже не первый год. Если ситуацию не удастся оперативно исправить, то дефицит энергии может привести к сокращению ИИ-нагрузок или даже к постройке ТЭС непосредственно на территории кампусов, как это уже происходит в Европе.

Всё новые линии электропередач тянутся к Северной Вирджинии, крупнейшему в мире скоплению гигантских дата-центров. На хаб приходится до 70 % мирового интернет-трафика, поэтому власти считают, что устойчивость энергосетей будет сохраняться только при прокладке новых энергомагистралей из соседних штатов. А необходимый объём энергии пока может дать только уголь.

The Washington Post сообщает, что целей по переходу на чистую энергию вряд ли удастся достичь в обозримом будущем, а ТЭС, которые планировалось закрыть, останутся. Новые линии электропередач будут построены в четырёх штатах в рамках проекта стоимостью $5,2 млрд и сойдутся к 2030 году в Северной Вирджинии. Но угольные станции, как теперь считается, нельзя отключать на фоне стремительно растущего спроса на электроэнергию со стороны дата-центров, в том числе из-за генеративного ИИ.

Источник изображения: American Public Power Association/unsplash.com

Количество ЦОД в Северной Вирджинии растёт с 1990-х годов. Они в основном сосредоточены в округах Лаудон (Laudon) и Принс-Уильям (Prince William), но недавно «перекинулись» и в соседний Мэриленд. Сегодня в Вирджинии насчитывается около 300 ЦОД. Во многом это заслуга AWS, которая уже потратила $35 млрд на строительство ЦОД и намерена потратить ещё столько же. Только Лаудон ежегодно собирает $600 млн налогов с ЦОД, ещё $100 млн — Принс-Уильям.

Источник изображения: Ginger Jordan/unsplash.com

Спрос на электричество так высок, что местная энергетическая компания Dominion Energy ранее заявила, что может не справиться с ним. По её прогнозам, новые ЦЛД в Вирджинии потребуют 11 ГВт, примерно вчетверо больше, чем было нужно в 2022 году. Причём «зелёные» ветряные и солнечные проекты, похоже, не будут готовы вовремя. Так что хотя угольные электростанции в соседних штатах серьёзно вредят экологии, их операторы пересматривают планы по сокращению генерации для сохранения надёжности энергоснабжения. Некоторые эксперты добавляют, что это сохранит и рабочие места шахтёрам.

Есть и ещё один аспект — массивные ЛЭП должны протянуться и над сельхозугодьями, и над жилыми массивами. Многие фермеры жалуются на то, что прокладка новых линий лишит их части земель и собственности. Энергетики обещают компенсации, хотя в крайнем случае допускают и принудительное отчуждение частной собственности государством. Заодно это ударит по многомиллиардной туристической индустрии. Недовольство местных жителей политикой властей продолжает нарастать.

Гендиректор Meta✴ Марк Цукерберг (Mark Zuckerberg) назвал главным препятствием в строительстве более крупных ЦОД для ИИ-нагрузок ограничения по поставкам электроэнергии, пишет ресурс DatacenterDynamics. Об этом глава компании сообщил в подкасте Dwarkesh, согласившись с мнением представителей отрасли.

Цукерберг отметил, что ПО регулируется лишь «отчасти», в то время как энергетическая отрасль является строго регулируемым сектором. И если вести речь о строительстве новых крупных электростанций или о значительном укрупнении существующих, а также о строительстве линий электропередачи, пересекающих государственные или частные земли, то этот процесс может затянуться на долгие годы. В частности, два года назад Meta✴ была вынуждена отказаться от гигантского 1,38-ГВт кампуса ЦОД в Нидерландах, где назрел энергетический кризис.

Источник изображения: Shane Rounce / Unsplash

Возведение крупного объекта для ИИ-вычислений, а также его ввод в эксплуатацию Цукерберг назвал «очень долгосрочным проектом». Эти ограничения сдерживают развитие собственных дата-центров ЦОД Meta✴. В конце 2022 года компания отказалась от планов по строительству ряда ЦОД, объявив о намерении кардинально изменить подход к их созданию и сейчас разрабатывает ряд модернизированных объектов. «Полагаю, что мы бы создали более крупные кластеры, чем можем сейчас, если бы у нас была энергия для этого», — сообщил Цукерберг.

«Никто ещё не построил ЦОД мощностью 1 ГВт. Я думаю, что это произойдёт, но не в следующем году. Это лишь вопрос времени», — добавил он, отметив, что для питания такого кампуса может понадобиться уже АЭС. Напомним, что по данным ресурса The Information, Microsoft и OpenAI обсуждают проект строительства к 2030 году объектов для решения задач в области ИИ мощностью 5 ГВт.

Энергокомпании США прогнозируют рост спроса на электричество, вызванный взрывным развитием рынков ЦОД и генеративного ИИ. По данным Datacenter Dynamics, многие из поставщиков энергии в стране сегодня пересматривают капитальные затраты с учётом растущего спроса со стороны дата-центров.

Как сообщили аналитики Reuters, девять из десяти энергоснабжающих компаний США связывают рост клиентской базы и спрос на электричество с индустрией дата-центров, тогда как в прошлом году среди них лишь две учитывали вероятный рост ЦОД в своих прогнозах. По словам Newton Investment Management, рост индустрии ожидается более быстрый, чем в предыдущие десятилетия. А рост востребованности энергии вызывает опасение, что генерирующих мощностей попросту не хватит. Более того, по мнению некоторых экспертов, рост производства энергии не успевает за ростом ЦОД вообще.

Источник изображения: Casey Horner/unsplash.com

Так, Southern Co рассчитывает, что ЦОД будут способствовать ежегодному росту продаж энергии на 6 % в 2025–2028 гг., хотя ранее ожидалось, что прирост составит лишь 1–2 %. Филиал Power Business в Джорджии, вероятно, будет расти на беспрецедентные 9 % ежегодно. А в Morgan Stanley предполагают, что использование электроэнергии дата-центрами в глобальном масштабе вырастет втрое, с менее 15 ТВт∙ч в 2023 году до 46 ТВт∙ч в 2024 году.

Наконец, McKinsey предрекает спрос на электроэнергию для IT-оборудования в ЦОД США на уровне 50+ ГВт к 2030 году. В прошлом году она предполагала, что он достигнет только 35 ГВт к концу десятилетия. Общее потребление электричества в США должно значительно вырасти. Во многом не только из-за ЦОД, но и из-за развития электротранспорта. Всего, по оценкам BofA Global Research, к 2030 году спрос вырастет на 15 % до 70 ГВт.

Источник изображения: Lawrence Berkeley National Laboratory

Как считают в Национальной лаборатории Лоуренса Беркли (Lawrence Berkeley National Laboratory), ёмкость новых проектов, желающих подключиться к сетям, выросла с 2000 ГВт в 2022 году до 2600 ГВт в 2023-м. При этом потенциальная мощность новых энергопроектов за последние три года взлетела на 90 %. Из них 80 % приходится на новые типы энергии. Правда, как признают в лаборатории, большинство заявленных проектов так и не были реализованы в 2023 году, успешных инициатив — не более 20 %.

Тем временем регуляторы обеспокоены возможным ростом нагрузки на электросети, увеличением углеродных выбросов и другими вероятными проблемами, связанными с развитием ЦОД. Например, законотворцы в Джорджии проголосовали за отмену налоговых льгот для дата-центров, заявив, что те не создают достаточно рабочих мест для существенного развития экономики, зато возлагают непосильную нагрузку на местные энергокомпании.

Компании Dell, по сообщению The Register, удалось сократить сроки поставок серверов для задач ИИ в несколько раз. Речь идёт о высокопроизводительных системах с ускорителями на основе GPU, в том числе NVIDIA H100. Спрос на них настолько высок, что производители не справляются с потоком заказов.

О текущей ситуации в отрасли рассказал руководитель тайваньского подразделения Dell Теренс Ляо (Terence Liao). В конце 2023 года срок поставок серверов Dell, оборудованных ускорителями H100, составлял в среднем 39 недель, или около 8–9 месяцев. По словам Ляо, с февраля 2024-го отгрузки продукции NVIDIA значительно улучшились, и Dell смогла уменьшить сроки поставок серверов до 8–12 недель, или 2–3 месяцев. Таким образом, время выполнения заказов уменьшилось в три–четыре раза.

Тем не менее, дефицит высокопроизводительных ИИ-ускорителей сохраняется. Связано это в том числе с возможностями TSMC по выпуску чипов с применением технологии CoWoS (Chip on Wafer on Substrate). Именно компоновка CoWoS применяется при изготовлении Н100.

Источник изображения: NVIDIA

В сентябре 2023 года спрос на передовые технологии упаковки чипов был настолько высоким, что TSMC заявила о способности удовлетворить только 80 % заказов. Вместе с тем TSMC сообщила о намерении расширить производственные мощности CoWoS на 20 % — это поможет смягчить проблему дефицита ИИ-ускорителей.

Между тем Dell приходится искать альтернативы ускорителям NVIDIA. В частности, она намерена использовать ИИ-ускорители Intel Gaudi3. Поддержка Gaudi3 заявлена для сервера Dell XE9680, который также поддерживает ускорители AMD Instinct MI300X. Эта ИИ-платформа наделена 32 слотами для модулей памяти DDR5, восемью разъёмами PCIe 5.0 и шестью портами OSFP 800GbE. Возможна установка 16 накопителей EDSFF3.

Расширение использования ИИ-технологий и увеличение потребности в вычислительных мощностях ЦОД повлекут за собой рост спроса к 2030 году на медь на 1 млн тонн в год, пишет агентство Reuters со ссылкой на исследование компании Trafigura.

В Trafigura утверждают, что переход на возобновляемые источники энергии, внедрение технологий ИИ и реализация программ по сокращению выбросов углекислого газа, включая отказ от выпуска автомобилей с ДВС в пользу электромобилей, усугубят дефицит поставок меди. Ожидается, что в этом году мировой спрос на медь составит около 26 млн тонн. Согласно январскому исследованию Reuters, это выше предложения рынка на 35 тыс. тонн. Аналитики агентства ожидают, что дефицит меди вырастет к 2025 году до 100 тыс. тонн.

Фото: Rich Smith / Unsplash

Джереми Вейр (Jeremy Weir), генеральный директор Trafigura, отметил, что внедрение ИИ и развёртывание ЦОД значительно увеличат спрос на медь из-за необходимости строительства большего количества электропроводов и сетевых подключений. Он добавил, что недостаток инвестиций в медные рудники также будет способствовать дефициту.

Согласно отчёту Linesight, опубликованному ранее в этом месяце, цены на медь в этом году должны увеличиться из-за роста сектора возобновляемых источников энергии. Крупнейшим в мире производителем и потребителем меди в настоящее время является Китай. Он также доминирует в мировых поставках других металлов, используемых в промышленности.

Энергетический кризис в Ирландии, во многом связанный с концентрацией большого числа ЦОД в окрестностях Дублина, может привести к тому, что Amazon Web Services (AWS) начнёт рационировать предоставляемые клиентам облачные ресурсы, передаёт The Register. Некоторые пользователи жалуются на то, что им уже начали ограничивать облачные ресурсы в регионе eu-west-1. В частности, речь идёт об GPU-инстансах, необходимых для ИИ-вычислений.

В случае возникновения проблем в AWS Europe предлагают перенести нагрузки в другие европейские регионы, например, в Швецию. AWS подчёркивает, что Ирландия остаётся ядром мировой инфраструктуры компании, поэтому она в любом случае продолжит обслуживание клиентов в этом регионе. Представители национальной энергетической компании EirGrid прямо заявили, что могут время от времени требовать у крупных потребителей ограничить энергопотребление, чтобы избежать проблем во всей сети. Впрочем, обращались ли с такими просьбами к гиперскейлерам, в компании не уточняли.

Уклончивость вполне объяснима, поскольку ЦОД вносят огромный вклад в экономику Ирландии. Сейчас в стране насчитывается более 80 дата-центров, включая объекты крупнейших операторов вроде AWS, Microsoft и Google, заодно создающих и многочисленные рабочие места, платящих налоги и обеспечивающих стране доходы. Ещё полтора десятка объектов находятся на стадии строительства, а около 40 ждут разрешения властей. При этом политика властей уже привела к закрытию некоторых ЦОД.

Источник изображения: Heri Susilo/unsplash.com

Местные СМИ отмечают, что роль ЦОД в ирландской экономике весьма спорная. В 2021–2022 гг. энергопотребление ЦОД выросло почти на треть, достигнув 18 % от всех расходов электричества в стране. Более того, Международное энергетическое агентство (International Energy Agency, IEA) утверждает, что без регулирования доля ЦОД может вырасти до 32 % к 2026 году. По оценкам EirGrid этот показатель будет держаться на уровне «всего» 25,7 %, что тоже очень немало.

Проблема связана не только с AWS и Ирландией. Энергетические ограничения могут коснуться в будущем Европы и других регионов. По данным IDC, уже ходят слухи об энергетических квотах для клиентов Microsoft Azure, способных повлиять на их бизнесы. Операторы ряда ЦОД уже столкнулись с нехваткой энергии, и расширить её поставки в соответствии со спросом будет довольно трудно. По мнению экспертов, это — одна из причин того, что большинство европейских организаций не спешат закрывать собственные ЦОД и переходить в публичные облака, поскольку те не смогут удовлетворить спрос на мощности десятилетиями.

Источник изображения: Ilse Orsel/unsplash.com

В прошлом году сообщалось, что европейским операторам ЦОД всё труднее обеспечить надёжное и экономически целесообразное энергоснабжение, а в прошлом месяце глава британской энергокомпании National Grid предупредил, что в следующие 10 лет потребление электричества ЦОД в стране может вырасти на 500 %. Один из экспертов, пожелавший остаться анонимным, подчеркнул, что Ирландия, Нидерланды и Сингапур уже опустошили свои энергетические резервы.

А в Северной Вирджинии (США) новым дата-центрам, например, попросту не хватает ЛЭП. Операторы идут на отчаянные меры для обеспечения своего бизнеса энергией. Например, AWS недавно купила кампус в Пенсильвании, расположенный вблизи АЭС. Атомными проектами вообще активно интересуются многие операторы дата-центров, включая Microsoft. Пока что в Ирландии и Amazon, и Microsoft вынуждены довольствоваться временными решениями.

Компания Samsung Electronics поставит в этом году ведущей южнокорейской интернет-компании Naver Corp. ИИ-ускорители Mach-1 следующего поколения собственной разработки. Сумма контракта составит до ₩1 трлн (около $752 млн), сообщил ресурс KED Global со ссылкой на отраслевые источники. Это позволит Naver значительно сократить зависимость от поставок ускорителей NVIDIA.

В октябре прошлого года Naver вынужденно стала использовать процессоры Intel Xeon вместо ускорителей NVIDIA. Смена оборудования Naver происходит на фоне роста недовольства технологических компаний увеличением цен на ускорители NVIDIA и их глобальной нехваткой. По словам Samsung, Mach-1 был разработан для поддержки Transformer-моделей и позволяет выполнять инференс больших языковых моделей (LLM) даже с маломощной памятью вместо энергоёмкой HBM, что делает его в восемь раз энергоэффективнее традиционных ускорителей на базе GPU. При этом Mach 1 на порядок дешевле чипов NVIDIA.

По словам источников, бизнес-подразделение Samsung System LSI и Naver находятся в заключительной стадии переговоров о поставке 150–200 тыс. ИИ-ускорителей Mach-1, цена которых может составить ₩5 млн ($3756) за штуку. Цены и точный объём поставок пока не согласованы. Сообщается, что Naver будет использовать Mach-1 для инференса вместо ускорителей NVIDIA в картографическом сервисе AI Naver Place. Naver готова покупать эти чипы и в дальнейшем, если первая партия покажет «хорошую производительность», отметили источники, по словам которых Samsung также ведёт переговоры о поставках Mach-1 с Microsoft и Meta✴.

Источник изображения: Samsung

Для Samsung сделка с Naver важна с точки зрения конкуренции с SK hynix, доминирующей в сегменте памяти HBM, спрос на которую в связи с популярностью генеративного ИИ резко вырос. Samsung сообщила о разработке первой в отрасли памяти HBM3E 12-Hi, массовое производство которой начнётся в I половине этого года. Кроме того, SK Group поддерживает разработку ИИ-ускорителей Sapeon, а Samsung сотрудничает с Rebellions. По оценкам Omdia, глобальный рынок ИИ-ускорителей вырастет с $6 млрд в 2023 году до $143 млрд к 2030 году.

HPC-инфраструктура NASA нуждается в серьёзной модернизации, поскольку в текущем виде не в состоянии удовлетворить потребности организаций в составе национального управления по аэронавтике и исследованию космического пространства США. К такому выводу, как сообщает The Register, пришло в ходе аудита Управление генерального инспектора.

Отмечается, что НРС-инфраструктура NASA морально устарела и не в состоянии эффективно поддерживать современные рабочие нагрузки. Например, в Центре передовых суперкомпьютеров NASA задействованы 18 тыс. CPU и только 48 ускорителей на базе GPU.

Источник изображения: NASA

Кроме того, текущих вычислительных мощностей не хватает для всех потребителей. Поэтому некоторые отделы и научные центры NASA вынуждены закупать собственное оборудование и формировать локальную НРС-инфраструктуру. В частности, одна только команда Space Launch System ежегодно тратит на эти цели $250 тыс. вместо того, чтобы подключаться к централизованной системе. Фактически каждое структурное подразделение NASA, за исключением Центра космических полетов Годдарда и Космического центра Стенниса, имеет собственную независимую вычислительную инфраструктуру.

Ещё одной причиной развёртывания локальных мощностей является путаница вокруг облачных ресурсов и политики NASA, из-за которой возникают сложности с планированием и оценкой финансовых затрат. Аудит также показал, что есть вопросы к безопасности суперкомпьютерного парка NASA. Например, нет должного мониторинга некоторых систем, доступ к которым имеют иностранные пользователи.

В целом, наблюдающаяся картина приводит к задержкам в реализации космических миссий и дополнительным расходам. Для устранения недостатков руководству NASA рекомендовано провести комплексную реформу НРС-сектора, включающую инвентаризацию активов, выявление технологических пробелов и киберрисков. Необходимо также разработать стратегию по улучшению распределения имеющихся вычислительных мощностей.

Спрос на дата-центры в Северной Америке и не думает снижаться. По данным JLL и CBRE, цены на их использование взлетели до рекордных отметок. Datacenter Dynamics сообщает, что рост спроса совокупно с нехваткой энергетической ёмкости привели к дефициту мощностей и росту числа предварительных договоров об аренде. Повышенный спрос эксперты во многом связывают с развитием ИИ и больших языковых моделей (LLM), набирающих популярность и требующих много энергии. В результате растут запросы на энергию и инфраструктуру.

В докладе JLL сообщается, что спрос буквально бьёт все рекорды, и запрос на новые ЦОД распространяется за пределы ключевых рынков в поисках доступной энергии. При этом большая часть вводимых в текущем году мощностей уже забронирована. Недостаток свободных мощностей привёл к тому, что операторы обращаются к «вторичным» рынкам, на которые теперь приходится почти 20 % строящихся кампусов. Самым быстрорастущим рынком в плане строительства стал Солт-Лейк-Сити (Юта), город готов как минимум удвоить ёмкость ЦОД.

Фото: Taylor Vick / Unsplash

В 2023 году объёмы строительства уже достигли рекордных значений, сейчас на первичных рынках строятся ЦОД на 3,01 ГВт, причём 83 % из них уже арендованы. Уровень свободных мощностей в 2023 году оставался рекордно низким — 3,7 %, а в январе 2024 года в Северной Вирджинии этот показатель был и вовсе критическим — 0,2 %. По мере заполнения первичных рынков, внимание переключается на второстепенные. Особенно это актуально для ИИ-проектов, для которых время задержки обычно не играет существенной роли. Осваиваются территории даже в странах Латинской Америки. Предполагается, что в некоторых регионах в ЦОД будет перенаправляться энергия, ранее предназначавшаяся для других задач.

Строительство с нуля — лишь часть новых проектов. Часто расширяются уже существующие объекты, во всяком случае повышается их плотность в мегаваттах на единицу площади. Недостаток земли привёл к необходимости строить многоэтажные ЦОД, а современные технологии позволяют создавать объекты с типовой ёмкостью более 100 МВт. ЦОД стали привлекать внимание инвесторов в качестве объекта альтернативных вложений, растут и требования клиентов к размерам дата-центров, а с ними и запросы на инвестиции и увеличение скорости строительства.

Источник изображения: JLL Research

По информации CBRE, восемь первичных рынков ЦОД США выросли в 2023 году на 26 %. Северная Вирдижиния продолжает оставаться крупнейшим, в том числе в мире. Ёмкость ЦОД на первичном и вторичном рынках превышает 5,3 ГВт. По данным Newmark, к концу десятилетия энергопотребление ЦОД в США достигнет и вовсе 35 ГВт.

Как сообщает CBRE, средняя запрашиваемая стоимость аренды снизилась на 16,9 % с 2013 по 2021 гг. Но уже в 2023 году этот показатель вырос на 18,6 % на первичных оптовых рынках колокейшн-сервисов, с $137,86 кВт/мес до $163,44 кВт/мес при аренде 250–500 кВт, а годом ранее цены выросли на 14,5 %. По словам представителя CBRE, на рынке ЦОД в прошлом году наблюдался рекордный рост цен.