Meta✴ кардинально сменила стратегию относительно расширения сети дата-центров, объяснив своё решение тем, что строительство объектов для ИИ будет дешевле и быстрее. В рамках новой политики было прекращено расширение ЦОД в Дании и приостановлены проекты в США, сообщил ресурс DatacenterDynamics (DCD). Глава компании Марк Цукерберг (Mark Zuckerberg) обещает, что 2023 год будет «годом эффективности», и собирается отказаться от неэффективных проектов, а также устранить часть менеджеров, ставших тормозом на пути к росту показателей.

До недавних пор компания утверждала, что расходы на ЦОД в любом случае не уменьшатся, несмотря на сокращение затрат по другим направлениям из-за убытков, связанных с разработкой метавселенной, проблемами в основном бизнесе, а также воздействием глобального экономического спада. Однако в ходе отчёта о результатах за IV квартал компания сообщила, что планирует более низкие капиталовложения в ИТ-инфраструктуру, включая строительство ЦОД.

Изображение: Meta✴

Если за минувший квартал компания потратила $9,2 млрд, «обусловленные инвестициями в серверы, центры обработки данных и сетевую инфраструктуру», то теперь вместо ранее запланированных $34–37 млрд компания собирается израсходовать по этой статье $30–33 млрд. «Снижение прогноза отражает наши обновлённые планы по сокращению затрат на строительство ЦОД в 2023 году, поскольку мы переходим к новой архитектуре ЦОД, которая является более экономичной и может поддерживать как ИИ, так и другие рабочие нагрузки», — заявила Meta✴.

ИИ-платформа Grand Teton (Источник: Meta✴)

Компания обещает, что «новая архитектура ЦОД будет дешевле и быстрее в строительстве, чем предыдущая». Meta✴ будет использовать «новый поэтапный подход», в рамках которого изначально будут строиться объекты с меньшей мощностью и меньшими первоначальными капитальными затратами, которые по необходимости можно развивать, быстро наращивая их мощность. Проще говоря, Meta✴ намерена использовать модульный способ строительства. Аналитики TrendForce отмечают, что вместе с Meta✴ затраты на оборудование снизят Amazon, Google и Microsoft.

Компания Cushman & Wakefield четвёртый год подряд проводит оценку рынков ЦОД по всему миру. Как сообщает InsideHPC, в последнем докладе 2023 Global Data Center Market Comparison указывается, что Портленд (Орегон, США) перескочил с десятого места в рейтинге ведущих рынков ЦОД сразу на второе. Аналитики оценили показатели 63 рынков с 1600 ЦОД по 13 критериям, от доступности ВОЛС, облачной доступности и размера рынка, до, например, политической ситуации в том или ином регионе.

Впервые Северная Вирджиния, традиционно занимавшая в докладах первое место, а теперь страдающая от локальных конфликтов, соседствует в рейтинге с Портлендом, который в прошлом году занимал десятое место, а в этом взлетел сразу на вторую позицию. Во многом это результат активности гиперскейлеров на местном субрынке в Хиллсборо. Теперь первая десятка выглядит следующим образом:

1. Северная Вирджиния;
2. Портленд;
3. Сингапур;
4. Гонконг;
5. Атланта;
6. Чикаго;
7. Кремниевая долина;
8. Даллас;
9. Финикс;
10. Сиэтл.

По ёмкости отдельных рынков в лидерах США, Китай и Великобритания (Источник: Cushman & Wakefield)

Примечательно, что большая часть ведущих рынков ЦОД, по мнению агентства, приходится на США, только две позиции из десяти занимают азиатские рынки. Взлёт Портленда в рейтинге свидетельствует о стремлении малых рынков к завоеванию лидирующих позиций в отрасли. Этому способствуют невысокие цены на электроэнергию и другие ресурсы, доступная земля, низкие экологические риски и другие факторы, включая льготы, вводимые властями на местах.

Источник: Cushman & Wakefield

В компании утверждают, что быстрое развитие ЦОД, начавшееся во время пандемии, продолжилось и в 2022 году, причём даже несмотря на общие проблемы в глобальной экономике и проблемы с ресурсами на некоторых крупнейших рынках. Гиперскейлеры, тем не менее, продолжают экспансию в новых регионах, при этом растёт их интерес ко «вторичным» и развивающимся рынкам, где условия для развития бизнеса сейчас весьма благоприятные.

Компания TrendForce скорректировала прогноз по росту поставок серверов в 2023 году в сторону уменьшения. Связано это с тем, что крупнейшие гиперскейлеры намерены сократить закупки оборудования из-за сложной макроэкономической ситуации и рыночных неопределённостей. Речь идёт об Amazon, Google, Meta✴ и Microsoft — вместе на них приходится до половины мировых поставок серверов. Изначально TrendForce прогнозировала, что в текущем году глобальные отгрузки серверов вырастут на 6,9 % по сравнению с 2022-м. Затем называлась цифра в 4,4 %, а теперь и вовсе говорится о прибавке на уровне 1,87 %.

Это также повлияет на сегмент серверной памяти DRAM — в первой четверти нынешнего года ожидается падение цен примерно на 20–25 % в квартальном исчислении. Столкнувшись с глобальными экономическими препятствиями, гиперскейлеры сократили объёмы закупок серверов на 2023 год и могут внести дальнейшие корректировки в сторону уменьшения. Аналитики говорят о снижении активности в сегменте электронной коммерции на фоне ослабления ограничений в связи с пандемией COVID-19, что также негативно влияет на закупки серверов. Кроме того, сокращение складских запасов в цепочках поставок происходит медленнее, чем ожидалось.

Изображение: Hyve Solutions

Meta✴ намерена уменьшить закупки серверов на 3,0 % по с равнению с 2022 годом, хотя ранее называлась цифра 0,5 %. Помимо экономических трудностей Meta✴ столкнулась с серьёзными препятствиями по развитию бизнеса в Европе. В частности, компания приостановила работы над двумя объектами в своём кампусе в Оденсе (Дания) из-за несоответствия региональным экологическим стандартам. Microsoft, как ожидается, намерена закупить на 13,4 % больше серверов по сравнению с прошлым годом, а не на 16,9 %, как планировалось ранее. Поскольку корпоративные заказчики сокращают расходы из-за неопределённых экономических перспектив, Microsoft может столкнуться с ограниченным ростом доходов от облачного бизнеса.

Google скорректировала объём закупок серверов с +7,5 % до +5,2 %. Говорится, что устройства на процессорах Intel Xeon Sapphire Rapids и AMD EPYC Genoa не оправдали ожиданий Google в отношении совокупной стоимости владения (TCO). Кроме того, может быть ограничен рост доходов компании от облачных сервисов. Наконец, AWS планирует увеличить закупки на 6,2 %, а не на 7,8 %, как говорилось ранее. Компания также может столкнуться с понизившимся спросом на облачные услуги. Кроме того, есть вероятность отказа от выпуска серверов на платформе Graviton 3 в пользу Graviton 4, что создаст определённые задержки в обновлении парка.

В 2022 году объём инвестиций в ИТ-инфраструктуру составил $700 млрд, отметила аналитическая компания Synergy Research. Из этой суммы на расходы гиперскейлеров приходится чуть менее трети (29 %), что гораздо больше их доли в общих затратах в 2016 году, равной 13 %. Доля в расходах на ИТ-инфраструктуру корпоративного сектора осталась примерно на том же уровне (29 %), а доля телекоммуникационных операторов упала за эти годы с 58 % до 42 %.

В исследовании Synergy Research сообщается, что с 2016 года капиталовложения в ИТ-инфраструктуру росли в среднем на 6 % в год. При этом затраты гиперскейлеров росли в среднем на 20 % в год, в то время как капвложения предприятий увеличивались ежегодно в среднем на 6 %, а затраты телекоммуникационных операторов остались на прежнем уровне. В 2022 году объём затрат на ИТ-инфраструктуру гиперскейлеров, включая расходы на сетевые коммутаторы, а также аппаратное и программное обеспечение для ЦОД, вырос на 9 % до $200 млрд. А капвложения операторов фиксированной и мобильной связи упали на 4 % до примерно $290 млрд в год, оставаясь на этом уровне последние 8 лет.

Больше всех среди телекоммуникационных компаний на ИТ-инфраструктуру израсходовали в прошлом году China Mobile, Deutsche Telekom, Verizon, AT&T, NTT и China Telecom. Расходы телекоммуникационных компаний были по-прежнему сильно ограничены из-за отсутствия заметного увеличения их доходов. Лидерами по затратам среди гиперскейров были Amazon, Google, Meta✴, Microsoft, Apple, Alibaba и ByteDance. Их доля в общих расходах неуклонно растёт, поскольку постоянно растущий спрос на облачные и другие цифровые сервисы, и их расширение приводят к ещё более значительным расходам.

Источник: Synergy Research

Капвложения предприятий восстановились за последние два года после периода затишья в 2019–2020 гг. В 2022 году их расходы выросли в годовом исчислении на 9 % до $210 млрд. Основными драйверами прироста были продолжающийся долгосрочный запрос на решения для совместной работы, увеличение расходов на безопасность сетей, рост корпоративных ЦОД и т.д. В некоторых сегментах на увеличение затрат повлиял рост цен, поскольку поставщики закладывали рост расходов из-за проблем с цепочкой поставок, перекладывая тем самым свои издержки на клиентов.

«Хорошей новостью для поставщиков оборудования и программного обеспечения является то, что общие расходы на ИТ-инфраструктуру будут продолжать неуклонно расти в течение следующих пяти лет», — сообщил Джон Динсдейл (John Dinsdale), главный аналитик Synergy Research. Исследование Synergy Research относительно меняющихся приоритетов предприятий в области инвестиций в ИТ-инфраструктуру было опубликовано вскоре после того, как некоторые рыночные наблюдатели спрогнозировали снижение темпов миграции в публичное облако или даже её приостановку в связи со стремлением компаний сократить расходы.

Talen Energy завершила строительство своего первого здания ЦОД в непосредственной близости от принадлежащей ей АЭС в штате Пенсильвания (США). Как сообщает DataCenter Dynamics, первая очередь ЦОД ёмкостью 48 МВт и площадью почти 28 тыс. м² готова принять первых клиентов. Площадь всего кампуса Cumulus Susquehanna составляет около 485 га, а итоговая мощность ЦОД составит около 475 МВт. Ожидается, что в кампусе разместятся гиперскейлеры и криптомайнинговые компани.

Мощности АЭС Susquehanna Steam Electric Station (2,5 ГВт) также можно дополнить «зелёными» солнечными электростанциями на 400+ МВт. Строительство двух объектов на территории, близкой к АЭС, было начато ещё в 2021 году. Для этого Talen Energy сформировала в 2020 году структуру Cumulus Growth для инвестиции в два типа деятельности: подразделение Cumulus Data отвечает за ЦОД для гиперскейлеров, а Cumulus Coin вместе с TeraWulf — за криптомайнинг. Talen обещает помочь клиентам добиться нулевых углеродных выбросов благодаря использованию «безуглеродной» платформы ЦОД в Пенсильвании.

Источник изображения: Cumulus

Это не единственная компания, реализующая проекты ЦОД, напрямую связанные с использованием атомной энергетики. Например, в прошлом году Microsoft подписала соглашение о покупке энергии (PPA) с канадской Ontario Power Generation, владеющей АЭС. Блокчейн-компания Standard Power, уже получающая энергию от Energy Harbor в Огайо (США), намерена построить 900-МВт кампус рядом с АЭС Beaver Valley (Пенсильвания, США). В России с 2018 года работает ЦОД «Калининский» на базе одноимённой АЭС в Тверской области.

Хотя бизнес-среда для деятельности ЦОД в американском штате Орегон считается весьма благоприятной, местные законотворцы подготовили проект, устанавливающий жёсткие экологические стандарты. Как сообщает DataCenter Dynamics, за нарушение новых правил предусмотрены санкции, значимые даже для гиперскейлеров. В законопроекте предусмотрены требования для потребляющих много энергии объектов по снижению выбросов парниковых газов с привязкой к объёмам использованного электричества.

Так, «базовый уровень выбросов» оценивается в 0,428 метрической тонны CO₂ на 1 МВт·ч. ЦОД и криптомайнеры должны снизить выбросы на 60 % в сравнении с этим уровнем к 2027 году, на 80 % — к 2030 году, на 90 % — к 2035 году. Наконец, к 2040 году выбросов не должно быть вовсе (эта же цель поставлена местным коммунальным службам). Законопроект предусматривает штраф в размере $12 тыс./день за каждый лишний МВт·ч, а также отмену налоговых льгот и другие санкции. Кроме того, операторы должны ежегодно отчитываться Департаменту качества окружающей среды Орегона.

Орегон. Источник изображения: Cristofer Maximilian/unsplash.com

Под удар потенциально попадают ЦОД Amazon, Apple, Google, Meta✴ и Twitter, давно обосновавшиеся в штате благодаря налоговым льготам, введённым ещё в 1980-е годы. По имеющимся данным, только Amazon, Apple, Facebook✴ и Google сэкономили $650 млн на подобных льготах. Правда, «налоговые каникулы» Google истекли в конце 2022 года, спустя 15 лет после их начала. По данным The Register, под исключение из общего правила попадают малые операторы.

Amazon является одним из главных «подозреваемых» — выбросы CO₂ на каждый МВт·ч с момента её прибытия в 2010 году на территорию обслуживания Umatilla Electric Cooperative выросли на 543 %. Компания отказалась прокомментировать законопроект и рассказывать о планах развития в регионе, но заявила, что к 2025 году намерена перейти на 100 % возобновляемую энергию, а сейчас её ЦОД имеют на 88 % меньший углеродный выброс, чем среднестатистический корпоративный дата-центр в США. Не исключено, что Amazon прибегнет к т.н. «зелёному камуфляжу», допускающему инвестиции в экопроекты в обмен на формальное признание снижения углеродных выбросов.

Компания Meta✴ намерена пересмотреть концепцию ряда проектов по созданию новых ЦОД с целью их адаптации под ИИ-нагрузки, сообщает DataCentre Dynamics. Это подразумевает расторжение контрактов с некоторыми нынешними подрядчиками и изменение сроков строительства дата-центров.

В начале февраля 2022 года сообщалось, что Meta✴ продолжит увеличивать инвестиции в ЦОД и сетевую инфраструктуру. В частности, компания намеревалась потратить €1 млрд на строительство дата-центра в Испании для обслуживания метавселенной. Позднее стало известно, что Meta✴ была вынуждена отказаться от планов по развёртыванию в Нидерландах крупнейшего в Европе кампуса ЦОД. Тем не менее, в отчёте за III квартал компания подтвердила намерение и далее инвестировать средства в развитие инфраструктуры.

Источник изображения: Meta✴

Теперь же говорится, что компания намерена кардинально изменить подход к строительству ряда новых дата-центров. Речь идёт об 11 проектах, находящихся на стадии разработки и планирования. Сообщается, что для поддержки масштабных ИИ-нагрузок требуется другой подход к архитектуре ЦОД, нежели тот, который использовался для поддержки работы обычных онлайн-сервисов Meta✴. Речь, в частности, идёт о применении СЖО для повышения энергетической эффективности и снижения уровня шума.

Meta✴ уже приостановила работы над двумя объектами в своем кампусе в Оденсе (Дания). Контракт с генеральным подрядчиком Aarsleff в рамках этого проекта расторгнут. Соответствующий договор стоимостью $343 млн был подписан 3 августа 2022 года с запланированным сроком исполнения в 2025 году. Уже были выполнены земляные и бетонные работы, а также проложены километры кабельных траншей. Как теперь сложится дальнейшая судьба проекта, не ясно. Но специалисты говорят, что Meta✴, вероятно, сосредоточит усилия на ЦОД нового поколения с жидкостным охлаждением.

UPD: Meta✴ временно приостановила начатое весной этого строительство ещё одного крупного дата-центра (83,6 тыс м²) в Темпле (Техас, США), сообщив, что проект отменён не будет, но дизайн ЦОД будет пересмотрен. Также компания остановила уже начатые работы по расширению кампуса ЦОД в Алабаме до 325 тыс. м² и строительство $800-млн ЦОД в Айдахо.

Аналитики DigiTimes Research обнародовали результаты исследования мирового рынка серверов: данный сегмент продолжает расти, в отличие от ПК-отрасли. Объясняется это развитием облачных инфраструктур и ЦОД на фоне пандемии и продолжающейся цифровой трансформации предприятий.

По оценкам, в 2022 году глобальные продажи серверов поднимутся примерно на 6,4 %, достигнув 18 млн штук. Росту рынка будут способствовать прежде всего ведущие операторы дата-центров, в том числе Amazon, Google, Meta✴ и Microsoft. В 2023-м прогнозируется увеличение поставок на 5 %, а итоговый результат превысит 19 млн единиц. Поставки серверов тайваньскими ODM-производителями продолжат расти: они увеличатся примерно с 15 млн единиц в 2021 году до 16 млн штук в 2022-м и 17 млн в 2023-м.

Говорится, что дефицит компонентов, ударивший по отрасли в 2021 году, начал ослабевать во второй половине 2022-го, а в следующем году его влияние станет ещё меньше. Ожидается хороший спрос в сегменте оборудования для периферийных вычислений. Наращивать мощности продолжат и крупнейшие гиперскейлеры.

В первой половине наступающего года начнутся массовые отгрузки серверов на платформах Intel Xeon Sapphire Rapids (Eagle Stream) и AMD EPYC Genoa, что будет стимулировать обновление парка систем в корпоративном сегменте и ЦОД в 2023–2024 гг. Продолжится развитие сегмента серверов с Arm-процессорами: над внедрением таких решений для высокопроизводительных систем работают Amazon, Ampere, NVIDIA и другие компании.

Суммарная доля четырёх крупнейших операторов облачных дата-центров в США (Amazon, Google, Meta✴ и Microsoft) в 2022 году достигнет 46 % в общей массе реализованных серверов против 43,1 % в 2021-м. В следующем году показатель поднимется до 47,5 %. Совокупная доля китайских серверных брендов, в число которых входят Inspur, Lenovo и Huawei, в 2021–2023 гг. останется на уровне 17–18 %.

В 2021 году доля процессоров Intel на мировом рынке серверов составляла немногим менее 85 %, а доля AMD превысила 11 %. Ещё около 3,5 % пришлось на Arm-решения. По итогам 2022 года, как ожидается, доля чипов Intel снизится до 77 %, а решений AMD поднимется свыше 15 %. Чуть меньше 7 % составят изделия Arm. В 2023-м доли прогнозируются на уровне соответственно 75 %, 17 % и 8 %.

16 европейских телекоммуникационных операторов из ассоциации European Telecommunications Network Operators Association (ETNO), призвали владельцев социальных сетей и медиасервисов вроде Meta✴, Google и прочих, принять участие в строительстве сетевой инфраструктуры на фоне роста издержек — основной груз развития сети ложится на плечи одних компаний, тогда как выгодоприобретателями являются другие.

Совместное обращение телеком-операторов появилось после запроса Еврокомиссии на «обратную связь» до того, как европейские законотворцы примут закон, предусматривающий совместное участие техногигантов и провайдеров в развитии сетей 5G и оптоволоконных сетей в 27 странах Евросоюза.

Источник изображения: Frederik Lipfert/unsplash.com

Главы телекоммуникационных компаний, в числе которых крупнейшие операторы вроде Deutsche Telekom, Orange, Telefonica, а также BT Group, Vodafone, KPN, Bouygues Telecom, TIM Group, Telia Company, Fastweb и Altice Portugal, заявили, что ежегодно сектор инвестирует в инфраструктуру $48,5 млрд и ему срочно требуются дополнительные средства.

Подписанты подчеркнули, что меры должны быть приняты незамедлительно для того, чтобы Европа не упустила новые возможности, открывающиеся с развитием технологий вроде метавселенной. При этом на операторов связи оказывается беспрецедентное ценовое давление в связи с энергетическим кризисом, проблемами перехода на зелёную энергетику и другими вызовами. Так, только в первом семестре 2022 года цены на оптоволоконные кабели почти удвоились, выросла цена энергии и других ресурсов.

При этом относительно недавно GSM Association опубликовала выводы, согласно которым на долю Alphabet, Meta✴, Netflix, Apple, Amazon, и Microsoft приходится 57 % всего сетевого трафика и 57 % глобальных прибылей экосистемы глобальной Сети. При этом их деятельность высокомаржинальна, в то время как операторы связи несут высокие капитальные расходы при гораздо меньших прибылях.

Для того чтобы не упустить возможностей, операторы призывают крупнейших генераторов трафика вроде Google, Meta✴ и Netflix внести вклад в создание европейских сетей. Хотя техногиганты и без того немало вкладывают в инфраструктуру, по некоторым данным, затраты идут в основном на оптимизацию их собственных сервисов, в то время как провайдерам приходится обеспечивать их экосистемы связью с конечными пользователями.

Как сообщает The Register, Еврокомиссия может охотно пойти навстречу местным провайдерам, поскольку она уже неоднократно поддерживала инициативы, так или иначе, связанные с повышением уровня социальной ответственности заокеанских техногигантов. Отметим, что в конце прошлого года случился в структуре мирового интернет-трафика произошёл существенный сдвиг — впервые больше половины (56%) трафика пришлось всего на шесть компаний, включая Google, Facebook/Meta, Netflix, Amazon, Microsoft и Apple.

По оценкам аналитиков Synergy Research Group, к концу II квартала 2022 года число дата-центров гиперскейлеров превысило 800 шт., а к концу 2026 года их станет в полтора раза больше. Причём расти будет не только количество таких ЦОД, но и их мощность. При этом 53 % ёмкости ЦОД гиперскейлеров приходится на США, а оставшаяся доля практически поровну поделена между Европой, Китаем и остальным миром.

Наиболее крупные игроки на этом рынке — «большая тройка» облачных провайдеров (Amazon, Google, Microsoft). У каждой из этих компаний имеется более 130 дата-центров, причем не менее 25 в каждом из трёх основных регионов, Североамериканском, Азиатско-Тихоокеанском и Европейском. По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. Всего же в исследовании Synergy Research Group учитывались дата-центры 19 крупнейших компаний, оказывающих облачные и иные интернет-услуги.

Источник: Synergy Research Group

По мощности дата-центров лидируют компании Amazon, Google, Microsoft, Facebook✴, Alibaba и Tencent. При этом, как и прежде, более трети мощностей в США приходится на один-единственный штат — Вирджинию, которая обгоняет по этому показателю Европу и Китай. Здесь находится так называемая Аллея дата-центров, охватывающая округи Лаудон (Loudoun), Принс-Уильям (Prince William) и Фэрфакс (Fairfax). ЦОД в основном концентрируются вокруг городов Эшберн (Ashburn), Стерлинг (Sterling), Манассас (Manassas) и Шантийи (Chantilly).

Источник: Cushman & Wakefield Research

Суммарная ёмкость ЦОД в штате достигла 1,7 ГВт. В частности, Amazon именно здесь размещает значительную часть своих ЦОД. Другими крупными игроками на локальном рынке являются Microsoft, Meta✴, Google, ByteDance. Столь привлекательной для операторов ЦОД Вирджиния стала в силу доступности площадей и энергии, развитой инфраструктуры, а также особенностей местного законодательства, в том числе налоговых послаблений. Правда, теперь местные жители жалуются на «катастрофический шум» от дата-центров, а возможностей энергосети стало не хватать.

Что касается других регионов, то в Европе ведущими рынками для гиперскейлеров остаются Ирландия и Нидерланды, где в последнее время также наметился кризис — обе страны больше не рады крупным игрокам, которые один за другим отменяют или приостанавливают проекты по созданию и развитию ЦОД. Китайский рынок остаётся относительно изолированным, поскольку он включает по большей части дата-центры местных IT-гигантов: Alibaba, Tencent и Baidu. В целом же аналитики прогнозируют, что в течение следующих пяти лет важность ключевых на текущий момент рынков ЦОД несколько снизится.