Microsoft анонсировала новую архитектуру охлаждения своих ЦОД, где вода циркулирует в замкнутом контуре, а испарения вообще нет. Все дата-центры Microsoft, разрабатываемые с августа 2024 года, получат новые системы охлаждения. Они, как ожидается, заработают к концу 2027 года. А впервые новые подходы будут опробованы в строящихся ЦОД в Финиксе (Аризона) и Маунт-Плезанте (Висконсин) в 2026 году, сообщает пресс-служба компании. Впрочем, существующие объекты по-прежнему будут использовать различные комбинации систем охлаждения.

По словам Microsoft, новая архитектура снизит потребление питьевой воды каждым дата-центром компании более чем на 125 млн л/год. Эта цифра рассчитана с учётом среднего показателя эффективности использования воды (WUE) на уровне 0,30 л/кВт∙ч, который за последние три года улучшился на 39 %. А с начала 2000-х, когда компания стала сама строить ЦОД, WUE снизился на 80 %. Это результат усилий по уменьшению объёма сточных вод, повышению температур в ЦОД и усилению контроля за работой оборудования. Кроме того, в Техасе, Вашингтоне, Калифорнии и Сингапуре компания использует очищенные сточные и оборотные воды.

Источник изображения: Microsoft

В компании заявляют, что новые технологии используют замкнутые контуры жидкостного охлаждения — как только система заполнена водой во время монтажа, вода будет циркулировать между серверами и охладителями без необходимости постоянной «дозаправки». Этот подход сочетается с прямым жидкостным охлаждением, что позволяет использовать в контурах более тёплую воду, улучшая не только WUE, но PUE.

Источник изображения: Microsoft

Правда, параллельно ожидается «номинальное увеличение» расхода электроэнергии каждым новым дата-центром на основе соответствующих технологий. Впрочем, в компании заявляют, что работают над другими инновациями для обеспечения «более целевого охлаждения» и снижения энергозатрат. Новая архитектура в некоторых случаях позволит избежать ситуаций, когда компания вынужденно использует воздушное охлаждение или строит системы очистки сточных вод своих дата-центров.

AWS рассказала об инновациях, внедряемых в её ЦОД для поддержки ИИ-нагрузкок следующего поколения. По данным DataCenter Dynamics, нововведения связаны в первую очередь с электропитанием и охлаждением. Они направлены на повышение энергоэффективности дата-центров AWS. Первые ЦОД на базе новой архитектуры заработают в начале 2025 года.

Новые решения в свежих новых дата-центрах компании по всему миру, а некоторые начнут применять уже на существующих объектах. В компании подчёркивают, что решения изначально спроектированы как модульные, поэтому возможная поэтапная модернизация площадок для внедрения СЖО, повышения энергоэффективности и снижения углеродного следа. Так, AWS упростит электрическую и механическую структуру новых ЦОД, чтобы облегчит их обслуживание и повысить надёжность.

В частности, упростится подход к распределению энергии внутри ЦОД, а источники резервного питания будут размещаться ближе к стойкам. Это позволит повысить доступность инфраструктуры до 99,9999 % времени, а количество стоек, которых могут коснуться проблемы с энергоснабжением, снизится на 89 %. Также уменьшится количество вентиляторов для отвода горячего воздуха. Вместо этого будет применяться естественный перепад давления, что положительно скажется на энергопотреблении. Вместе с тем AWS намерено вшестеро увеличить мощность стойки в следующие два года, и ещё втрое — в будущем.

Впрочем, в ИИ-серверах, где мощность ускорителей приближается к 1 кВт, без СЖО обойтись сложно. AWS готовит суперкластеры Project Rainier и Project Ceiba на базе AWS Tranium2 и NVIDIA Blackwell соответственно, поэтому она вместе с крупным производителем СЖО будет внедрять прямое жидкостное охлаждение и в новых, и в старых ЦОД. В некоторых случаях будет использоваться и гибридное охлаждение. Одним из главных плюсов новой архитектуры охлаждения является гибкость — акцент на воздушное или жидкостное охлаждение будет делаться в зависимости от потребностей оборудования и возможностей конкретных дата-центров.

Источник изображений: AWS

Заодно AWS использовала имеющиеся данные и генеративный ИИ для поиска наиболее эффективного способа размещения стоек в своих ЦОД, добавив ещё 12 % вычислительных мощностей на каждую площадку. Новая технология будет применяться как к новому оборудованию для ИИ-систем, так и для других типов техники. Также компания внедрила собственную систему управления механическими и электрическими устройствами — она поможет стандартизировать мониторинг и эксплуатацию дата-центров.

Наконец, предприняты усилия по повышению экобезопасности дата-центров. AWS заявила, что новая архитектура охлаждения снизит потребление энергии на 46 % во времена пиковых нагрузок без увеличения потребления воды. Доля углеродных выбросов при производстве бетона, используемого при строительстве ЦОД, уменьшена на 35 % относительно средней по отрасли, кроме того, на 35 % сокращается потребление стали в целом, а та, что используется, поступает из электродуговых печей, а не газовых, что сокращает косвенные выбросы. Наконец, резервные генераторы AWS переведут на возобновляемое дизельное топливо.

Дополнительно AWS совместно с Orbital Materials запустила пилотный проект по тестированию разработанного с помощью ИИ материала, помогающего захватывать в дата-центрах углекислый газ — речь идёт о «губке на атомном уровне», взаимодействующей только с молекулами углекислоты. Тестирование материала, три года разрабатывавшегося компаниями, начнётся в начале 2025 года. По данным Orbital, новый материал значительно дешевле аналогов. В дальнейшем стартап планирует испытать разработанные с помощью ИИ технологии для экономии воды и охлаждения чипов.

DataCenter Dynamics также отмечает, что AWS впервые раскрыла показатель PUE своих дата-центров. В среднем он составляет 1,15, а самая лучшая площадка достигла 1,04. Для сравнения: у Google эти показатели составляют 1,1 и 1,06 соответственно, у Microsoft — 1,18 и 1,12 (у новых объектов). ЦОД Meta✴ в среднем имеют PUE около 1,08, а Oracle говорит об 1,15.

Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна новая система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Еврокомиссией принята новая схема отчётности о выбросах дата-центров. Она поможет эффективнее отслеживать прогресс операторов в деле достижения эко- и энергоустойчивости, передаёт Datacenter Dynamics. схема Data centres in Europe является частью Европейской директивы по энергоэффективности (European Energy Efficiency Directive или EED), которая должна помочь до 2030 года снизить общее энергопотребление ЕС на 11,7 %, а углеродные — на 55 %.

Согласно новым правилам, предоставляемая операторами информация будет отправляться в центральную базу данных, где станет применяться для прозрачного и мотивированного планирования и принятия решений странами — участницами Евросоюза и Еврокомиссией, а также для оценки ключевых характеристик устойчивости ЦОД.

Правила распространяются на все дата-центры ёмкостью более 500 кВт. Операторы будут обязаны сообщать о площади ЦОД, установленной мощности, энергопотреблении, индексе PUE, температурных показателях и утилизации «мусорного» тепла, выделяемого в процессе работы ЦОД. Наконец, необходимо будет докладывать об использовании воды и возобновляемой энергии.

Источник изображения: Christian Lue/unsplash.com

Операторы будут обязаны предоставлять данные ежегодно. Первый «дедлайн» сначала назначили на 15 мая 2024 года, но позже перенесли на 15 сентября. Тем не менее, в дальнейшем отчёты за предыдущий год должны будут подаваться до 15 мая текущего. Вероятно, Еврокомиссия перенесла изначальную дату, прислушавшись к жалобам на то, что у операторов осталось слишком мало времени для сбора первичной отчётности.

Оператор ЦОД Equinix повысил энергоэффективность своего дата-центра FR6 во Франкфурте (Германия) на 9 %, оптимизировав распределение энергоресурсов при поддержке ИИ. Как сообщает Datacenter Dynamics, этот результат достигнут с помощью интеллектуальной системы управления охлаждения Etalytics.

ПО Etalytics позволило снизить индекс PUE почти до 1,2 и, как ожидается, даст возможность сократить энергопотребление на 900 МВт·ч ежегодно. В дальнейшем Equinix намерена внедрить аналогичные ИИ-решения почти во всех своих франкфутских ЦОД IBX, включая объекты FR4, FR6, FR8 и FR2.6.

Стартап Etalytics был сформирован в 2020 году одной из исследовательских групп Технического университета Дармштадта. Сотрудничество с Equinix началось тогда же. ИИ-платформа Etalyctics позволяет регулировать работу систем охлаждения, что ведёт к экономии электроэнергии. ПО собирает телеметрию с помощью IIoT-датчиков для формирования «цифрового двойника», который может использоваться для «динамических расчётов» оптимальной стратегии охлаждения в реальном времени. Учитывается температура, влажность и т.д.

Как сообщают в Equinix Germany, речь идёт о многообещающем примере позитивного эффекта цифровизации и влиянии ИИ на рост энергоэффективности. Это, в частности, позволило получить награду Energy Efficiency Award от Германского энергетического агентства (DENA). Впрочем, ПО Etalytics с не меньшим успехом может применяться в химической, фармацевтической и автомобильной промышленности.

Источник изображения: Equinix

Считается, что внедрение подобных технологий станет ещё одним ключевым фактором достижения «климатической нейтральности», особенно на фоне амбициозных целей нового Закона об энергоэффективности Германии. В Equinix сообщили, что обсуждают с немецкими политиками способы достижения ещё большей энергоэффективности и устойчивости для того, чтобы новые нормы не помешали цифровизации страны.

Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Немецкому Бундестагу пришлось отложить принятие поправок к Закону об энергоэффективности (Energy Efficiency Act) на время традиционных правительственных каникул — как сообщает издание DataCenter Dynamics, на голосование просто не явилось достаточное для формирования кворума количество депутатов. Никаких поправок внесено уже, вероятно, не будет, но голосование перенесено на сентябрь.

Новый закон устанавливает допустимые уровни PUE для дата-центров, а также регламентирует обязательную утилизацию «мусорного» тепла ЦОД. При этом имеются важные исключения из законопроекта от ноября 2022 года, иронично названного в Германской ассоциации дата-центров (GDA) «законом по предотвращению ЦОД». В GDA подчёркивают, что предпочитают стимулирующие меры строгим требованиям.

Закон об энергоэффективности предусматривает снижение Германией энергопотребления на 26,5 % к 2030 году, до показателей 15-летней давности. Евросоюз же на фоне энергетического кризиса призывает снизить общее энергопотребление к 2030 году на треть. Хотя требования к ЦОД в новой версии не такие жёсткие, по-прежнему предусмотрено обязательное использование тепла ЦОД. Это может ограничить реализацию новых проектов, а требования к уровню PUE и использованию возобновляемой энергии могут оказаться не по плечу провайдерам колекейшн-сервисов.

Источник изображения: Sigmund/unsplash.com

В первой версии законопроекта от 2022 года ЦОД должны были передавать не менее 30 % избыточного тепла другим организациям уже со следующего года, а с 2027 года — от 40 %. В некоторых случаях эти требования просто невозможно выполнить по экономическим причинам или из-за отсутствия необходимой инфраструктуры. В мае 2023 года требования скорректировали. Теперь речь идёт об отдаче только 10 % тепла с 2026 года и от 20 % — с 2028-го.

Источник: Uptime Institute

Германские операторы посчитали, что и такие требования чрезмерны, поскольку спрос не всегда будет соответствовать предложению, а в некоторых местностях системы центрального отопления для передачи им «мусорного» тепла просто отсутствуют. После переговоров с представителями бизнеса добавились исключения, позволяющие обойти требования.

Предполагается, что в окончательном варианте закона будет отменено требование размещать ЦОД не дальше 5 км от системы центрального отопления. Вместо этого все новые ЦОД должны будут иметь специальные станции передачи тепла на своей территории, а операторов систем отопления обяжут отвечать на предложение избыточного тепла в шестимесячный срок. Коммунальные службы считают такие проекты сложными и дорогими.

С 2026 года уровень PUE не должен превышать 1.2, хотя GDA отмечает, что некоторые уже одобренные проекты ЦОД не соответствуют этому требованию. Кроме того, колокейшн-провайдеры не смогу полноценно контролировать уровень PUE, поскольку их клиенты будут действовать на своё усмотрение. Наконец, закон всё ещё требует использовать 50 % возобновляемой энергии к 2024 году, и 100 % — к 2027. Исключение делается в случае получения «зелёных» сертификатов у северных соседей Германии вместо использования местной экобезопасной энергии.

В Министерстве энергетики США объявили о выделении $40 млн 15 вендорам и университетским лабораториям на создание технологий охлаждения, которые позволят расходовать на отвод тепла лишь 5 % от общего потребления энергии дата-центром. Как сообщает Network World, подведомственное министерству агентство Advanced Research Projects Agency–Energy (ARPA-E) инициировало программу COOLERCHIPS, в рамках которой и распределяются средства.

В агентстве считают, что в современных системах эффективность использования энергии (PUE) не должна превышать коэффициент 1,05 — из всей выделяемой ЦОД энергии не более 5 % должно тратиться на охлаждение. Хотя некоторые передовые дата-центры, использующие жидкостное или иммерсионное охлаждение, уже сегодня демонстрируют PUE соответствующего уровня, в большинстве случаев для ЦОД этот показатель, по данным Uptime Institute, в среднем составляет 1,55.

Фото: LiquidStack

В Министерстве подчёркивают, что основной целью программы является минимизация воздействие ЦОД на окружающую среду, чему и будут способствовать инвестиции. Суммы грантов для 15 получателей составляют от $1,2 млн для мелких компаний до $5 млн для бизнесов вроде NVIDIA. Деньги выделяются на разнообразные технологии охлаждения, преимущественно жидкостные, но в некоторых случаях речь идёт, например, и о новых конструктивных решениях самих ЦОД.

Например, компании Flexnode выделили $3,5 млн на разработку быстровозводимых дата-центров модульной конструкции для периферийных вычислений, которые можно будет собирать, как конструктор LEGO. Калифорнийскому университету в Дэвисе тоже выделят $3,5 млн — но уже на разработку «Комплексных модульных энергоэффективных решений для направленного охлаждения (HoMEDiCS) для периферийных вычислений». Конструкция HoMEDiCS обеспечивает теплоотвод от CPU и ускорителей с помощью контура жидкостного охлаждения и применения высокоэффективных, но недорогих теплообменников.

Наконец, NVIDIA получит $5 млн на комбинированную систему Green Refrigerant, для ультраэффективного экологичного охлаждения HPC-решений. В данном случае будет сочетаться прямое охлаждение чипов, а также одно- или двухфазное охлаждение со встроенными насосами и парожидкостным сепаратором.

Хотя сумма в $40 млн невелика в сравнении с десятками миллиардов долларов, выделенных в рамках т.н. « Закона о чипах», относительно недавно принятого в США для развития полупроводниковой отрасли, компании с удовлетворением принимают и такие средства. Кроме того, по мнению американских экспертов, США должны иметь конкурентоспособное решение для всех звеньев производственной цепочки, а полученные результаты в числе прочего могут пригодиться в государственном секторе и военной сфере.

Помимо принимаемых в всём мире мер по снижению PUE, ищутся и другие способы сохранения окружающей среды. Например, в апреле поступили данные о том, что Евросоюз поставит на учёт крупные ЦОД и в рамках Директивы по энергетической эффективности (EED) не только обяжет операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду, но и заставит некоторые ЦОД отдавать избыточное тепло со своих площадок на нужды общества.