Операторам дата-центров и суперкомпьютеров не хватает инструментов для корректного измерения энергоэффективности их оборудования и оценки прогресса на пути к экоустойчивым вычислениям. Как утверждает NVIDIA, нужна нова система оценки показателей при использовании оборудования в реальных задачах.

Для оценки эффективности ЦОД существует как минимум около трёх десятков стандартов, некоторые уделяют внимание весьма специфическим критериям вроде расхода воды или уровню безопасности. Сегодня чаще всего используется показатель PUE (power usage effectiveness), т.е. отношение энергопотребления всего объекта к потреблению собственно IT-инфраструктуры. В последние годы многие операторы достигли практически идеальных значений PUE, поскольку, например, на преобразование энергии и охлаждение нужно совсем мало энергии.

В эпоху роста облачных сервисов оценка PUE показала довольно высокую эффективность, но в эру ИИ-вычислений этот индекс уже не вполне соответствует запросам отрасли ЦОД — оборудование заметно изменилось. NVIDIA справедливо отмечает, что PUE не учитывает эффективность инфраструктуры в реальных нагрузках. С таким же успехом можно измерять расход автомобилем бензина без учёта того, как далеко он может проехать без дозаправки. При этом среднемировой показатель PUE дата-центров остаётся неизменным уже несколько лет, а улучшать его всё дороже.

Источник изображений: NVIDIA

Что касается энергопотребления, разное оборудование при одинаковых затратах может давать самые разные результаты. Другими словами, если современные ускорители потребляют больше энергии, это не значит, что они менее эффективны, поскольку они дают несопоставимо лучший результат в сравнении со старыми решениями. NVIDIA неоднократно приводила подобные сравнения и между своими GPU с обычными CPU, а теперь предлагает распространить этот подход на ЦОД целиком, что справедливо, учитывая стремление NVIDIA сделать минимальной единицей развёртывания целую стойку.

Как считают в NVIDIA, оценивать качество ЦОД можно только с учётом того, сколько энергии тратится для получения результата. Так, ЦОД для ИИ могут полагаться на MLPerf-бенчмарки, суперкомпьютеры для научных исследований могут требовать измерения других показателей, а коммерческие дата-центры для стриминговых сервисов — третьих. В идеале бенчмарки должны измерять прогресс в ускоренных вычислениях с использованием специализированных сопроцессоров, ПО и методик. Например, в параллельных вычислениях GPU намного энергоэффективнее обычных процессоров

Не так давно эксперты Стэнфордского университета отметии, что с 2003 года производительность ускорителей выросла приблизительно в 7 тыс. раз, а соотношение цены и производительности стало в 5,6 тыс. раз лучше. А с учётом того, что современные ЦОД достигли PUE на уровне приблизительно 1,2, подобная метрика практически исчерпала себя, теперь стоит ориентироваться на другие показатели, релевантные актуальным проблемам.

Хотя напрямую сравнить некоторые аспекты невозможно, сегментировав деятельность ЦОД на типы рабочих нагрузок, возможно, удалось бы получить некоторые результаты. В частности, операторам ЦОД нужен пакет бенчмарков, измеряющих показатели при самых распространённых рабочих ИИ-нагрузках. Например, неплохой метрикой может стать Дж/токен. Впрочем, NVIDIA грех жаловаться на недостойные оценки — в последнем рейтинге Green500 именно её системы заняли лидерские позиции.

Еврокомиссией принята новая схема отчётности о выбросах дата-центров. Она поможет эффективнее отслеживать прогресс операторов в деле достижения эко- и энергоустойчивости, передаёт Datacenter Dynamics. схема Data centres in Europe является частью Европейской директивы по энергоэффективности (European Energy Efficiency Directive или EED), которая должна помочь до 2030 года снизить общее энергопотребление ЕС на 11,7 %, а углеродные — на 55 %.

Согласно новым правилам, предоставляемая операторами информация будет отправляться в центральную базу данных, где станет применяться для прозрачного и мотивированного планирования и принятия решений странами — участницами Евросоюза и Еврокомиссией, а также для оценки ключевых характеристик устойчивости ЦОД.

Правила распространяются на все дата-центры ёмкостью более 500 кВт. Операторы будут обязаны сообщать о площади ЦОД, установленной мощности, энергопотреблении, индексе PUE, температурных показателях и утилизации «мусорного» тепла, выделяемого в процессе работы ЦОД. Наконец, необходимо будет докладывать об использовании воды и возобновляемой энергии.

Источник изображения: Christian Lue/unsplash.com

Операторы будут обязаны предоставлять данные ежегодно. Первый «дедлайн» сначала назначили на 15 мая 2024 года, но позже перенесли на 15 сентября. Тем не менее, в дальнейшем отчёты за предыдущий год должны будут подаваться до 15 мая текущего. Вероятно, Еврокомиссия перенесла изначальную дату, прислушавшись к жалобам на то, что у операторов осталось слишком мало времени для сбора первичной отчётности.

Оператор ЦОД Equinix повысил энергоэффективность своего дата-центра FR6 во Франкфурте (Германия) на 9 %, оптимизировав распределение энергоресурсов при поддержке ИИ. Как сообщает Datacenter Dynamics, этот результат достигнут с помощью интеллектуальной системы управления охлаждения Etalytics.

ПО Etalytics позволило снизить индекс PUE почти до 1,2 и, как ожидается, даст возможность сократить энергопотребление на 900 МВт·ч ежегодно. В дальнейшем Equinix намерена внедрить аналогичные ИИ-решения почти во всех своих франкфутских ЦОД IBX, включая объекты FR4, FR6, FR8 и FR2.6.

Стартап Etalytics был сформирован в 2020 году одной из исследовательских групп Технического университета Дармштадта. Сотрудничество с Equinix началось тогда же. ИИ-платформа Etalyctics позволяет регулировать работу систем охлаждения, что ведёт к экономии электроэнергии. ПО собирает телеметрию с помощью IIoT-датчиков для формирования «цифрового двойника», который может использоваться для «динамических расчётов» оптимальной стратегии охлаждения в реальном времени. Учитывается температура, влажность и т.д.

Как сообщают в Equinix Germany, речь идёт о многообещающем примере позитивного эффекта цифровизации и влиянии ИИ на рост энергоэффективности. Это, в частности, позволило получить награду Energy Efficiency Award от Германского энергетического агентства (DENA). Впрочем, ПО Etalytics с не меньшим успехом может применяться в химической, фармацевтической и автомобильной промышленности.

Источник изображения: Equinix

Считается, что внедрение подобных технологий станет ещё одним ключевым фактором достижения «климатической нейтральности», особенно на фоне амбициозных целей нового Закона об энергоэффективности Германии. В Equinix сообщили, что обсуждают с немецкими политиками способы достижения ещё большей энергоэффективности и устойчивости для того, чтобы новые нормы не помешали цифровизации страны.

Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Немецкому Бундестагу пришлось отложить принятие поправок к Закону об энергоэффективности (Energy Efficiency Act) на время традиционных правительственных каникул — как сообщает издание DataCenter Dynamics, на голосование просто не явилось достаточное для формирования кворума количество депутатов. Никаких поправок внесено уже, вероятно, не будет, но голосование перенесено на сентябрь.

Новый закон устанавливает допустимые уровни PUE для дата-центров, а также регламентирует обязательную утилизацию «мусорного» тепла ЦОД. При этом имеются важные исключения из законопроекта от ноября 2022 года, иронично названного в Германской ассоциации дата-центров (GDA) «законом по предотвращению ЦОД». В GDA подчёркивают, что предпочитают стимулирующие меры строгим требованиям.

Закон об энергоэффективности предусматривает снижение Германией энергопотребления на 26,5 % к 2030 году, до показателей 15-летней давности. Евросоюз же на фоне энергетического кризиса призывает снизить общее энергопотребление к 2030 году на треть. Хотя требования к ЦОД в новой версии не такие жёсткие, по-прежнему предусмотрено обязательное использование тепла ЦОД. Это может ограничить реализацию новых проектов, а требования к уровню PUE и использованию возобновляемой энергии могут оказаться не по плечу провайдерам колекейшн-сервисов.

Источник изображения: Sigmund/unsplash.com

В первой версии законопроекта от 2022 года ЦОД должны были передавать не менее 30 % избыточного тепла другим организациям уже со следующего года, а с 2027 года — от 40 %. В некоторых случаях эти требования просто невозможно выполнить по экономическим причинам или из-за отсутствия необходимой инфраструктуры. В мае 2023 года требования скорректировали. Теперь речь идёт об отдаче только 10 % тепла с 2026 года и от 20 % — с 2028-го.

Источник: Uptime Institute

Германские операторы посчитали, что и такие требования чрезмерны, поскольку спрос не всегда будет соответствовать предложению, а в некоторых местностях системы центрального отопления для передачи им «мусорного» тепла просто отсутствуют. После переговоров с представителями бизнеса добавились исключения, позволяющие обойти требования.

Предполагается, что в окончательном варианте закона будет отменено требование размещать ЦОД не дальше 5 км от системы центрального отопления. Вместо этого все новые ЦОД должны будут иметь специальные станции передачи тепла на своей территории, а операторов систем отопления обяжут отвечать на предложение избыточного тепла в шестимесячный срок. Коммунальные службы считают такие проекты сложными и дорогими.

С 2026 года уровень PUE не должен превышать 1.2, хотя GDA отмечает, что некоторые уже одобренные проекты ЦОД не соответствуют этому требованию. Кроме того, колокейшн-провайдеры не смогу полноценно контролировать уровень PUE, поскольку их клиенты будут действовать на своё усмотрение. Наконец, закон всё ещё требует использовать 50 % возобновляемой энергии к 2024 году, и 100 % — к 2027. Исключение делается в случае получения «зелёных» сертификатов у северных соседей Германии вместо использования местной экобезопасной энергии.

В Министерстве энергетики США объявили о выделении $40 млн 15 вендорам и университетским лабораториям на создание технологий охлаждения, которые позволят расходовать на отвод тепла лишь 5 % от общего потребления энергии дата-центром. Как сообщает Network World, подведомственное министерству агентство Advanced Research Projects Agency–Energy (ARPA-E) инициировало программу COOLERCHIPS, в рамках которой и распределяются средства.

В агентстве считают, что в современных системах эффективность использования энергии (PUE) не должна превышать коэффициент 1,05 — из всей выделяемой ЦОД энергии не более 5 % должно тратиться на охлаждение. Хотя некоторые передовые дата-центры, использующие жидкостное или иммерсионное охлаждение, уже сегодня демонстрируют PUE соответствующего уровня, в большинстве случаев для ЦОД этот показатель, по данным Uptime Institute, в среднем составляет 1,55.

Фото: LiquidStack

В Министерстве подчёркивают, что основной целью программы является минимизация воздействие ЦОД на окружающую среду, чему и будут способствовать инвестиции. Суммы грантов для 15 получателей составляют от $1,2 млн для мелких компаний до $5 млн для бизнесов вроде NVIDIA. Деньги выделяются на разнообразные технологии охлаждения, преимущественно жидкостные, но в некоторых случаях речь идёт, например, и о новых конструктивных решениях самих ЦОД.

Например, компании Flexnode выделили $3,5 млн на разработку быстровозводимых дата-центров модульной конструкции для периферийных вычислений, которые можно будет собирать, как конструктор LEGO. Калифорнийскому университету в Дэвисе тоже выделят $3,5 млн — но уже на разработку «Комплексных модульных энергоэффективных решений для направленного охлаждения (HoMEDiCS) для периферийных вычислений». Конструкция HoMEDiCS обеспечивает теплоотвод от CPU и ускорителей с помощью контура жидкостного охлаждения и применения высокоэффективных, но недорогих теплообменников.

Наконец, NVIDIA получит $5 млн на комбинированную систему Green Refrigerant, для ультраэффективного экологичного охлаждения HPC-решений. В данном случае будет сочетаться прямое охлаждение чипов, а также одно- или двухфазное охлаждение со встроенными насосами и парожидкостным сепаратором.

Хотя сумма в $40 млн невелика в сравнении с десятками миллиардов долларов, выделенных в рамках т.н. « Закона о чипах», относительно недавно принятого в США для развития полупроводниковой отрасли, компании с удовлетворением принимают и такие средства. Кроме того, по мнению американских экспертов, США должны иметь конкурентоспособное решение для всех звеньев производственной цепочки, а полученные результаты в числе прочего могут пригодиться в государственном секторе и военной сфере.

Помимо принимаемых в всём мире мер по снижению PUE, ищутся и другие способы сохранения окружающей среды. Например, в апреле поступили данные о том, что Евросоюз поставит на учёт крупные ЦОД и в рамках Директивы по энергетической эффективности (EED) не только обяжет операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду, но и заставит некоторые ЦОД отдавать избыточное тепло со своих площадок на нужды общества.

Uptime Institute объявил о выходе Annual Global Data Center Survey — своего 12-го ежегодного исследования рынка ЦОД. Его результаты говорят о динамичном росте и повышении устойчивости отрасли, несмотря на влияние продолжающегося дефицита квалифицированных кадров, проблем в цепочке поставок, дорогостоящих сбоев и других сложностей.

Ежегодное глобальное исследование Annual Global Data Center Survey является крупнейшим и наиболее полным в отрасли цифровой инфраструктуры. Оно предоставляет подробное представление о ландшафте цифровой критической инфраструктуры и направлении её развития.

В рамках исследования представлены следующие ключевые выводы:

• Многие операторы ЦОД не готовы к ужесточению требований и правил устойчивого развития. Большинство респондентов отчитываются об общем энергопотреблении ЦОД и PUE, но многие до сих пор не отслеживают критически важные экологические показатели. Хотя 63 % операторов считают, что власти в их регионе потребуют от них публичного представления данных о влиянии их деятельности на окружающую среду в ближайшие пять лет, лишь 37 % собирают и сообщают данные о выбросах углерода (33 % в 2021 г.) и только 39 % предоставляют отчёты об использование воды, что на 12 % меньше по сравнению с 2021 годом. Ожидается, что новые законы, стандарты и требования заставят операторов внедрять в ближайшие годы более строгие методы отслеживания и отчётности в области устойчивого развития.
• Годовой показатель оценки энергоэффективности (PUE) составил в 2022 году 1,55. Это несколько лучше показателя 2021 года, равного 1,57, что соответствует тенденции незначительного снижения PUE, наблюдаемой с 2014 года.

• Все больше операторов ЦОД вкладывают средства в повышение отказоустойчивости объектов. При этом около 40 % респондентов сообщают о повышении уровня резервирования в своих основных ЦОД за последние три-пять лет. Аналогичное внимание уделяется системам питания и охлаждения: треть операторов модернизируют одну из них или обе.
• Отключения становятся все более дорогостоящими и по-прежнему происходят слишком часто. Доля всех отключений, которые обходятся операторам в более $1 млн, достигла 25 % по сравнению с 15 % в 2021 году. 60 % операторов сообщили об случае отключения (независимо от серьёзности) за последние три года — по сравнению с 69 % в 2021 г. и 78 % в 2020 г. Хотя данные указывают на тенденцию к снижению показателей отключений, частота отключений по-прежнему слишком высока, и в настоящее время более двух третей обходятся операторам свыше $100 тыс., а последствия становятся всё хуже.

• Растёт доверие операторов к публичному облаку. В 2022 г. около 63 % операторов не размещали критически важные рабочие нагрузки в публичном облаке, тогда как в 2019 г. этот показатель равнялся 75 %.
• Поставщики оборудования для ЦОД настроены оптимистично, несмотря на давление со стороны спроса и сохраняющиеся проблемы с цепочками поставок. Три четверти поставщиков прогнозируют годовой рост доходов в 2022 году, несмотря на сообщения о сокращении доходов из-за постоянных проблем с цепочками поставок, вызванных COVID-19. Почти половина респондентов, занимающихся строительством ЦОД, сталкивалась со значительными задержками (или другими серьёзными событиями) в своих цепочках поставок, а у одной трети были умеренные проблемы.
• Усугубляются проблемы с привлечением и удержанием квалифицированного персонала: более половины (53 %) операторов ЦОД сообщают о трудностях с поиском квалифицированных сотрудников в 2022 году — по сравнению с 47 % в 2021 году и 38 % в 2018 году. И 42 % респондентов сообщают о проблемах с переманиваем персонала (в большинстве случаев к конкурентам) — значительный рост, превышающий всего 17 % в 2018 году. Это свидетельствует о растущей проблеме удержания сотрудников во всей отрасли.