Компания Gigabyte анонсировала две иммерсионные (погружные) системы жидкостного охлаждения (СЖО) — однофазные решения 25U EIA Tank и 18OU OCP Tank. Новинки предназначены для крупных центров обработки данных, HPC-платформ и облачных площадок.

Модель 25U EIA Tank рассчитана на одну стойку формата 21U и четыре блока 1U (EIA). Версия 18OU OCP Tank, в свою очередь, поддерживает одну стойку 18OU (OCP), 2OU-блок для подсистемы питания и два блока 1U (EIA). СЖО подходят в том числе для таких серверов Gigabyte, как G292-Z45, G292-Z43, G292-280, H262-Z6B и S251-3O0.

Источник изображений: Gigabyte

Прочие характеристики новинок идентичны. Конструкция включает блок распределения теплоносителя (CDU) с габаритами 0,90 × 0,55 × 1,62 м и весом 300 кг. Предусмотрен резервный модуль CDU, который сможет поддерживать работу системы в случае отказа основного. Энергопотребление CDU составляет 0,75 кВт. Резервуар с размерами 0,91 × 1,28 × 1,49 м весит 450 кг (около 1100 кг с теплоносителем, объём которого может достигать 800 л).

Системы оснащены набором сенсоров для контроля температуры жидкости в различных зонах и поддержания значения не более 35 °C. Для питания используются коннекторы CE-типа (3P+N+E 63A IEC 60309; AC 380–400 В, 63 А, 50/60 Гц). Производительность составляет 240 л/мин. Система способна отводить до 80 кВт тепла, показатель PUE — 1,02. Глубина охлаждаемого сервера не должна превышать 900 мм.

Для размещения новых иммерсионных СЖО требуется площадь 2,0 × 0,9 м. Покупателям серверов для этих систем Gigabyte предоставит один год международного сервисного обслуживания и возможность увеличить гарантийный срок.

Организация Open Compute Project Foundation (OCP) объявила о создании группы Composable Memory Systems (CMS), участники которой займутся работой над архитектурами памяти для ЦОД следующего поколения. Отмечается, что исследования в рамках нового проекта формально начались ещё в феврале 2021 года, когда была запущена инициатива Future Technologies — Software Defined Memory (SDM).

ОСР отмечает, что по мере внедрения технологий ИИ и машинного обучения растёт востребованность систем с большим объёмом памяти, которая играет важную роль в энергопотреблении, производительности и общей стоимости владения ЦОД. Поэтому необходима разработка новых технологий интерконнекта вроде CXL (Compute Express Link). CXL позволяет избавиться от жёсткой привязки к CPU и вывести дезагрегацию ресурсов для повышения эффективности их использования на новый уровень.

Источник изображения: OCP

Проект CMS предусматривает использование стратегии совместной разработки аппаратных и программных решений с целью внедрения технологий многоуровневой и гибридной памяти. Инициатива призвана объединить сообщество операторов ЦОД, разработчиков приложений, производителей оборудования и полупроводниковых изделий для создания архитектуры и номенклатуры, которые будут опубликованы группой в качестве части спецификации компонуемой памяти. Кроме того, будут предложены эталонные тесты. К проекту уже присоединились многие члены ОСР, включая Meta✴, Microsoft, Intel, Micron, Samsung, AMD, VMware, Uber, ARM, SMART Modular, Cisco и MemVerge.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) рассказала о планах по внедрению жидкостного охлаждения в своих ЦОД. Речь идёт об использовании гибридной системы AALC (Air-Assisted Liquid Cooling), предусматривающей совмещение компонентов воздушного охлаждения и жидкостного контура.

Отмечается, что по мере развития машинного обучения и метавселенных всё острее встаёт проблема эффективного отвода тепла от оборудования. Дело в том, что внедряемые алгоритмы требуют больших вычислительных мощностей, что приводит к увеличению энергозатрат. Система AALC предназначена для охлаждения серверов в ЦОД, которые изначально могли быть и не спроектированы под использование СЖО. Отметим, что QCT уже представила аналогичное, полностью интегрированное решение.

Источник изображений: Meta✴

AALC совместима со стойкой Open Rack v3 (ORV3), которая, впрочем, может интегрироваться и с другими вариантами СЖО. Система AALC в исполнении Meta✴ использует водоблоки для самых горячих компонентов, которые подключаются к отдельной стойке с помпами и прочим оборудованием. На задней панели иле двери стойки располагается теплообменник, позволяющий охлаждать жидкость за счёт воздуха, циркулирующего в ЦОД. Прототипы решения справляются с охлаждением оборудования мощностью до 40 кВт на стойку.

ORV3 также предлагает общую архитектуру стойки и подсистемы питания для устранения разрыва между нынешними и будущими ЦОД. Обеспечивается широкий спектр вариантов использования, включая поддержку Grand Teton. Модуль питания для общей на всю стойку шины 48 В DC не имеет жёстко определённого расположения и может устанавливается в любом месте стойки, что обеспечивает гибкость конфигурации. При этом он может быть не один, так что пиковая мощность может достигать 30 кВт на стойку.

Усовершенствованный ИБП обеспечивает работу в течение 4 мин. при мощности 15 кВт (против 1,5 мин. у решения предыдущего поколения). Этот блок также может монтироваться в любом месте стойки, а дополнительно возможно применение второго резервного блока. Всё это позволит Meta✴ уже сейчас развёртывать в ЦОД высокоплотную инфраструктуру для ИИ и иных требовательных к питанию и охлаждению решений.

IBM в ходе саммита OCP (Open Compute Project) анонсировала ленточную библиотеку Diamondback для архивирования больших объёмов информации. Новинка ориентирована на сверхкрупных заказчиков, облачных провайдеров и гиперскейлеров.

Отмечается, что решение обеспечивает очень высокую плотность хранения данных — до 27 Пбайт в расчёте на одну OCP-стойку. При этом устройство занимает сравнительно небольшую площадь, что позволяет оптимизировать архитектуру центров обработки данных (ЦОД).

Источник изображений: IBM

Говорится о поддержке протокола LDAP, аналитических инструментов, средств самообслуживания и гибкого обновления. На развёртывание системы и её подготовку к эксплуатации требуется менее 30 минут. В верхней части Diamondback предусмотрена 5U-секция.

По заявлениям IBM, решение обеспечивает сокращение углеродного следа на 97 % по сравнению с традиционными жёсткими дисками. Общая стоимость эксплуатации составляет только 25 % от расходов на архивные сервисы в публичном облаке или на платформы на базе HDD.

Говорится о высоком уровне безопасности благодаря возможности использования «воздушного зазора» (air gap) и шифрования. Новинка совместима с IBM Spectrum Archive. Новинка совместима как с LTO-картриджами (суммарная ёмкость указана именно для них), так и с проприетарными накопителями IBM. Кроме того, допускается применение WORM-носителей.

В 2021 году поставки ленточных накопителей достигли рекордного уровня в ёмкостном выражении — 148 Эбайт (с учётом компрессии). Это примерно на 40 % больше результата за предыдущий год. Ленточные накопители в сравнении с SSD и HDD обладают более высокой энергоэффективностью, проще в обслуживании и лучше защищены от кибератак.

Компания Meta✴ в ходе саммита OCP (Open Compute Project) анонсировала систему Grand Teton — аппаратную ИИ-платформу второго поколения, оптимизированную для интенсивной работы с памятью и вычислений. В основу решения положены ускорители NVIDIA H100, которые были представлены в марте 2022 года.

Система Grand Teton превосходит платформу Meta✴ предыдущего поколения (Zion EX) в плане объёма памяти, вычислительных ресурсов и ёмкости сети. Так, пропускная способность шины между CPU и ускорителями выросла вчетверо, а пропускная способность сети — вдвое. Кроме того, шасси теперь может обеспечить вдвое более мощные с точки зрения энергопотребления компоненты.

В то время как архитектура Zion EX предусматривает применения ряда связанных подсистем (узел CPU, модуль ускорителей и коммутаторная система), Grand Teton объединяет все компоненты на базе единого шасси в высокоинтегрированную систему. Такая конструкция позволяет улучшить производительность, повысить надёжность, ускорить развёртывание и упростить масштабирование.

Источник изображения: Meta✴

Отметим, что свою нынешнюю самую мощную ИИ-систему — суперкомпьютер RSC (Research SuperCluster), включающий порядка 16 тыс. ускорителей — Meta✴ не стала строить самостоятельно, как это было прежде, а заказала у NVIDIA узлы DGX A100, дополнив их многоуровневым All-Flash хранилищем от Pure Storage.

Компания QCT на саммите OCP (Open Compute Project) представила интегрированную стоечную систему жидкостного охлаждения серверов Liquid Cooled Rack. Говорится о совместимости с узлами EIA (19") и OCP (21"), а также о поддержке конфигураций 42/48/52U.

Источник изображений: QCT

Новинка позволяет комбинировать серверные модули с воздушным и жидкостным охлаждением, которое необходимо для будущих узлов с тепловыделением порядка 1,5–2 кВт. Конструкцией предусмотрено наличие блока распределения теплоносителя (CDU) высотой 4U, который содержит фильтр и две помпы с возможностью «горячей» замены. В тыльной части стойки располагается массив вентиляторов (16 шт.), которые также допускают «горячую» замену как индивидуально, так и блоком из 4 вентиляторов.

На самые горячие компоненты (пока речь только о CPU) устанавливаются водоблоки, подключённые к радиатором на двери стойки. При этом каждый узел несёт OpenBMC-контроллер, позволяющий централизованно (в том числе посредством DC-SCM) для всех узлов осуществлять мониторинг системы, контролировать температуру, давление, утечки охлаждающей жидкости, скорость вращения вентиляторов и другие параметры.

При этом регулировка производительности системы охлаждения в зависимости от текущий нагрузки каждого узла производится динамически. Отмечается, что в случае серверных модулей на процессорах Intel Xeon Sapphire Rapids система воздушного охлаждения обеспечивает температуру на уровне 61–63 °C. Жидкостный контур позволяет снизить данное значение до 33–37 °C. То есть, максимальная разница может достигать 30 °C. А это позволяет чипам более продолжительное время функционировать в турбо-режиме.

QCT отмечает, что благодаря использованию жидкостного контура и вентиляторов в тыльной части температура CPU в стоечных серверах сокращается на 11,8 °C. При этом общее энергопотребление стойки снижается на 66,8 %. Значение PUE заявлено на уровне 1,07. В целом, применение решения позволяет оптимизировать производительность, улучшить эффективность и снизить финансовые затраты.

В ходе саммита 2022 OCP Global Summit вице-президент OCP по исследованиям рынка и инновациям Клифф Гросснер (Cliff Grossner) сделал ряд анонсов, касающихся расширения альянса, новой программы для развивающихся рынков и усиления работ в области устойчивого развития.

В частности, Гросснер сообщил о расширении сотрудничества с фондом Linux Foundation (LF) и необходимости ускорения освоения открытых инноваций рынком. Сотрудничество позволит сторонам делиться достижениями и использовать сильные стороны каждого партнёров. В частности, решения фонда Linux Foundation будут использоваться для совместной разработки программного обеспечения с открытым исходным кодом, а OCP займётся разработкой спецификаций оборудования и расширением цепочек поставок для развивающихся рынков.

Изображения: OCP Foundation

Гросснер отметил, что к объявленному в апреле 2022 года партнёрству присоединились SAI и SONiC, а OCP и LF предприняли новые усилия, чтобы гарантировать безопасность решений. По его словам, расширение стратегии совместного проектирования аппаратного и программного обеспечения OCP будет производиться с учётом того, что промышленность нуждается в готовых к развёртыванию предварительно интегрированных программно-аппаратных комплексах.

В числе будущих направлений совместных проектов он назвал:

• Интегрированные решения с использованием серверов Open Edge, признанных OCP и LF Edge.
• Стандартизированные API для динамического обмена информацией о ЦОД и его экологическом воздействии на окружающую среду, что позволяет использовать более экологически дружественное программное обеспечение
• Поддержку стандартизированных модулей OCP, включая модуль OAM (OCP accelerator module) и модуль SCM (secure control module), в программном обеспечении LF.

Обновлённая программа OCP Experience Center включает ускорение открытых инноваций и внедрение оборудования, признанного OCP. Согласно программе, центральное место в стратегии OCP отводится расширению присутствия на развивающихся рынках. Данная программа дополняет программы Data Center Ready и Product Recognition, а также является катализатором для гиперскейлеров для внедрения инноваций на большем числе рынков.

Ускорение внедрения открытых инноваций предполагает разработку концепций, повышение уровня информированности и снижение рисков. Для этого специалисты занимаются созданием новых концептов, их тестированием и валидацией, разработкой и тестированием ПО, а также проблемами их совместимости.

Также уделяется внимание адаптации продуктов OCP. Занимающиеся этим компании и специалисты определяют возможности их использования, положительные стороны, а также коммерческий потенциал. В свою очередь, торговые партнёры определяют рынки реализации и налаживают на них связи с клиентами.

Что касается вопросов охраны окружающей среды, то OCP планирует уменьшить воздействие роста отрасли на окружающую среду, добиться эффективного контроля цепочки поставок с помощью стандартизированных показателей, а также повышения прозрачности данных по всей цепочке создания стоимости. Также будет уделяться внимание вопросам построения замкнутого цикла производства, повышению информированности и уровня образованности специалистов.

В ходе саммита OCP (Open Compute Project) анонсирована открытая спецификация Caliptra 0.5, призванная повысить безопасность процессоров, ускорителей, накопителей и практически любых систем-на-чипе (SoC). Речь идёт об аппаратной реализации технологии Root of Trust (RoT). Она предназначена для проверки целостности и подлинности прошивок и другого встроенного, а также системного программного обеспечения.

RoT гарантирует, что только доверенное ПО может исполняться на чипе. Отмечается, что традиционно средства RoT отделены от SoC и обычно обеспечиваются материнской платой. Однако новые бизнес-модели, предполагающие периферийные и облачные вычисления, предъявляют повышенные требования к обеспечению безопасности. Спецификация Caliptra 0.5 как раз и решает данную проблему.

Источник изображений: Caliptra

В разработке решения приняли участие AMD, Google, Microsoft и NVIDIA. Спецификация будет поддерживаться различными аппаратными изделиями следующего поколения — CPU, GPU, SSD, NIC и иные ASIC. Отмечается, что Caliptra 0.5 RTL (IP-блоки на базе RISC-V с необходимой обвязкой) распространяется через CHIPS Alliance (Common Hardware for Interfaces, Processors and Systems) — консорциум, который работает над созданием целого спектра открытых решений для SoC и высокоплотных упаковок чипов.

«Существует потребность в улучшенной прозрачности и согласованности низкоуровневой аппаратной безопасности. Мы открываем исходный код Caliptra вместе с нашими партнёрами для удовлетворения этих потребностей», — отмечает Microsoft. Также компания совместно с Google, Infineon и Intel представила Project Kirkland, направленный на создание защищённого канала связи между CPU и TPM с использованием программных средств.

Источник: Microsoft

Спецификация Caliptra 0.5 доступна здесь для оценки. На основе отзывов будет выработан окончательный стандарт, отвечающий различным потребностям в зависимости от варианта использования. Кроме того, доступен исходный код, что поможет членам сообщества интегрировать решение в свои микросхемы. Говорится также, что выход спецификации знаменует собой важный шаг вперёд в сторону общеотраслевого сотрудничества в области информационной безопасности.

На саммите OCP компания Kioxia анонсировала твердотельные накопители семейства XD7P для центров обработки данных (ЦОД). Новинки оптимизированы для применения гиперскейлерами и облачными провайдерами: они обеспечивают устойчивую производительность, стабильный уровень задержки и высокую надёжность при эксплуатации в круглосуточном режиме.

Устройства выполнены в форм-факторе EDSFF E1.S. Будут доступны три варианта: базовая версия толщиной 9,5 мм, а также модификации толщиной 15 и 25 мм с радиаторами охлаждения разной высоты. Накопители соответствуют спецификации OCP Data Center NVMe SSD v2.0. Применены чипы флеш-памяти BiCS Flash 3D TLC. Для обмена данными служит интерфейс PCIe 4.0 (NVMe 2.0), но в следующем году Kioxia обещает выпустить версию с PCIe 5.0.

Источник изображений: Kioxia

В серию XD7P вошли устройства вместимостью 1,92, 3,84 и 7,68 Тбайт. Задействованы проприетарные решения Kioxia — архитектура, контроллер и прошивка. Показатели быстродействия и значение IOPS пока не раскрываются. Но сообщается, что устройства могут выдерживать одну полную перезапись в сутки (величина DWPD) на протяжении пяти лет. MTTF (средняя наработка на отказ) — 2,0 млн часов. Диапазон рабочих температур простирается от 0 до +70 °C.

Говорится о поддержке TCG OPAL 2.0 и механизмов приоритизации QoS. Накопители подходят для приложений с интенсивным чтением данных в публичном или частном облаке, а также для смешанных нагрузок.

Компания Molex анонсировала кабельную систему NearStack PCIe, которая будет применяться в серверном оборудовании нового поколения. В разработке приняли участие члены Open Compute Project (OCP). NearStack PCIe использует архитектуру Direct-To-Contact и предусматривает полностью автоматизированный процесс изготовления кабелей.

По словам Molex, данная технология повышает эффективность производства, способствует улучшению точности передачи сигналов, сокращению потерь и уменьшению задержек. В то же время механический дизайн NearStack PCIe помогает оптимально использовать имеющееся пространство, упростить интеграцию, повысить надёжность подключения и минимизировать физические конфликты с соседними компонентами.

Источник изображений: Molex

Для коннекторов NearStack PCIe (27,2 × от 11,2 × от 9,55 мм) предусмотрено несколько вариантов исполнения, в частности, с «язычком» для быстрого отсоединения или с защёлкой, а также с шлейфом, расположенным под углом 0°, 60° или 90°. Также возможно применение гибридных кабелей с разъёмом NearStack PCIe только на одном конце, что позволяет воспользоваться технологией без перепроектирования или замены имеющегося оборудования.

NearStack PCIe утверждён комитетом Small Form Factor (SFF) в качестве стандарта SFF-TA-1026, а OCP рекомендует её для серверов эталонного дизайна. Кроме того, решение NearStack PCIe включено в спецификации OCP Modular Extensible I/O (M-XIO) и Full Width HPM Form Factor (M-FLW) в качестве составляющей нового семейства платформ OCP Data Center Modular Hardware Systems (DC-MHS). Технология доступна для лицензирования поставщикам оборудования, среди которых уже есть как минимум ещё один изготовитель NearStack PCIe помимо самой Molex.