Материалы по тегу: ocp

29.04.2022 [22:04], Алексей Степин

Meta* синхронизирует время в своих дата-центрах с помощью модулей Orolia Spectratime на базе рубидиевых атомных часов

Такой масштабный проект, как метавселенная, создаваемая ныне Meta*, будет включать в себя огромное количество серверов в дата-центрах по всей планете, которые будут обслуживать единое виртуальное пространство. Функционирование столь сложного проекта, естественно, не может не зависеть от точной синхронизации часов, и чем точнее этот процесс, тем лучше.

С целью обеспечения идеальной точности синхронизации Meta* будет использовать в своих серверах «карты времени» Orolia. Они используют открытый протокол и разработаны в сотрудничестве с самой Meta*. Модули Orolia Spectratime mRO-50 пользуются компактными рубидиевыми атомными часами, чья точность уступает лишь гораздо более дорогим цезиевым собратьям, используемым в качестве первичного стандарта частоты.

 Плата Orolia/*** имеет форм-фактор FHHL и интерфейс PCI Express x4

Плата Orolia/Meta имеет форм-фактор FHHL и интерфейс PCI Express x4

Благодаря использованию новых плат синхронизации Meta* надеется добиться снизить максимальное расхождение часов в разных ЦОД до уровня менее 100 мкс. Ранее Meta* удалось снизить этот параметр с 10 мс до 100 мкс благодаря использованию сигналов GNSS. В 2021 году был показан прототип PCIe-адаптера, которым компания поделилась с инициативой Time Appliance Project (TAP), действующей в рамках Open Compute Project (OCP).

 Модуль рубидиевых атомных часов Orolia mRO-50

Модуль рубидиевых атомных часов Orolia mRO-50

На основе разработок Meta* Time Card в итоге и был создан адаптер точного времени Orolia ART Card. Сейчас пришло время для второго поколения, которое получило название ART2. Сам модуль Orolia Spectratime mRO-50 генерирует стабильный сигнал частотой 10 МГц, отклонения которой не превышают 4×10-10 при изменении температуры и 1×10-11 в день в процессе трёхмесячной эксплуатации.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1065005
14.04.2022 [15:29], Сергей Карасёв

Softline и GAGAR>N заключили соглашение о сотрудничестве

Поставщик ИТ-решений и услуг Softline стал авторизованным партнёром российского производителя серверного оборудования GAGAR>N. Ожидается, что данное партнёрство поможет российским компаниям и госорганам в осуществлении цифровой трансформации. Для стандартных решений срок поставки оборудования составит 4–5 недель, что в 2–4 раза быстрее, чем в среднем по рынку.

GAGAR>N разрабатывает свои решения России, в частности, механику, схемотехнику и серверное ПО. Компания создаёт OCP-совместимые решения. Особенностью такого подхода является полная архитектурная открытость, снижение стоимости владения вычислительной инфраструктурой и широкий спектр применения. GAGAR>N является членом АРПЭ и партнёром АНО ВТ, а решения компании включены в реестр радиоэлектронной и промышленной продукции Минпромторга.

 Источник изображения: GAGAR>N

Источник изображения: GAGAR>N

«В Softline также появились специальные консультационные услуги, и сотрудники компании готовы оперативно разработать рекомендации по составлению индивидуального плана внедрения ИТ-решений, помочь с выбором российского оборудования и других решений для российских организаций», — отмечает компания.

Постоянный URL: http://servernews.ru/1063990
26.03.2022 [00:48], Владимир Агапов

Микро-ЦОД вместо котельной — Qarnot предложила отапливать дома б/у серверами

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

 Изображение: Qarnot (via DataCenterDynamics)

Изображение: Qarnot (via DataCenterDynamics)

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

Постоянный URL: http://servernews.ru/1062792
27.11.2021 [20:02], Игорь Осколков

РЖД внедряет российское OCP-оборудование

В рамках Intel Experience Day 2021 компании-партнёры Intel рассказали о своей работе в России, в том числе о проектах в области импортозамещения. Так, российский разработчик OCP-оборудования Delta Computers (входит в ГК Delta Solutions) поделился некоторыми деталями о текущем проекте для холдинга «Российские железные дороги» (РЖД).

У РЖД есть свои особенности. Это, в первую очередь, широчайшая географическая распределённость систем, что привело к специфике развёртываемых компанией дата-центров и требованиям к размещаемому в нём оборудованию. Delta Solutions смогла создать ряд типовых конфигураций, что позволило установить практически идентичные IT-комплексы на 16 железных дорогах, находящихся в ведении РЖД.

 Изображение: Delta Computers

Изображение: Delta Computers

Проект направлен на построение защищённой инфраструктуры VDI для 15 тыс. пользователей. Он будет окончательно завершён и оценён в следующем году. По словам Delta Solutions, это пилотный проект для всех госкорпораций России в области импортозамещения, который включает не только отечественное «железо» (оборудование компании находится в реестре Минпромторга), но и полностью отечественно ПО (впрочем, сертификации есть и для зарубежных решений).

Это один из заметных в России проектов по внедрению OCP-оборудования, если не считать рынок гиперскейлеров, для (и из-за) которых 10 лет назад и появилась сама инициатива OCP. Сейчас компания поставляет в первую очередь решения Tioga Pass на базе процессоров Intel Xeon Scalable первого и второго поколений, а к концу года она намерена представить системы Butterfly на базе третьего поколения (Ice Lake-SP).

Delta Solutions надеется, что успешное завершение проекта с РЖД покажет другим российским заказчикам, что импортозамещение не означает потерь в качестве, в функциональности и в возможностях использовать современные решения. Отметим, что созданием отечественного OCP-оборудования также занимается компания GAGAR>IN («Гагар.ИН»), да и новому СП «Яндекса», «ЛАНИТ», Gigabyte и ВТБ это по силам.

Постоянный URL: http://servernews.ru/1054656
21.11.2021 [01:54], Игорь Осколков

Meta* (Facebook*) и Intel показали прототип сервера с CXL-памятью: DDR4 поверх PCIe 5.0

На SC21 консорциум CXL не только объявил о поглощении всех наработок Gen-Z, но и представил несколько демо от разных участников консорциума. Одним из самых интересных стал показ прототипа сервера с CXL-памятью от Meta* (бывшая Facebook*). Доклад о нём был сделан ещё на OCP Global Summit, но вот видеодемонстрация стала публичной только на этой неделе.

 FPGA-протототип CXL-модуля с DDR4 (Фото: Intel)

FPGA-протототип CXL-модуля с DDR4 (Фото: Intel)

Перед Meta* давно встала проблема увеличения ёмкости и плотности размещения DRAM. Причём у компании, как и других гиперскейлеров, очень жёсткие ограничения на физические размеры, энергопотребление и стоимость систем — создание и содержание парка в миллионы серверов выливается в круглые суммы. Представитель Meta* в ходе доклада отметил несколько важных факторов, учитываемых при создании новых платформ.

 Здесь и ниже изображения ***

Здесь и ниже изображения Meta*

Так, в последние годы цена за 1 Гбит DRAM перестала существенно падать, поэтому память становится всё более дорогим компонентом в составе сервера. И не только с точки зрения финансов, но и по энергопотреблению, что отрицательно влияет на совокупную стоимость владения (TCO). Кроме того, производительность процессоров заметно выросла, в основном благодаря увеличению числа ядер (в три с лишним раза). Однако пропускная способность памяти в пересчёте на канал в среднем лишь удвоилась, а в пересчёте на ядро — и вовсе упала почти вдвое.

Тем не менее, ядра CPU всё равно надо как-то «прокормить», поэтому приходится искать новые пути масштабирования пула DRAM. Простым увеличением числа DIMM-слотов не обойтись — каждый «лишний» канал памяти обходится в дополнительные пару сотен дорожек в разводке платы, что при росте числа каналов приводит к увеличению числа слоёв материнской платы (и буквально её толщины). А попутное увеличение скорости памяти ведёт к необходимости использования более дорогих материалов и всё тем же проблемам.

Как отмечают некоторые аналитики, платформы следующего поколения с поддержкой DDR5 будут дороже нынешних, но дело не в самой памяти, динамика удешевления которой будет примерно той же, что у DDR4, а именно в необходимости увеличения числа слоёв в материнских платах где-то на треть. Решением мог бы стать переход на последовательные интерфейсы — буферизованная DDIM-память (OMI) уже используется в серверах IBM E1080, но компактной её не назовёшь.

Однако у нас и так уже есть другой, универсальный и широко распространённый последовательный интерфейс — это шина PCI Express 4.0, а в ближайшем будущем и 5.0. Она обеспечивает приемлемую скорость передачи данных, но требует где-то на три четверти меньше сигнальных линий, которые могут иметь бо́льшую протяжённость по сравнению с DDR. Строго говоря, попытки создать PCIe-фабрики для дезагрегации ресурсов уже предприняты, к примеру, GigaIO и Liqid. С приходом CXL это станет ещё проще.

CXL позволит задействовать разные типы памяти с разными характеристиками, используя единый интерфейс. Например, можно с одной и той же платформой использовать и DDR5, и DDR4, и SCM (PMem). Чем-то похожим занимался и консорциум Gen-Z, куда, как ни странно, не входила Intel, которая и стала одним из основателей и апологетов Compute Express Link. С ней-то Meta* и работает около года над прототипом нового сервера и платы расширения с DRAM для него.

Прототип использует сервер с инженерным образцом Intel Xeon Sapphire Rapids и стандартную карту расширения для платформы Yosemite v3. Карта с x16-подключением PCIe 5.0 несёт на борту инженерную версию FPGA (вероятно, что-то из серии Agilex) с двумя контроллерами памяти и двумя же слотами DIMM для обычной регистровой DDR4 суммарным объёмом 64 Гбайт. На базе FPGA реализован интерфейс CXL 2.0, который имеет поддержку протокола CXL.memory и даёт расширенные возможности мониторинга и отладки.

При старте системы происходит опрос доступных PCIe-устройств и согласование с ними скоростей и возможностей, после чего становится доступна оперативная память, физически размещённая на карте расширения, а не только локальная DDR5, «привязанная» к процессору. В этом случае система «видит» несколько NUMA-доменов — два от самого CPU и ещё один «безпроцессорный». Прототип успешно проходит все базовые тесты, так что программно-аппаратный стек уже достаточно хорошо проработан.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1054197
14.11.2021 [21:11], Владимир Мироненко

LiquidStack и Microsoft продемонстрировали ИИ-серверы с двухфазным иммерсионным охлаждением

LiquidStack, дочернее предприятие BitFury, специализирующееся на разработке иммерсионных СЖО, и Microsoft продемонстрировали на OCP Global Summit стандартизированное решение с двухфазным погружным жидкостным охлаждением. Демо-серверы Wiwynn, разработанные в соответствии со спецификациями OCP Open Accelerator Infrastructure (OAI), были погружены в бак LiquidStack DataTank 4U, способный отводить порядка 3 кВт/1U (эквивалент 126 кВт на стойку).

LiquidStack сообщила, что она впервые оптимизировала серверы OCP OAI для охлаждения путем погружения в жидкость. По словам компании, её двухфазные иммерсионные СЖО DataTank предоставляют наиболее эффективное решение, которое требует немного пространства и потребляет меньше энергии, чем другие системы охлаждения, и вместе с тем повышает плотность размещения компонентов и их производительность.

 Фото: LiquidStack

Фото: LiquidStack

В демо-серверах использовались ИИ-ускорители Intel Habana Gaudi, погружённые в жидкий диэлектрик (от 3M) с низкой температурой кипения, который наиболее эффективно отводит тепло благодаря фазовому переходу. Данное решение должно помочь достижению показателя PUE в пределах от 1,02 до 1,03, поскольку оно практически не потребляет энергию. LiquidStack утверждает, что у её СЖО эффективность теплоотвода примерно в 16 раз выше, чем у типичных систем воздушного охлаждения.

 Фото: LiquidStack

Фото: LiquidStack

По мнению компании, системы высокопроизводительных вычислений (HPC) уже сейчас слишком энергоёмки, чтобы их можно было охлаждать воздухом. Поэтому следует использовать платы, специально предназначенные для жидкостного охлаждения, а не пытаться адаптировать те, что были созданы с расчётом на воздушные системы — при использовании СЖО вычислительная инфраструктура может занимать на 60% меньше места.

 Изображение: Microsoft

Изображение: Microsoft

LiquidStack и Wiwynn являются партнёрами. В апреле Wiwynn инвестировала в LiquidStack $10 млн. Также Wiwynn протестировала серверы с погружным жидкостным охлаждением в центре обработки данных Microsoft Azure в Куинси (штат Вашингтон). Microsoft, как и другие гиперскейлеры, уже некоторое время изучает возможности иммерсионных СЖО.

Постоянный URL: http://servernews.ru/1053696
12.11.2021 [15:37], Андрей Галадей

Wiwynn представила первый OCP-сервер с сертификацией OSF

Компания Wiwynn в рамках OCP Global Summit сообщила, что в её решении на базе Yosemite V3 впервые реализована полная поддержка Open System Firmware (OSF), а само решение полностью соответствует стандартам OCP, что открывает путь для дальнейшего внедрения гиперскейлерами. В проекте OSF также участвуют Facebook*, Intel и 9elements

OSF предполагает замену проприетарных решений от производителей аппаратных платформ на открытые (open source) реализации, которые отвечают за инициализацию и первичную загрузку системы, что важно для заказчиков, желающих иметь как можно более полный контроль над «железом». Два года назад Intel пообещала, что станет более открытой в отношении этих разработок, и слово своё сдержала.

В системе Delta Lake от Wiwynn, а это односокетное решение на базе процессора Intel Xeon Cooper Lake, используется Coreboot с необходимыми компонентами FSP (Intel Firmware Support Package), который после инициализации CPU, RAM и PCH передаёт управление LinuxBoot. Платформы следующего поколения на базе Sapphire Rapids будут совместимы с открытыми решениями по умолчанию.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1053235
12.11.2021 [14:37], Сергей Карасёв

Объём продаж OCP-оборудования достигнет $46 млрд к середине десятилетия

Исследование, проведённое компанией Omdia, говорит о том, что продажи оборудования OCP (Open Compute Project) стремительно растут. По итогам нынешнего года, как прогнозируется, объём соответствующего сегмента достигнет $21,7 млрд против $16,1 млрд в прошлом году. Таким образом, продажи в денежном выражении поднимутся на 34 %.

OCP — это международное сообщество, основанное в 2011 году по инициативе Facebook* (ныне Meta*) и ориентированное на обмен передовым опытом в области разработки решений для дата-центров и сетевых платформ. На сегодняшний день инициативу поддерживают более 280 компаний по всему миру. В настоящее время основными покупателями OCP-оборудования являются гиперскейлеры: на них придётся $15,4 млрд из $21,7 млрд выручки в текущем году.

 Фото: OCP

Фото: OCP

Однако в последующие годы всё больше дохода начнут приносить облачные провайдеры второго эшелона, телекоммуникационные операторы и корпоративные заказчики Так, в 2021-м выручка в сегменте облачных провайдеров второго эшелона, по оценкам, поднимется на 64 % — с $1,99 млрд до $3,2 млрд. В сегменте телекоммуникационных операторов ожидается рост на 76 % — до $1,7 млрд.

К 2025 году, согласно прогнозам, объём мирового рынка ОСР-оборудования достигнет $46 млрд. Из них $8,1 млрд принесут облачные провайдеры второго эшелона, ещё $6,6 млрд — телеком-операторы. Основную часть выручки от реализации ОСР-устройств будут давать серверы. В 2021-м на них придётся 71 % всех продаж, или $15,4 млрд. Около $3 млрд составят продажи систем хранения данных.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1053594
11.11.2021 [18:01], Алексей Степин

Meta* уже использует в своей инфраструктуре чипы Broadcom Tomahawk 4

О планах Meta* (ранее известной как Facebook*) уже рассказывалось неоднократно — так, к примеру, на OCP Global Summit компания сообщила о том, что открытые технологии позволяют ей использовать сетевые процессоры разных производителей. Есть и более любопытная новость: Broadcom объявила о том, что первой в индустрии массовой платформой на базе нового коммутатора Tomahawk 4 стала система Meta* Minipack2.

Если серия коммутаторов Wedge 400 базируется на кремнии с предельной производительностью обработки трафика 12,8 Тбит/с, то в основе Minipack2 лежит наиболее продвинутая на сегодня разработка Broadcom, чип Tomahawk 4 (BCM56990), способный «прокачивать» трафик на вдвое большей скорости — 25,6 Тбит/с. Этот ASIC в максимальной конфигурации способен обслуживать до 64 портов 400GbE и вдвое больше портов 200GbE. В настоящее время это единственный производимый в достаточных количествах 7-нм коммутатор с такой производительностью.

 *** Minipack2

Meta* Minipack2

Благодаря 7-нм техпроцессу Tomahawk4 обеспечивает низкий удельный уровень энергопотребления и тепловыделения, а эти факторы критичны с учётом сверхплотной компоновки ЦОД Meta*. Так, максимальный TDP нового чипа составляет всего 450 Ватт, и с учётом вдвое более высокой производительности по сравнению с Tomahawk 3 — это совсем немного, поскольку у последнего этот показатель составлял 300 Ватт.

 Архитектура Broadcom Tomahawk 4

Архитектура Broadcom Tomahawk 4

Платформа Meta* Minipack2 относится к коммутаторам класса leaf/spine, в ней ASIC Broadcom работает в конфигурации 128 × 200GbE, но сам коммутатор, как и его предшественник первого поколения, имеет модульную конструкцию, позволяющую использовать разные типы сетевых интерфейсов: либо 128 портов QSFP56, либо 64 порта QSFP-DD (для новой 400GbE-топологии F16). Дополняют Tomahawk 4 ретаймеры Barchetta 2 на базе SerDes-блоков PAM4 56 Гбит/с, а также Intel Xeon D-1527.

 Arista Networks 7388X5 также имеет модульную конструкцию

Arista Networks 7388X5 также имеет модульную конструкцию

Но Minipack2 не единственная новинка Meta* — компания активно сотрудничает с Arista Networks, представившей коммутатор Arista 7388X5, который также базируется на Tomahawk 4. Этот коммутатор также имеет модульную компоновку, но отличается большей ориентированностью на инфраструктуру гиперскейлеров и имеет выделенный криптографический SerDes-сопроцессор Credo MACSec, обеспечивающий шифрование AES-256.


* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Постоянный URL: http://servernews.ru/1053522
10.11.2021 [22:50], Сергей Карасёв

Samsung Poseidon V2 — первая СХД на базе Intel Xeon Sapphire Rapids с DDR5, PCIe 5.0 и CXL

Южнокорейский гигант Samsung представил первый образец системы хранения данных на аппаратной платформе Intel Xeon следующего поколения — Sapphire Rapids. Устройство продемонстрировано в рамках мероприятия OCP Global Summit 2021, которое посвящено открытым проектам в сферах программного и аппаратного обеспечения для центров обработки данных. Новинка разработана совместно с Inspur и Naver Cloud.

Poseidon V2 имеет два процессора Sapphire Rapids, 32 слота для модулей DDR5, а также вмещает до 24 устройств E3.S 1T (в отличие от E1 в Poseidon V1), но корзина совместима и с E3.S 2T. Собственно говоря, хранилищем в традиционно смысле слова эта система не является. Да, она подходит для NVMe SSD с интерфейсом PCIe 5.0 (как PM1743) — обычных NAND и SCM вроде Z-SSD, XL-Flash или Intel Optane — и предлагает быструю реализацию NVMe-oF, в том числе NVMe/TCP.

 Poseidon V2 (Здесь и далее изображения Samsung)

Poseidon V2 (Здесь и далее изображения Samsung)

Для 200GbE-подключением к системе Samsung уже удалось достичь скорости последовательных чтения и записи в 24,5 и 18,6 Гбайт/с, а для случайных — 19,4 и 8,7 Гбайт/с соответственно. Однако в форм-факторе E3.S также будут выпускаться и SmartSSD с возможностью самостоятельной обработки данных, и различные ускорители, и DRAM-экспандеры. Последнее возможно благодаря поддержке Сompute Express Link (CXL).

Однако наличие аппаратной поддержки — это полдела. Поэтому Samsung развивает фирменную Poseidon Storage OS. ОС будет отвечать за управлением томами, формирование программных RAID-массивов, мониторинг и профилирование производительности и так далее. Кроме того, она предложит функцию высокой доступности (2 узла), многопутевое (multi-path) подключение и будет принимать во внимание неравномерность доступа к памяти (NUMA). Разработчикам будут доступны открытые API.

Старт массового производства Poseidon V2 намечен на III квартал 2022 года, а в IV квартале Samsung планирует передать OCP все наработки по проекту. Строго говоря, большая часть компонентов новинки уже сделана в соотвествии со стандартами OCP, так что этот процесс вряд ли затянется.

Постоянный URL: http://servernews.ru/1053369
Система Orphus