Материалы по тегу: кластер

19.07.2021 [17:48], Владимир Агапов

Энтузиаст создал экономичный 1U-сервер на базе Raspberry Pi 4

С тех пор как Raspberry Pi впервые появился в 2012 г. как проект для обучения школьников азам компьютерной техники, многое изменилось: были проданы миллионы устройств, появлялись новые модели, сформировалось сообщество энтузиастов. А с появлением 2-го поколения Raspberry Pi на чипах с процессорными ядрами ARM v8, система оказалась способна справляться и с серверными нагрузками, управлением Интернетом вещей (IoT), хостингом сайтов и другими более сложными задачами.

В частности, недавно появился проект 1U-сервера (стоимостью примерно $800) для размещения у поставщиков услуг колокации, предъявляющих достаточно жёсткие требования по энергопотреблению устройств (не более 120 В и 1 А), но зато предоставляющих услуги размещения сервера за плату от $30/мес. Этим и объясняется выбор плат Raspberry Pi, ведь они отличаются достаточно низким энергопотреблением.

Patrick Chauncey

Patrick Chauncey

Автор проекта, Патрик Чонси (Patrick Chauncey), сконструировал прототип сервера (точнее говоря, мини-кластера) с 16 Гбайт ОЗУ LPDDR4-3200, сетевым интерфейсом 1 GbE и SSD общей ёмкостью 1,2 Тбайт. В 1U-корпусе Supermicro CSE-512L-200B смонтированы 5 плат Raspberry Pi 4 (4 ядра Cortex-A72 1,5 ГГц) в кейсах Geekworm Armor Case, 5 SSD (Kingston A400 240G M.2), 5 боксов UGREEN M.2 для подключения SSD через USB 3.1 и неуправляемый 8-портовый коммутатор NETGEAR GS308.

Для аварийного хранения в случает отказа SSD, платы Raspberry Pi снабжены SD-картами на 32 Гбайт. Также применены переходные платы и релейные модули для коммутации питания, ШИМ-контроллер для вентилятора (Noctua NA-FC1) и монитор энергопотребления (Kill A Watt P4400). Программная часть основана на Raspbian Lite. Суммарная нагрузка при питании от сети 120 В составляет 0,018 А на холостом ходу и 0,035 А в рабочем режиме. С учётом системы охлаждения максимальная нагрузка не превышает 0,4 А (48 Вт).

Patrick Chauncey

Patrick Chauncey

Разработчик сравнивает получившийся сервер с другими решениями. Так, доступ к инстансам AWS T2.medium (2 vCPU@2,5 ГГц, 4 Гбайт ОЗУ) стоит $38/мес., то есть для 20-процессорного виртуального сервера стоимость составит $380/мес. Физический 12-ядерный сервер Dell R710 с двумя Intel Xeon E5649 (2,53 ГГц), 64 Гбайт ОЗУ и 16-Тбайт накопителем обойдётся в $668, будет потреблять до 160 Вт и займёт 2U. 1U-система HoneyComb LX2, имеющая 16-ядерный Arm-процессор LX2160A (2,2 ГГц), 64 Гбайт ОЗУ и 16 Тбайт накопитель, потребляет 40 Вт и стоит $1350.

Помимо базовой комплектации на сайте проекта перечислены и варианты решений на основе других плат, стоечных корпусов и боксов для плат, SSD и дополнительных опций, например POE. Автор также планирует пересмотреть кабельное хозяйство, перейдя на плоские провода и добавив плавкие предохранители, чтобы снизить опасность повреждения при коротком замыкании.

Patrick Chauncey

Patrick Chauncey

Существуют и другие реализации идеи применения Raspberry Pi в дата-центрах или для периферийных вычислений. Например, команда Techbase предлагает ClusBerry 9500-CM4 для индустриального применения, российский облачный провайдер Selectel предоставляет доступ к Raspberry Pi по цене VDS, а команда ресурса ServeTheHome выяснила, сколько Raspberry Pi нужно для того чтобы построить кластер, сопоставимый по вычислительной мощности со «взрослыми» Arm-серверами.

Постоянный URL: http://servernews.ru/1044591
30.06.2021 [14:51], Сергей Карасёв

Вычислительный кластер «Сколтеха» взял на вооружение серверы Lenovo ThinkSystem SD530

Группа Lenovo ISG (Lenovo Infrastructure Solutions Group), подразделение компании Lenovo, сообщила о том, что серверы ThinkSystem SD530 стали основой вычислительного кластера Сколковского института науки и технологий («Сколтех»). Специализированная 60-узловая система спроектирована для реализации нового метода компьютерного предсказания кристаллических структур USPEX.

Технология USPEX была разработана в Лаборатории компьютерного дизайна материалов под руководством профессора Артема Оганова. Метод USPEX позволяет предсказывать структуры кристаллов, а также низкоразмерных материалов, в том числе наночастиц, полимеров, поверхностей, межзёренных границ и 2D-кристаллов.

Здесь и ниже изображения Lenovo

Здесь и ниже изображения Lenovo

«Для выполнения этих задач требовался нестандартный суперкомпьютерный центр, который позволяет решать большое число распараллеливаемых задач. На каждую структуру требуется 4–5 стадий расчетов. Каждый расчёт — это примерно 8 тыс. задач. А каждый из 25–30 пользователей системы проводит десятки таких расчётов ежемесячно», — говорится в сообщении.

Специфика выполняемых операций требовала наличия большого количества ядер для обработки коротких задач. Кроме того, не последнюю роль играла стоимость оборудования. В результате выбор пал на серверы Lenovo ThinkSystem SD530.

Система ThinkSystem SD530 использует шасси 2U с возможностью установки четырёх узлов. Каждый из них может содержать два процессора Intel Xeon Scalable серии Platinum и шесть накопителей. Поддерживается память Intel Optane PMem. Говорится о совместимости с платформой LiCO, которая облегчает управление рабочими нагрузками и ресурсами кластера, связанными с высокопроизводительными вычислениями и искусственным интеллектом.

Постоянный URL: http://servernews.ru/1043203
19.01.2021 [20:55], Юрий Поздеев

Dell EMC представила новые узлы СХД PowerStore для создания метрокластера

Мы уже писали о новой линейке СХД среднего уровня – Dell EMC PowerStore. А недавно Dell Technologies расширила эту серию массивов новым узлом для синхронной/асинхронной репликации и построения метрокластера. Над названием долго думать не стали и назвали новый узел Metro. Для чего был создан этот узел и почему на него нужно обратить внимание?

За последний год многие организации перевели своих сотрудников на удаленную работу, что привело к переносу многих рабочих нагрузок с локальных рабочих станций пользователей на серверную инфраструктуру. Цена перебоев в работе и вынужденных простоев возросла многократно, и именно для повышения отказоустойчивости систем и был создан новый узел Dell EMC PowerStore Metro. Для создания отказоустойчивого метрокластера в портфеле Dell EMC уже есть решение Enterprise уровня – VPLEX, однако оно подходит не всем, прежде всего из-за своей высокой цены.

Основные преимущества Dell EMC PowerStore Metro:

  • Гранулярность на уровне тома/LUN — это позволяет реплицировать определенные тома, обеспечивая непрерывную работу выбранных пользователем приложений, снижая совокупную стоимость владения и повышая гибкость управления рабочими нагрузками;
  • Добавление групп согласованности (консистентности) без прерывания доступа к данным — позволяет обеспечить нулевое время простоя и гибкость управления без нарушения репликации;
  • Поддержка нескольких платформ — репликация возможна между различными типами массивов Dell EMC (Unity и PowerStore);
  • Никакого дополнительного ПО на хостах — репликация автономна и не требует установки дополнительного ПО или перезагрузки хоста;
  • Репликация не оказывает влияния на производительность СХД — нет потери производительности и накладных расходов на репликацию данных;
  • Несколько видов репликации — асинхронная, синхронная и метрокластер;
  • Компактный форм-фактор — новый узел Metro имеет высоту 1U (кластер состоит из двух таких узлов), при этом обеспечивается высокая производительность, поддержка Fibre Channel 32 Гбит/с и единое управление;

Новый узел будет доступен в ближайшее время.

Постоянный URL: http://servernews.ru/1030487
18.01.2021 [16:44], Сергей Карасёв

ClusBerry 9500-CM4 — индустриальный кластер из восьми Raspberry Pi CM4

Команда Techbase готовит к выпуску аппаратную платформу ClusBerry 9500-CM4 — кластер промышленного класса на основе одноплатных компьютеров Raspberry Pi Compute Module 4 (CM4). Особенностью решения является возможность монтажа на DIN-рейку.

Коротко напомним конфигурацию Raspberry Pi Compute Module 4. Это процессор Broadcom BCM2711 с четырьмя ядрами Cortex-A72, работающими на частоте до 1,5 ГГц. Объём оперативной памяти может составлять 1, 2, 4 или 8 Гбайт, вместимость флеш-чипа eMMC — 8, 16 или 32 Гбайт. Плата имеет размеры 55 × 40 мм.

Кластер ClusBerry 9500-CM4 может объединять до восьми модулей. При этом конфигурация может гибко настраиваться в зависимости от потребностей клиента и выполняемых задач.

Доступны различные узлы. В их число входят контроллер ввода/вывода, а также коммуникационный шлюз с адаптером Ethernet и различными средствами беспроводной связи (LTE-cat.M1, 4G, 5G, LoRa, ZigBee, Z-Wave, Wireless M-Bus).

Кроме того, могут быть добавлены файловый сервер с возможностью подключения двух твердотельных накопителей с интерфейсом SATA, концентратор USB 3.0, маршрутизатор с поддержкой 2.5GbE и пр.

В настоящее время Techbase создаёт прототипы кластеров. Сведений об ориентировочной стоимости решений нет. 

Постоянный URL: http://servernews.ru/1030350
29.12.2020 [12:46], Владимир Мироненко

Lambda Echelon — GPU-кластер под ключ для задач машинного обучения

Компания Lambda разработала GPU-кластер Echelon для ИИ-задач. Он включает в себя вычислительные ресурсы, хранилище, сеть, питание и поддержку, необходимые для решения крупномасштабных задач глубокого обучения.

Echelon использует стоечную архитектуру, которая хорошо масштабируется: от кластера с одной стойкой на 40 графических процессоров до кластера с тысячами графических процессоров в центре обработки данных.

Клиентам Lambda уже знакомы узлы в составе Echelon. Это серверы Lambda Hyperplane и Lambda Blade GPU. Вычислительные узлы Echelon были разработаны с учётом возможности использования InfiniBand HDR 200 Гбит/с или 100 Гбит/с Ethernet. Высокая скорость обмена данными позволяет выполнять широкомасштабное обучение языковых моделей и свёрточных нейронных сетей.

Кластер Echelon, разработанный для крупномасштабного распределённого обучения, может иметь до четырёх различных сетей:

  • 200-Гбит/с фабрики HDR InfiniBand с RDMA для вычислительны узлов и хранилища.
  • Внутрення сеть 100 Гбит/с.
  • Сеть для управления узлами 1 Гбит/с.

Выше показана сетевая топология для кластера с одной стойкой с 40 графическими процессорами NVIDIA A100.

Постоянный URL: http://servernews.ru/1028955
11.12.2020 [16:02], Сергей Карасёв

Мини-кластер Jetson Mate вмещает четыре модуля NVIDIA Jetson Nano или Jetson Xavier NX

Команда Seeed Studio начала приём заказов на любопытную новинку — устройство Jetson Mate, позволяющее создать вычислительный кластер небольшого форм-фактора на основе модулей NVIDIA Jetson Nano или Jetson Xavier NX. Такая система может применяться для решения различных задач, скажем, в области искусственного интеллекта.

В основе Seeed Studio лежит небольшая плата с размерами 110 × 110 мм. Для установки модулей Jetson Nano или Jetson Xavier NX доступны четыре разъёма SO-DIMM.

Изделие оснащено четырьмя портами USB 3.0, одним коннектором USB 2.0 и одним симметричным портом USB Type-C (служит для подачи питания). Кроме того, предусмотрены интерфейс HDMI 2.0 для вывода изображения и сетевой разъём Gigabit Ethernet (RJ45).

Плата с вычислительными модулями Jetson, каждый из которых снабжён радиатором охлаждения, установлена в корпус с вентилятором в верхней части. Этот кулер снабжён многоцветной RGB-подсветкой.

Кластер на базе Jetson Mate может выступать в роли небольшого GPU-сервера. Новинка предлагается по ориентировочной цене 200 долларов США.

Постоянный URL: http://servernews.ru/1027626
21.10.2020 [18:03], Алексей Степин

Turing Pi 2 — мини-кластер на базе Raspberry Pi 4 Compute Module

Проект Raspberry Pi очень популярен, а в последнее время, с появлением в серии достаточно серьёзных процессоров на базе ядер ARM Cortex-A72, всё большую популярность набирает идея кластера из таких плат. Кластер Turing Pi мы описывали ещё в прошлом году, а сейчас анонсирована новая, вторая версия, уже на базе современного варианта «малины».

Изначально Turing Pi представлял собой своеобразную «системную плату», в которую можно было установить до семи модулей Raspberry Pi Compute Module 3/3+. Такой кластер мог питаться от стандартного блока питания ATX и содержал на борту собственный сетевой коммутатор на чипе Realtek.

В некотором смысле Turing Pi 2 можно воспринимать, как шаг назад — новая версия подразумевает использование всего четырёх вычислительных узлов, однако не стоит забывать, что Raspberry Pi 4 Compute Module существенно мощнее. Новинка использует полноценную архитектуру ARM v8 (BCM2711, 4 ядра, 1,5 ГГц) и каждый модуль может нести на борту 8 Гбайт оперативной памяти, что суммарно даёт 32 Гбайт на мини-кластер.

Разработчики называют Turing Pi 2 минимальным «строительным блоком» для инфраструктуры на базе Raspberry Pi. При этом говорится, что первый вычислительный узел может служить хостом для десктопной операционной системы, например, Ubuntu Desktop LTS, а три других — использоваться для компиляции и отладки разрабатываемого под архитектуру ARM серверного программного обеспечения. Впоследствии его можно перенести на другие ARM-платформы, например, AWS Graviton, поскольку Turing Pi 2 имеет аналогичную архитектуру.

Хотя Raspberry Pi Compute Module 4 имеет новый разъём, его по-прежнему можно установить вертикально с помощью переходника Gumstix Raspberry Pi CM4 Uprev, который к тому же может иметь на борту тензорный сопроцессор Google Coral.

В итоге плату для нового кластера удалось уместить в форм-фактор Mini-ITX. На ней имеется два слота mPCIe, два разъёма SATA 3.0, видеовыходы HDMI и MIPI DSI, а также пара портов Gigagit Ethernet. За сеть отвечает набортный коммутатор 2 уровня, что делает Turing Pi 2 аккуратной и законченной системой; к сожалению, скорость сети по-прежнему ограничена 1 Гбит/с. Начало поставок Turing Pi 2 намечено на начало следующего года.

Постоянный URL: http://servernews.ru/1023499
10.09.2020 [20:04], Илья Коваль

AMD EPYC и Radeon Instinct лягут в основу HPC-кластера с рекордной производительностью 3,1 Эфлопс

Но производительность 3,1 Эфлопс будет доступна только для FP32-вычислений, а для «классических» FP64 этот показатель не превысит 274,54 Пфлопс. Но даже с такими цифрами система теоретически могла бы претендовать на второе место в рейтинге TOP500, где сейчас лидирует Fugaku (1,07 Эфлопс FP32, 415,5 Пфлопс FP64), а на второй строчке находится Summit (414 Пфлопс FP32, 148,6 Пфлопс FP64).

Впрочем, данное решения является распределённым кластером с оборудованием, которое находится в Норвегии, Швеции и Канаде. Основой станут GPU-серверы производства Gigabyte на базе процессоров AMD EPYC второго поколения и ускорителей AMD Radeon Instinct. Конкретные характеристики пока не указываются. Представитель Gigabyte отмечает, что благодаря сотрудничеству с AMD сможет разработать, изготовить и поставить большие объёмы продукции в течение нескольких месяцев, а также адаптировать их под нужды Northern Data. Среди задач для этих машин, в частности, указываются рендеринг, машинное обучение и ИИ.

Northern Data, специализирующаяся на создании специализированных HPC-систем, и Gigabyte объявили о заключении стратегического партнёрства летом этого года, которое как раз и подразумевало создание высокопроизводительных решений на базе высокоплотных GPU-серверов. В ведении Northern Data находится самый крупный, по словам компании, дата-центр, ориентированный на HPC-приложения.

Постоянный URL: http://servernews.ru/1020343
26.05.2020 [21:36], Алексей Степин

MyElectronics предлагает 19" шасси для Raspberry Pi

Микрокомпьютер Raspberry Pi изменил мир DIY-проектов, будучи недорогим, но при этом универсальным и достаточно мощным решением. Начиная с модели RPi 2 версии 1.2 эта плата получила процессор ARM v8, достаточно серьёзный для применения не только в любительских проектах.

С этого момента начался рост популярности мини-кластеров на базе Raspberry Pi.

Как оказалось, такие кластеры могут решать достаточно серьёзные задачи, особенно если состоят из Raspberry Pi четвёртого поколения, которое использует процессорные ядра ARM Cortex-A72. Мы рассказывали читателям о Cluster HAT и Turing Pi, предназначенных для организации микро-кластеров из менее мощных Raspberry Pi Zero, но существуют и более серьёзные решения. К таким можно отнести, например, BitScope Cluster Moduleu в серверном корпусе высотой 6U, содержащий до 144 активных узлов Raspberry Pi.

Представлены и более простые и доступные решения. Так, на сайте myelectronics.nl замечены модули для стандартной 19-дюймовой стойки. Такой модуль может содержать от одной до двенадцати плат Raspberry Pi. В варианте на четыре платы все порты, включая HDMI, оказываются выведенными на лицевую панель, что упрощает задачу организации межсоединений и хорошо подходит для таких задач, как установка видеостен.

Версия высотой 2U рассчитана уже на 12 плат Raspberry Pi, что даёт в сумме 48 ядер Cortex-A72 с частотой 1,5 ГГц и до 48 Гбайт оперативной памяти: достаточно мощное решение для задач, хорошо распараллеливаемых, но не требующих быстрого интерконнекта — в этом отношении даже последняя «малина» ограничена скоростью 1 Гбит/с. Эта версия требует хорошего охлаждения. Есть также гибридный вариант, позволяющий устанавливать одну плату Raspberry Pi и два модуля Intel NUC. Стоимость модулей MyElectronics варьируется от 39 до 199 евро.

Энтузиасты, не желающие тратить несколько десятков евро за металлическое крепление, предлагают свои варианты организации «малиновых» кластеров, требующие лишь наличия любого подходящего 3D-принтера.

Постоянный URL: http://servernews.ru/1011912
30.04.2020 [18:03], Алексей Степин

Тайная жизнь ЦОД Google: будут ли Борги ассимилированы Kubernetes?

Такие технологии, как контейнеризация, виртуализация и оркестрация не всегда были массовыми — владельцы сверхкрупных ЦОД активно использовали собственные решения для более эффективного использования ресурсов. Среди таковых числится и Google, которая уже очень давно развивает систему менеджемента кластеров Borg, названную в честь расы киборгов-ассимиляторов из популярной вымышленной вселенной Star Trek.

Несмотря на то, что многие идеи для Kubernetes были позаимствованы из Borg, такие кластеры продолжают работать и сейчас, оставаясь проприетарным решением Google, которая крайне неохотно делится подробностями о них. 

Внутри помещения Борг-кластера: вы будете ассимилированы

Внутри помещения Борг-кластера: вы будете ассимилированы

Впрочем, иногда компания всё же отдаёт исследователям оносительно небольшие, но весьма детальные наборы данных о работе Borg. Впервые на такой поступок Google пошла ещё в 2011 году. Она опубликовала 29-дневную статистику по Борг-кластерам, описывающую каждое запущенное задание, распределение задвч и потребление вычислительных ресурсов. 

На этот раз компания предлагает аналогичную статистику за май 2019 года сразу по восьми кластерам. В неё добавлена информация о нагрузке на центральные процессоры — с точностью до пяти минут. Дамп очень объёмный и содержит 350 Гбайт данных с каждого из кластеров. Это серьёзный прирост — в 2011 году вес статистики для единственного кластера составлял всего около 40 Гбайт.

Эффективность использования ресурсов у Борг-кластеров редко превышает 0,6

КПД Борг-кластеров редко превышает 0,6

Помимо «сырых» данных Google также опубликовала и их анализ, проведённый совместно с учеными из Гарвардского университета, университета Карнеги Мэллон и Сент-Эндрюсского университета. Дополнительно доступен документ, описывающий работу внутренних систем масштабирования, которые Google называет «Автопилотом» (Autopilot).

В нём рассказывается о том, что размер кластера Google в среднем составляет около 10 тысяч физических серверов, но сообщается также и о том, что система Autopilot далека от идеала.

Схема функционирования Google Autopilot

Схема функционирования Google Autopilot

Она редко нагружает подсистемы памяти кластера более чем на 50%, а, к примеру, аналогичные кластеры Alibaba могут утилизировать память существенно эффективнее, на 80%. В последнее время Борг-кластеры получили ряд усовершенствований именно в области распределения ресурсов, но всё равно эффективность использования процессорных ресурсов и памяти редко превышает 60%.

Получить доступ к статистике и документации Google по Борг-кластерам можно на GitHub. Что касается ассимиляции, то как скоро Kubernetes и другие открытые и универсальные технологии вытеснят борг-подобный подход, сказать трудно, но год от года популярность таких технологий явно растёт.

Постоянный URL: http://servernews.ru/1009786
Система Orphus