Материалы по тегу: кластер

26.05.2020 [21:36], Алексей Степин

MyElectronics предлагает 19" шасси для Raspberry Pi

Микрокомпьютер Raspberry Pi изменил мир DIY-проектов, будучи недорогим, но при этом универсальным и достаточно мощным решением. Начиная с модели RPi 2 версии 1.2 эта плата получила процессор ARM v8, достаточно серьёзный для применения не только в любительских проектах.

С этого момента начался рост популярности мини-кластеров на базе Raspberry Pi.

Как оказалось, такие кластеры могут решать достаточно серьёзные задачи, особенно если состоят из Raspberry Pi четвёртого поколения, которое использует процессорные ядра ARM Cortex-A72. Мы рассказывали читателям о Cluster HAT и Turing Pi, предназначенных для организации микро-кластеров из менее мощных Raspberry Pi Zero, но существуют и более серьёзные решения. К таким можно отнести, например, BitScope Cluster Moduleu в серверном корпусе высотой 6U, содержащий до 144 активных узлов Raspberry Pi.

Представлены и более простые и доступные решения. Так, на сайте myelectronics.nl замечены модули для стандартной 19-дюймовой стойки. Такой модуль может содержать от одной до двенадцати плат Raspberry Pi. В варианте на четыре платы все порты, включая HDMI, оказываются выведенными на лицевую панель, что упрощает задачу организации межсоединений и хорошо подходит для таких задач, как установка видеостен.

Версия высотой 2U рассчитана уже на 12 плат Raspberry Pi, что даёт в сумме 48 ядер Cortex-A72 с частотой 1,5 ГГц и до 48 Гбайт оперативной памяти: достаточно мощное решение для задач, хорошо распараллеливаемых, но не требующих быстрого интерконнекта — в этом отношении даже последняя «малина» ограничена скоростью 1 Гбит/с. Эта версия требует хорошего охлаждения. Есть также гибридный вариант, позволяющий устанавливать одну плату Raspberry Pi и два модуля Intel NUC. Стоимость модулей MyElectronics варьируется от 39 до 199 евро.

Энтузиасты, не желающие тратить несколько десятков евро за металлическое крепление, предлагают свои варианты организации «малиновых» кластеров, требующие лишь наличия любого подходящего 3D-принтера.

Постоянный URL: http://servernews.ru/1011912
30.04.2020 [18:03], Алексей Степин

Тайная жизнь ЦОД Google: будут ли Борги ассимилированы Kubernetes?

Такие технологии, как контейнеризация, виртуализация и оркестрация не всегда были массовыми — владельцы сверхкрупных ЦОД активно использовали собственные решения для более эффективного использования ресурсов. Среди таковых числится и Google, которая уже очень давно развивает систему менеджемента кластеров Borg, названную в честь расы киборгов-ассимиляторов из популярной вымышленной вселенной Star Trek.

Несмотря на то, что многие идеи для Kubernetes были позаимствованы из Borg, такие кластеры продолжают работать и сейчас, оставаясь проприетарным решением Google, которая крайне неохотно делится подробностями о них. 

Внутри помещения Борг-кластера: вы будете ассимилированы

Внутри помещения Борг-кластера: вы будете ассимилированы

Впрочем, иногда компания всё же отдаёт исследователям оносительно небольшие, но весьма детальные наборы данных о работе Borg. Впервые на такой поступок Google пошла ещё в 2011 году. Она опубликовала 29-дневную статистику по Борг-кластерам, описывающую каждое запущенное задание, распределение задвч и потребление вычислительных ресурсов. 

На этот раз компания предлагает аналогичную статистику за май 2019 года сразу по восьми кластерам. В неё добавлена информация о нагрузке на центральные процессоры — с точностью до пяти минут. Дамп очень объёмный и содержит 350 Гбайт данных с каждого из кластеров. Это серьёзный прирост — в 2011 году вес статистики для единственного кластера составлял всего около 40 Гбайт.

Эффективность использования ресурсов у Борг-кластеров редко превышает 0,6

КПД Борг-кластеров редко превышает 0,6

Помимо «сырых» данных Google также опубликовала и их анализ, проведённый совместно с учеными из Гарвардского университета, университета Карнеги Мэллон и Сент-Эндрюсского университета. Дополнительно доступен документ, описывающий работу внутренних систем масштабирования, которые Google называет «Автопилотом» (Autopilot).

В нём рассказывается о том, что размер кластера Google в среднем составляет около 10 тысяч физических серверов, но сообщается также и о том, что система Autopilot далека от идеала.

Схема функционирования Google Autopilot

Схема функционирования Google Autopilot

Она редко нагружает подсистемы памяти кластера более чем на 50%, а, к примеру, аналогичные кластеры Alibaba могут утилизировать память существенно эффективнее, на 80%. В последнее время Борг-кластеры получили ряд усовершенствований именно в области распределения ресурсов, но всё равно эффективность использования процессорных ресурсов и памяти редко превышает 60%.

Получить доступ к статистике и документации Google по Борг-кластерам можно на GitHub. Что касается ассимиляции, то как скоро Kubernetes и другие открытые и универсальные технологии вытеснят борг-подобный подход, сказать трудно, но год от года популярность таких технологий явно растёт.

Постоянный URL: http://servernews.ru/1009786
26.02.2020 [16:54], Андрей Галадей

Bright Cluster Manager for Data Science стала бесплатной

Компания Bright Computing объявила о том, что программное обеспечение Bright Cluster Manager for Data Science теперь доступно бесплатно в рамках программы Easy8. В рамках этой программы уже предлагалось полнофункциональное бесплатное программное обеспечение для 8 узлов, которое автоматизирует процесс создания и управления гетерогенными кластерами Linux.

Утверждается, что Bright Cluster Manager for Data Science предоставляет всё необходимое для быстрого создания полноценной среды машинного обучения. В числе библиотек есть популярные фреймворки, такие как NVIDIA cuDNN, CUB, CUDA, TensorRT, Dynet, Fastai, JupyterHub, NCCL2, MXNet, pyTorch и другие. Система заявлена как масштабируемая, она работает в связке с многопользовательским сервером JupyterHub. Также говорится о поддержке NVIDIA GPU Cloud (NGC), что упрощает использование контейнеров для систем машинного обучения. 

Всё это, как утверждается, позволит упростить работу по управлению кластерами и вычислительной инфраструктурой в целом. Ведь спрос на кластерные системы растёт, а значит такие приложения будут востребованы.

Постоянный URL: http://servernews.ru/1004613
20.09.2019 [08:48], Андрей Созинов

Huawei Atlas 900: самый производительный кластер для машинного обучения

Компания Huawei анонсировала самый производительный в мире кластер для обучения нейронных сетей, который называется Atlas 900. Как заявляет сама компания, данная высокопроизводительная платформа поможет «сделать ИИ доступнее для широкого спектра научных исследований и инновационных бизнес-решений».

В основе кластера Atlas 900 лежат процессоры Ascend 910, которые и были разработаны специально для решения задач, связанных с ИИ. Точное количество чипов в системе не уточняется, но отмечается что их там «тысячи».

Остальные характеристики кластера Huawei также предпочла оставить в тайне.

Однако китайская компания с гордостью заявила, что на обучение нейросети ResNet-50, которая является чуть ли не золотым стандартом для измерения производительности в машинном обучении, кластеру Atlas 900 при использовании 1024 процессоров Ascend 910 понадобилось всего 59,8 секунды. Это на 10 секунд меньше предыдущего мирового рекорда.

По словам Huawei, высокопроизводительная система Atlas 900 может быть задействована для решения задач в самых разных сферах: от астрономии, прогнозирования погоды и автономного вождения до разведки нефтяных месторождений.

Компания также обеспечила доступ к Atlas 900 посредством собственного облачного сервиса Huawei Cloud, тем самым обеспечив своим клиентам из различных отраслей простой способ использовать вычислительные мощности новой системы. Также заметим, что Huawei предлагает доступ университетам и научно-исследовательским организациям по всему миру с большой скидкой.

Постоянный URL: http://servernews.ru/994349
30.08.2019 [10:20], Андрей Созинов

~200 Raspberry Pi 4 могут заменить ARM-сервер с ThunderX2. Но это будет вдвое дороже

Сколько необходимо одноплатных компьютеров, чтобы построить кластер, сопоставимый по вычислительной мощности с актуальными ARM-серверами? От 190 до 220.

Это выяснили сотрудники ресурса ServeTheHome, а заодно посчитали, есть ли вообще в этом смысл с точки зрения финансовых затрат. Занятие само по себе странное, но любопытное. 

В качестве эталонной системы был выбран сервер Gigabyte с двумя CPU Marvell (Cavium) ThunderX2, каждый из которых имеет 32 ядра с архитектурой ARM v8 и способен обрабатывать 128 потоков, что в в сумме даёт 256 потоков. В свою очередь Raspberry Pi 4 имеет четырёхъядерный процессор ARM v8. Казалось бы, чтобы обеспечить производительность как у сервера на ThunderX2, необходимо взять лишь 64 микрокомпьютера.

Однако нельзя забывать о тактовой частоте, которая у ThunderX2 ощутимо выше (2,2 ГГц против 1,5 ГГц у Raspberry Pi 4), и прочих факторах, влияющих на производительность. Как показало тестирование в GeekBench, компьютер Raspberry Pi 4 всего лишь на 14 % опережает однопоточную виртуальную машину на ThunderX2. Соответственно, для обеспечения производительности на уровне сервера с двумя ThunderX2 необходимо примерно 220 компьютеров Raspberry Pi 4.

Тем не менее, экспериментаторы ServeTheHome решили, что оптимальнее будет использовать 190 компьютеров Raspberry Pi 4 в версии с 4 Гбайт оперативной памяти. Это обеспечит почти такой же объём RAM как и у сервера: 760 и 768 Гбайт соответственно. К тому же их удобнее подключить к восьми 24-портовым PoE-коммутаторам (или к четырём 48-портовым).

Наконец, о ценах. Сервер Gigabyte на двух ThunderX2, дополненный четырьмя 10-Тбайт жёсткими дисками и 100-гигабитным сетевым адаптером обойдётся примерно в $11 500. В свою очередь один Raspberry Pi 4 со всем необходимым оборудованием для включения в кластер обходится в $111,86.

То есть 190 систем будут стоить $21 254, а кластер из 220 систем обойдётся и вовсе в $24 609. Получается, система на базе огромного числа Raspberry Pi 4 обойдётся примерно вдвое дороже, чем сопоставимый по производительности ARM-сервер.

Постоянный URL: http://servernews.ru/993251
10.07.2019 [17:36], Сергей Карасёв

Cluster HAT и Turing Pi: вычислительные кластеры на базе Raspberry Pi

Представлены решения Cluster HAT и Turing Pi, позволяющие формировать вычислительные кластеры с применением одноплатных компьютеров и модулей Raspberry Pi.

Cluster HAT (Hardware Attached on Top) — это небольшая плата, которая подключается к компьютеру Raspberry Pi A+/B+/2/3/4 посредством интерфейса USB. К самой плате могут быть подключены четыре модуля Raspberry Zero 1.2, Raspberry Pi Zero 1.3 или Raspberry Pi Zero W.

Решение Cluster HAT может применяться для тестирования небольших кластерных систем. Кроме того, новинка может использоваться в обучающих целях. Цена — приблизительно 50 долларов США.

Что касается решения Turing Pi, то оно представляет собой плату для установки семи модулей Raspberry Pi Compute Module 3/3+. Габариты изделия составляют 170 × 170 мм.

Плата Turing Pi располагает семью слотами для карт microSD, восемью USB-портами, интерфейсом HDMI, стандартным 3,5-миллиметровым аудиоразъёмом, а также портом Gigabit Ethernet.

Приобрести решение Turing Pi можно будет по ориентировочной цене 130 долларов США. 

Постоянный URL: http://servernews.ru/990529
29.06.2019 [20:44], Андрей Созинов

Как создавалось и обрабатывалось реальное «фото» чёрной дыры M87

Чуть более двух месяцев назад учёным из Европейской Южной Обсерватории (ESO) удалось получить прямое визуальное изображение чёрной дыры в центре массивной галактики Messier 87, что в созвездии Девы. И теперь Supermicro опубликовала подробности о компьютерной системе, которая помогла получить данное изображение, ведь для этого потребовалось обработать огромное количество данных — 4 Пбайт.

Эти данные о сверхмассивной чёрной дыре, расположенной на расстоянии 55 млн световых лет, были получены с помощью восьми радиотелескопов, расположенных по всей Земле. Подробности о физической стороне процесса можно найти в замечательной лекции Архэ. Мы же обратимся к IT-составляющей. 

«Съёмка» длилась несколько ночей весной 2017 года, а получаемая информация — аналоговый сигнал на частотах порядка 2 ГГц — оцифровывалась и сохранялась на жёсткие диски. Сообщается, что запись данных проводилась на скорости 64 Гбайт/с, так что каждый телескоп за одну только ночь записывал 350 Тбайт данных. Исследователи использовали 1024 жёстких диска — по 128 на каждый телескоп, где они делились между четырьмя бэкенд-системами.

Использовались ёмкие накопители, заполненные гелием: в частности, HGST Ultrastar HelioSeal от Western Digital. Такие накопители лучше проявляют себя при работе на большой высоте, где расположена значительная часть радиотелескопов. Впрочем, в ближайшем будущем их, вероятно, могут сменить твердотельные накопители-«рулеры»: Supermicro на днях представила первые СХД и серверы с SSD формата EDSFF

После сбора данных накопители были доставлены в Институт Макса Планка (MPI) и обсерваторию Хейстек Массачусетского технологического института (MIT Haystack). Там данные с них обрабатывались с помощью программного обеспечения DiFX.

Кластер MIT, состоящий из 60 вычислительных узлов, размещается в десяти стойках, содержащих три поколения серверов Supermicro, в том числе и 38 систем Supermicro TwinPro. Все узлы объединены сетью Ethernet 25 Гбит/с и FDR InfiniBand, а серверы построены на 10-ядерных процессорах Intel Xeon. Объём хранилища MIT составляет примерно половину петабайта.

В свою очередь кластер MPI обладает тремя головными серверными узлами Supermicro и 68 вычислительными узлами (в сумме 1360 ядер). Также в систему MIP входит 11 систем хранения данных Supermicro (работающих под управлением BeeGFS) ёмкостью 1,6 петабайта и особые СХД собственной разработки Mark 5 и Mark 6. Для соединения используется FDR InfiniBand.

Все собранные данные были обработаны и «выровнены», то есть скорректированы по времени и положению телескопов. После всё было перепроверено, и здесь использование двух систем обеспечило более высокую точность. После сопоставления, данные были снова отправлены на обработку для визуализации, временно́го анализа и моделирования. В итоге это и позволило получить первое изображение чёрной дыры.

Постоянный URL: http://servernews.ru/989951
20.04.2018 [14:13], Сергей Карасёв

ODROID-MC1 Solo: решение для создания компьютерных мини-кластеров

Команда Hardkernel выпустила модуль под названием ODROID-MC1 Solo, на основе которого могут формироваться компактные вычислительные кластеры.

Изделие представляет собой одноплатный компьютер в специальном кожухе, выполняющем функции радиатора охлаждения. Несколько таких устройств могут устанавливаться друг на друга для создания многоярусной системы. Иными словами, на основе модуля можно сформировать стойку с требуемым количеством одноплатных мини-компьютеров.

Основа платы — процессор Samsung Exynos 5422. Чип выполнен на архитектуре ARM big.LITTLE: он содержит четыре ядра Cortex-A15 с тактовой частотой до 2,0 ГГц и такое же количество ядер Cortex-A7 с частотой до 1,4 ГГц. Обработкой графики занят интегрированный контроллер Mali-T628 MP6.

Оснащение включает 2 Гбайт оперативной памяти LPDDR3 RAM и слот для флеш-карты microSD. Есть гнездо для подключения сетевого Ethernet-кабеля и один порт USB 2.0. Габариты составляют 92 × 42 × 29 мм.

Приобрести изделие ODROID-MC1 Solo можно по ориентировочной цене 50 долларов США

Постоянный URL: http://servernews.ru/968648
31.07.2015 [14:14], Сергей Карасёв

Самый быстрый в мире суперкомпьютер появится в США к 2025 году

Президент США Барак Обама подписал указ о создании самой мощной в мире вычислительной системы, которая оставит далеко позади современные суперкомпьютеры.

Сейчас самым мощным вычислительным комплексом мира является китайская система Tianhe-2, установленная в Национальном суперкомпьютерном центре в Гуанчжоу. Она обладает быстродействием в 33,86 петафлопса (квадриллиона операций с плавающей запятой в секунду). Пиковая производительность Tianhe-2 составляет 54,9 петафлопса.

Предполагается, что будущий американский комплекс сможет демонстрировать производительность, в десятки раз превосходящую показатели нынешнего рекордсмена. Речь идёт о быстродействии на уровне одного экзафлопса — квинтиллиона операций с плавающей запятой в секунду. Использовать систему планируется для выполнения сложных научных расчётов — например, для поиска способов борьбы со злокачественными образованиями, моделирования климата, исследования космического пространства и пр.

Для проведения работ в рамках нового проекта будет сформирована специальная структура — Национальная стратегическая компьютерная инициатива (National Strategic Computing Initiative, NSCI). Ввести экзафлопсную систему в строй планируется к 2025 году. 

Постоянный URL: http://servernews.ru/918014
14.07.2015 [18:59], Сергей Карасёв

ISC 2015: суперкомпьютеры и кластерные системы в экспозиции Cray

Корреспонденты 3DNews познакомились с экспозицией компании Cray на международной суперкомпьютерной конференции ISC 2015.

Cray демонстрирует высокопроизводительные вычислительные системы нового поколения — суперкомпьютеры XC40 и суперкомпьютерные кластеры CS400.

В основу этих комплексов положены процессоры Intel Xeon серии E5-2600 v3 (Haswell-EP), которые могут насчитывать до 18 вычислительных ядер. Поддерживается работа с оперативной памятью DDR4. В ядро Haswell-EP включена поддержка набора инструкций AVX2, который позволяет увеличить производительность операций с плавающей запятой вплоть до 100 % по сравнению с первой версией.

В суперкомпьютерах Cray XC40 реализована фирменная технология DataWarp. Её задача заключается в увеличении быстродействия приложений и снижении полной стоимости владения систем, обрабатывающих задачи с высокой интенсивностью операций ввода/вывода.

Среди преимуществ систем XC40 и CS400 производитель выделяет масштабируемость и поддержку сопроцессоров Intel Xeon Phi. Заказчики смогут сформировать на основе названных решений платформы, полностью удовлетворяющие потребностям в вычислительных ресурсах. 

Постоянный URL: http://servernews.ru/917100
Система Orphus