Материалы по тегу: io500

05.07.2021 [23:02], Алексей Степин

В рейтинг IO500 вошли четыре высокопроизводительные СХД РСК

Благодаря развитию технологий флеш-памяти и широкомасштабному внедрению SSD и Optane современные системы хранения данных развивают немыслимую ранее мощность, измеряемую миллионами и даже десятками миллионов IOPS. СХД подобного класса очень сложны и весьма недешевы. В России тоже есть системы такого класса — решения группы компаний РСК не в первый раз попадают в рейтинг IO500.

Совсем недавно РСК объявила, что в список вошла четвёртая система, занявшая 26-ую позицию в рейтинге. Это СХД RSC Storage-on-Demand, в основе которой лежит ПО с открытым кодом DAOS. Она входит в состав суперкомпьютера «Говорун», установленного в Объединённом институте ядерных исследований, город Дубна, и среди российских решений эта система лидирует. В прошлом году «Говорун» получил заслуженную награду DC Awards 2020 именно за высокие характеристики подсистемы хранения данных.

IO500: до первой пятёрки ещё далеко, но РСК уверенно продвигается вперёд

IO500: до первой пятёрки ещё далеко, но РСК уверенно продвигается вперёд

Эта машина будет обслуживать проект NICA, новый ускорительный комплекс, созданный с целью изучения свойств плотной барионной материи. Он генерирует огромные объёмы данных, обработка которых позволит лучше понять устройство нашей вселенной. Сочетание нового ускорителя и суперкомпьютеров ОИЯИ делает реальным создание в лабораторных условиях кварк-глюонной плазмы, вещества, из которого состояла вселенная в первые мгновения после Большого Взрыва.

DAOS в сравнении с традиционными СХД

DAOS в сравнении с традиционными СХД

Система на базе DAOS сместила с лидирующей российской позиции другую СХД РСК, построенную на базе широко распространённой в мире HPC параллельной файловой системы Lustre, а в рейтинге IO500 она получила 31 место. 27-ая позиция принадлежит СХД в составе кластера МВС-10П ОП2 Межведомственного суперкомпьютерного центра Российской академии наук, а 36-ая — системе суперкомпьютера «Политехник ‒ РСК Торнадо» Санкт-Петербургского политехнического университета Петра Великого.

NICA позволит нам лучше понять фундаментальное устройство мира

NICA позволит нам лучше понять фундаментальное устройство мира

Достичь таких результатов позволило сочетание программных технологий DAOS и Lustre с новейшими твердотельными накопителями Intel, включая сверхпроизводительные модули Optane DCPMM. Сочетание Optane с процессорами Xeon Ice Lake-SP показало себя великолепно именно в сложных расчётах из области физических исследований. Но помогают российские суперкомпьютеры и в борьбе с коронавирусом.

Машина, принадлежащая МСЦ РАН, также оснащена по последнему слову техники — в ней установлены «линеечные» накопители в формате E1.S. Более того, система «Говорун» смогла пробиться в первую десятку в IO500 ещё в 2018 году, когда этот суперкомпьютер занял девятое место. Впоследствии он был модернизирован.

Линеечные накопители позволяют существенно повысить удельную плотность хранения данных

Линеечные накопители позволяют существенно повысить удельную плотность хранения данных

DAOS — это распределённая объектно-ориентированная асинхронная система хранения данных, изначально разрабатываемая с прицелом на предельно возможную производительность и гибкие возможности масштабирования. Поскольку система полностью программно-определяемая, она может гибко управлять доступными пулами NVMe-накопителей и модулей Optane DCPMM, а традиционных HDD в ней не предусмотрено вовсе. Такой подход в 2019 году позволил DAOS занять второе место в мировом рейтинге, незначительно уступив лишь оригинальной разработке израильской компании WekaIO.

...а программная часть — гибко управлять средствами хранения этих данных

...а программная часть — гибко управлять средствами хранения этих данных

Комплекс DAOS очень гибок, и конфигурация СХД может создаваться буквально на лету, с учётом потребностей конкретного пользователя и его задачи. За управление системой отвечает платформа отечественной разработки «РСК БазИС». С аппаратной же точки зрения DAOS нацелена на минимизацию обращений к CPU и ядру операционной системы. При этом поддерживается работа с данными на уровне вплоть до побайтного доступа.

Схематичное устройство DAOS

Схематичное устройство DAOS

Подход, применяемый РСК, позволил добиться производительности на типовых сценариях чтения/записи на уровне свыше 300 Гбайт/с; это уровень мировых лидеров в области HPС, а с учётом гибкости и удобства конфигурирования российские СХД нового поколения можно назвать уникальными. РСК уверенно штурмует новые высоты: если в прошлом году в IO500 вошли три российских суперкомпьютера, то сейчас их там уже четыре.

Постоянный URL: http://servernews.ru/1043575
19.11.2020 [13:31], Владимир Мироненко

SC20: в мировом рейтинге IO500 Россию представляют три суперкомпьютера РСК

На проходящей сейчас в онлайн-режиме всемирной суперкомпьютерной конференции SC20 была представлена новая редакция мирового рейтинга IO500 самых высокопроизводительных системам хранения данных HPC-класса, в которой единственными представителями России стали три суперкомпьютерные системы производства группы компаний РСК, ведущего отечественного разработчика решений для высокопроизводительных вычислений, ЦОД, облачных платформ и систем хранения данных.

Речь идёт о суперкомпьютере  МВС-10П  ОП2 (Межведомственный суперкомпьютерный центр Российской академии наук, МСЦ РАН), впервые попавшем в рейтинг и занявшем 18-е место, суперкомпьютере «Говорун» (22-е место, Объединённый институт ядерных исследований, ОИЯИ, Дубна) и суперкомпьютере «Политехник — РСК Торнадо» (28-е место, Санкт-Петербургский политехнический университет Петра Великого, СПбПУ). В предыдущей редакции IO500 было два суперкомпьютера РСК.

Высокого результата удалось достичь благодаря применению во всех проектах технологии создания масштабируемых распределённых и компонуемых «по требованию» систем хранения данных RSC Storage on-Demand на основе NVMe-накопителей Intel SSD и Intel Optane SSD. Кроме того, в суперкомпьютере МСЦ РАН установлены новые узлы для хранения данных на базе высокоскоростных Intel SSD в форм-факторе E1.S.

МСЦ РАН — один из самых мощных российских суперкомпьютерных центров коллективного пользования в сфере науки и образования. После модернизации, проведенной специалистами РСК в течение 2020 года, пиковая производительность МВС-10П ОП2 выросла почти в два раза — на 93 %, достигнув 823,91 Тфлопс. 

Суперкомпьютер «Говорун» был создан в 2018 году при участи специалистов группы компаний РСК и корпорации Intel. В 2019 году он был модернизирован. Обновленная система обладает совокупной теоретической пиковой производительностью 860 Тфлопс двойной точности, являясь при этом гиперконвергентной программно- определяемой системой.

«Политехник – РСК Торнадо» является универсальным высокоплотным и энергоэффективным решением «РСК Торнадо» со 100 % жидкостным охлаждением на «горячей воде». После плановой модернизации, проведенной специалистами РСК в течение 2020 года, суммарная пиковая производительность вычислительных ресурсов СКЦ «Политехнический» в 2020 году выросла на 23 % и теперь составляет 1,6 Пфлопс.

Постоянный URL: http://servernews.ru/1025787
28.08.2020 [23:19], Владимир Мироненко

Oracle создала сверхбыстрое облачное хранилище для Fugaku, быстрейшего суперкомпьютера в мире

В июне этого года суперкомпьютер Fugaku на базе Arm, созданный совместными усилиями специалистов научно-исследовательского института RIKEN и Fujitsu занял первую строку TOP500, рейтинга самых высокопроизводительных публичных вычислительных систем мира. В то время его хранилище было разделено на три части: 15,9 Пбайт NVMe СХД, общее хранилище на базе Lustre и некое облачное хранилище, который до этого момента являлся безымянным.

Однако теперь компания Oracle объявила, что работу облачного хранилища Fugaku обеспечивает её решение Oracle Cloud, отметив высокие показатели облачной инфраструктуры Oracle Cloud Infrastructure (OCI) в тесте производительности систем хранения IO500.

Согласно Oracle, партнёрство RIKEN и Oracle Cloud Infrastructure позволяет пользователям Fugaku работать с суперкомпьютером через японскую научную информационную сеть (Science Information Network, SINET) на сверхвысоких скоростях. RIKEN запустил совместный проект с предоставленным Oracle облачным хранилищем, с целью использования облачных возможностей для расширения присутствия за рубежом в партнёрстве с Altair, HPC Systems и Foundation for Computational Science.

Oracle подчеркнула особое значение FastConnect, инструмента своей облачной инфраструктуры для создания выделенных частных подключений с увеличенной пропускной способностью, а также повышенной надёжностью и стабильностью.

«В исследовательских проектах, где объём данных может достигать петабайт, можно использовать высокопроизводительные вычислительные ресурсы и ресурсы хранения Oracle Cloud Infrastructure, не беспокоясь о больших расходах на передачу данных, и выполнять рабочие нагрузки с предсказуемо низкими затратами», — пишет Oracle в своем блоге. Согласно последнему рейтингу IO500, Oracle Cloud Infrastructure заняла 7-е место среди самых быстрых систем хранения.

«Подавляющее большинство других систем в списке — это специализированные локальные среды, включая исследовательские суперкомпьютеры, — поясняет Oracle. — Мы достигли пропускной способности операций ввода-вывода 500 Гбит/с и производительности метаданных 13,1 млн IOPS с высокопроизводительной параллельной файловой системой с использованием 270 узлов в кластерной сети HPC с файловой системой BeeGFS (и использованием технологии) BeeOND».

По словам Oracle, приложение её клиента для видеоконференций Zoom перемещает около 7 Пбайт данных в день примерно среди 300 миллионов пользователей, и что кластер, обеспечивший победу в IO500, способен обрабатывать такие данные локально менее чем за четыре часа.

«Oracle проделала большой путь к созданию высокопроизводительных конфигураций и масштабируемости с помощью OCI, — заявил Эддисон Снелл (Addison Snell), генеральный директор Intersect360 Research. — OCI добилась высоких результатов в IO500, предлагая выбор в пользу параллельных файловых систем. Взаимодействие с RIKEN и Fugaku помогли закрепить за OCI серьезное присутствие в HPC».

Постоянный URL: http://servernews.ru/1019373
28.07.2020 [18:10], Алексей Степин

Российские суперкомпьютеры РСК попали в свежий рейтинг IO500

Виртуальный институт подсистем ввода-вывода (Virtual Institure for I/O, VI4IO) начал свою деятельность в 2016 году. Целью этой некоммерческой открытой организации стало предоставление платформы для обмена информацией в области исследований, касающихся I/O-подсистем суперкомпьютеров и кластерных систем. В этом году, по результатам проведённых исследований, VI4IO представила первый официальный рейтинг IO500, который обещает стать столь же популярным, как и TOP500 и Green500.

Официальный логотип нового рейтинга IO500

Теперь для попадания системы с IO500 существует стандартизированный набор правил и тестов, включающих в себя такие компоненты, как подтесты на чистую пропускную способность, на производительность при работе с метаданными и на скорость поиска в пространстве имён (namespace).

Сам набор тестов открытый, проект имеет собственный репозиторий на GitHub, там же содержится полная инструкция по запуску и получению результатов. Комплект IO500 построен на основе существующих популярных бенчмарков и имеет модульную структуру. Благодаря поддержке плагинов возможно тестирование различных альтернативных систем хранения данных.

Российские системы мы отметили красным

Российские системы мы отметили красным

Ранние результаты в официальный список IO500 не входят, поскольку с 2017 года правила менялись, но в нём присутствуют результаты с конференций SC19 и ISC 2020. Несмотря на все успехи ARM в сфере супервычислений, первое место в рейтинге всё же принадлежит Intel с её системой Wolf, способной развивать свыше 8,6 миллионов IOPS и продемонстрировавшей линейную скорость более 370 Гбайт/с. Высокое место занял и китайский комплекс Tianhe-2E, который также базируется на архитектуре x86.

Говорун стал отличаться ещё большим умом и сообразительностью после апгрейда 2018 года

В список попали и российские системы, разработанные, созданные и введённые в строй группой компаний РСК. Это гетерогенный суперкомпьютер «Говорун», установленный в ОИЯИ и одна из систем серии «Торнадо», располагающаяся в СПбПУ, занимающие 17 и 22 место соответственно. «Говорун» базируется на процессорных компонентах Intel Xeon Phi и Xeon Scalable в сочетании с узлами NVIDIA DGX-1 Volta. Система СПбПУ также имеет гетерогенную архитектуру, но в качестве ускорителей в ней применены NVIDIA Tesla K40X. В обоих случаях в качестве файловой системы используется Lustre.

С результатами IO500 можно ознакомиться на сайте проекта, там же есть и информация о том, как считается и формируется рейтинг.

Постоянный URL: http://servernews.ru/1016841
26.11.2019 [21:46], Алексей Степин

SC19: в лидеры IO500 выбились WekaIO Matrix и Intel DAOS

Сверхвычисления требуют не только сверхбольших объёмов данных, но и соответствующую им производительность. Поэтому разработчики параллельных файловых систем для рынка HPC активно конкурируют между собой.

Молодой израильской компании WekaIO удалось побить рекорд, ранее принадлежавший разработке Intel, и занять первое место в списке IO500. Серьёзное достижение для компании, впервые заявившей о себе в 2013 году.

По итогам последнего сравнительного тестирования, опубликованным на конференции SC19, разработанная WekaIO файловая система смогла пусть и незначительно, но опередить Intel DAOS. Тройку лидеров замкнул китайский суперокомпьютер Tianhe-2E, использующий широко известную систему Lustre.

Intel DAOS (Distributed Asynchronous Object Storage) долго оставалась непобедимой за счет использования накопителей Optane ‒ как в форме модулей NVDIMM, так и в варианте с интерфейсом NVMe. Самым медленным звеном в этой системе были обычные SSD на базе NAND. Программная часть DAOS использует полностью открытый код и опирается на библиотеки Intel PMDK и SPDK, которые позволяют напрямую работать c «железом» в обход стандартных интерфейсов ОС и ядра.

Спецификации WekaFS

Спецификации WekaFS

Файловая система WekaIO Matrix, напротив, является исключительно программным решением, не зависящим от использования специфических аппаратных компонентов и, тем самым, обеспечивающим полную свободу выбора для разработчиков HPC-систем.

Система, созданная WekaIO, полностью отвечает спецификациям POSIX и поддерживает все необходимые для решений такого класса технологии. Благодаря массивной параллелизации и оптимизации кода, WekaFS может обеспечить устоявшуюся скорость передачи данных на уровне свыше 10 Гбайт/с.

Следует, однако, отметить, что победа над Intel DAOS не является абсолютной: WekaIO удалось выиграть у DAOS на случайных операциях, но в производительности на линейных скоростях разработка Intel всё же сохранила первенство. Кроме того, нельзя не отметить, что бенчмарк ещё относительно молод и он может получать заметные корректировки кода.

Сама инициатива IO500 является детищем сообщества энтузиастов высокопроизводительных систем ввода-вывода. Сообщество, получившее звание «Виртуального Института I/O-исследований» отслеживает разработку систем хранения данных крупного и сверхкрупного классов. Оно сравнивает их производительность и старается предоставить миру ИТ объективную и независимую информацию о подобного рода системах.

Постоянный URL: http://servernews.ru/998520
Система Orphus