Материалы по тегу: ии

13.04.2021 [16:59], Алексей Степин

РСК микроЦОД помогает ФТИ им. А.Ф. Иоффе обуздать термоядерный синтез и лучше понять устройство Вселенной

РСК заслуженно занимает ведущее место в индустрии российских разработчиков систем высокопроизводительных вычислений (HPC). А без таких вычислений современные научные исследования зачастую немыслимы. Уникальный микроЦОД, разработанный и установленный силами RSC в Физико-техническом институте имени А.Ф. Иоффе, помогает российским учёным в астрофизике и исследованиях термоядерного синтеза.

Новая система РСК МикроЦОД была смонтирована в Физико-техническом институте имени А.Ф. Иоффе ещё в сентябре прошлого года, а вскоре после этого вошла в рейтинг Top50 наиболее производительных HPC-систем России и стран СНГ с показателем производительности 66,12 Тфлопс.

РСК МикроЦОД представляет собой полностью законченный и готовый к работе сверхкомпактный кластер, который можно разместить практически в любом помещении. Физически он представляет собой шкаф с вычислительными узлами «РСК Торнадо», объединёнными общей СЖО с поддержкой охлажденгия «горячей водой», то есть с температурой входящего теплоносителя +65 °C. При этом конструктив шкафа выполнен таким образом, что замена вычислительных узлов, модулей СЖО или блоков питания не требует остановки системы и может выполняться «на горячую».

РСК МикроЦОД

РСК МикроЦОД

Такой шкаф высотой 42U может содержать до 153 узлов, а общий показатель энергоэффективности PUE — достигаться значения менее 1,06. За управление и мониторинг в РСК микроЦОД отвечает фирменная модульная программная платформа «БазИС» с открытым исходным кодом. В духе времени большинство компонентов в новой системе реализовано как программно определяемые, что также упрощает развёртывание, обслуживание и модернизацию данной HPC-платформы.

Система также может масштабироваться до 51 «большого» узла, а вариант, установленный в ФТИ, содержит 20 узлов с двумя Intel Xeon Gold 6248R (24C/48T, 3,0-4,0 GHz, 35,75 Мбайт кеша, 205 Ватт TDP) и 384 Гбайт RAM. Для хранения данных используются SSD Intel, межузловая связь построена на базе технологии Intel Omni-Path. МикроЦОД легко поддаётся модернизации и может быть усилен новейшими Xeon Scalable третьего поколения, а также накопителями Optane 200.

В ФТИ имени А.Ф. Иоффе этот суперкомпьютер участвует в ряде ключевых физических и астрофизических исследований, проводимых в России сегодня. К примеру, он задействован в задаче по созданию управляемой среды для термоядерного синтеза, и этот вклад трудно переоценить — ведь за термоядерным синтезом будущее энергетики. Традиционно ещё со времён СССР ставка делается на токамаки, для запуска термоядерной реакции в плазме применяется её нагрев с помощью высокочастотного излучения.

Плазма — объект крайне сложный и капризный в поведении, но новый суперкомпьютер позволил лаборатории физики высокотемпературной плазмы ФТИ создать полную трёхмерную модель поведения ВЧ в плазме токамака. Такая модель уже рассчитана для малого токамака ФТ-2, а также для куда более крупного Т-15МД, установленного в Курчатовском институте в Москве.

Применяется новая система и в фундаментальных астрофизических исследованиях. Уже представлены уникальные результаты МГД-моделирования структуры магнитных полей в пульсарных туманностях Vela и PSR B1929+10. Также проведено кинетическое моделирование спектров электронов и позитронов, испускаемых быстродвижущимися пульсарами в подобного класса туманностях. Составлены модельные карты излучения для пульсаров Vela и PSR J0437-4715 Это позволит учёным лучше понять устройство Вселенной, частью которой все мы являемся.

Постоянный URL: http://servernews.ru/1037237
12.04.2021 [19:48], Владимир Мироненко

NVIDIA TAO, Triton и Fleet Command помогут компаниям в выборе, дообучении, оптимизации и развёртывании моделей ИИ

«Путь к созданию предприятия, основанного на искусственном интеллекте, не должен быть долгим или трудным, если вы знаете, как использовать предварительно обученные модели и инструменты, такие как NVIDIA TAO и Fleet Command», — заявил Адель Эль-Халлак (Adel El-Hallak), директор по управлению продуктами NGC.

По его словам, теперь компаниям не придётся проектировать и обучать собственную нейронную сеть с нуля, так как можно будет выбрать одну из множества доступных в каталоге NGC. Предлагаемые NVIDIA модели, охватывают широкий спектр задач ИИ — от компьютерного зрения и разговорного ИИ до понимания естественного языка и многого другого.

Многие модели в каталоге предлагаются с расширенной информацией о наборе данных для обучения, о частоте использования и с прогнозом результатов использования. Это обеспечивает прозрачность и уверенность в том, что вы выбираете подходящую модель для своего варианта использования. Выбрав модель, клиент сможет её настроить в соответствии с конкретными потребностями с помощью NVIDIA TAO.

С помощью NVIDIA Transfer Learning Toolkit предобученную модель из каталога NGC можно будет дообучить на небольших наборах данных, которые есть у пользователей, чтобы индивидуально подстроить модели под нужды клиента. Кроме того, TAO предлагает и Federated learning (федеративное обучение), которое позволяет безопасно обучить модель на данных от различных пользователей внутри зашифрованных анклавов в GPU, не открывая их никому из участников процесса.

После точной настройки модели её необходимо оптимизировать для развёртывания — сделать более компактной без ущерба для качества и возможности эффективного функционирования на целевой платформе клиента, будь то массив графических процессоров в сервере или робот с приводом от Jetson в заводском цехе. С помощью NVIDIA Triton пользователи смогут выбрать оптимальную конфигурацию для развёртывания, независимо от архитектуры модели, используемой инфраструктуры, целевого процессора или графического ускорителя, на котором она будет работать.

После того, как модель оптимизирована и готова к развёртыванию, пользователи могут легко интегрировать её с любой инфраструктурой, которая соответствует их сценарию использования или отрасли. На завершающем этапе с выбранной платформой пользователи смогут запустить NVIDIA Fleet Command для развёртывания и управления приложением ИИ на различных устройствах с графическим процессором.

Fleet Command объединяет сертифицированные NVIDIA серверы, развёрнутые на границе сети, с облаком, используя протоколы сквозной безопасности для защиты данных приложений и интеллектуальной собственности. Данные передаются между периферией и облаком в полностью зашифрованном виде. А перед развёртыванием приложения сканируются на наличие вредоносных программ и уязвимостей.

Fleet Command и элементы TAO уже используются на складах, в розничной торговле, в больницах и в производственных цехах. В числе их пользователей такие компании, как Accenture, BMW и Siemens Industrial. Основные компоненты TAO, включая инструментарий Transfer Learning Toolkit и федеративное обучение, на данный момент уже доступны клиентам.

Постоянный URL: http://servernews.ru/1037137
09.04.2021 [16:12], Владимир Мироненко

Российский разработчик oneFactor реализовал машинное обучение внутри анклавов Intel SGX

Российский разработчик сервисов искусственного интеллекта oneFactor впервые реализовал тренинг алгоритмов машинного обучения внутри анклавов (защищённой области в адресном пространстве приложения) Intel Software Guard Extensions (Intel SGX) на своей ML-платформе.

Для аналитиков банков это означает возможность сокращения вывода готовой аналитики с нескольких дней до считанных минут. Новое решение позволит повысить качество рекомендаций с применением алгоритмов машинного обучения на 20–35 % по сравнению с раздельной обработкой данных, и ускорить ML-цикл, сократившийся до нескольких часов. Увеличение производительности достигается за счёт комбинации данных различных типов и обучения алгоритмов в зашифрованном виде.

Благодаря использованию технологии Intel Software Guard Extensions (Intel SGX), обеспечивающей защиту данных в анклаве от системных процессов, выполняемых с более высокими уровнями привилегий, клиенты oneFactor могут быть уверены, что код приложения, осуществляющий доступ к личным данным, был проверен и одобрен. Теперь исполняемый код — алгоритм машинного обучения, генерируется непосредственного в анклаве. А в новых процессорах Intel Xeon Ice Lake-SP размер объём анклава может достигать 512 Гбайт, что упрощает работу с такими нагрузками.

Благодаря использованию Intel SGX решение oneFactor позволяет обрабатывать полностью зашифрованные данные в апаратно-защищённой среде. Это позволяет объединять данные разных компаний и индустрий с соблюдением условия конфиденциальности в едином вычислительном облаке, а затем использовать их в рекомендательных сервисах на базе ИИ. Особенностью ML-платформы oneFactor является высокий уровень защиты исходных данных от компрометации на аппаратном уровне, поскольку их «видит» только алгоритм машинного обучения. К ним нет доступа даже у администраторов системы или поставщика облачных сервисов.

oneFactor отметил, что это первое в России коммерческое применение технологии обеспечения конфиденциальности данных для тренировки алгоритмов машинного обучения в финансовом секторе. Данное решение позволит банкам улучшить качество сервисов и обслуживания своих клиентов: от противодействия телефонному мошенничеству до полностью автоматической верификации кредитных заявок. На данный момент к платформе уже подключён ряд крупнейших российских банков.

Постоянный URL: http://servernews.ru/1036948
09.04.2021 [15:29], Сергей Карасёв

США внесли в чёрный список ряд суперкомпьютерных центров Китая

Министерство торговли Соединённых Штатов ввело новые санкции в отношении китайских компаний и организаций: в чёрный список попали сразу семь структур, чья деятельность связана с высокопроизводительными вычислениями и суперкомпьютерными платформами. Это означает, что американским компания придётся получать особое разрешение для работы с ними.

В заявлении американских властей говорится, что в список включены компании и организации из КНР, которые «занимались созданием суперкомпьютеров, используемых китайскими военными, а также способствовали разработке оружия массового поражения и поддерживали дестабилизирующие программы Китая по модернизации вооружённых сил».

В чёрный список попали:

  • Компания Tianjin Phytium Information Technology;
  • Компания Sunway Microelectronics;
  • Шанхайский центр проектирования высокопроизводительных интегральных микросхем (Shanghai High-Performance Integrated Circuit Design Center);
  • Национальный суперкомпьютерный центр Цзинаня (National Supercomputing Center Jinan);
  • Национальный суперкомпьютерный центр Чжэнчжоу (National Supercomputing Center Zhengzhou);
  • Национальный суперкомпьютерный центр Шэньчжэня (National Supercomputing Center Shenzhen);
  • Национальный суперкомпьютерный центр Уси (National Supercomputing Center Wuxi).

Нужно отметить, что в центре в Уси (на фотографии выше) располагается вычислительный комплекс Sunway TaihuLight, который в своё время возглавлял рейтинг мощнейших систем мира Top500. А сама компания Sunway, попавшая под санкции, сейчас занимается разработкой суперкомпьютера экзафлопсного класса на основе китайских технологий.

В 2019 году аналогичные санкции коснулись компаний Sugon, Higon, Chengdu Haiguang Integrated Circuit, Chengdu Haiguang Microelectronics Technology, также Института компьютерных технологий Уси Цзяннань (Wuxi Jiangnan Institute of Computing Technology). Это, в частности, повлияло на создание суперкомпьютера Sugon на базе «клонов» AMD EPYC. В 2015 году в чёрный список попали национальные суперкомпьютерные центры в Чанше, Гуанчжоу и Тяньцзине, а также Оборонный научно-технический университет Народно-освободительной армии Китая.

Постоянный URL: http://servernews.ru/1036979
09.04.2021 [02:30], Владимир Мироненко

SDSC Voyager — первый суперкомпьютер с ИИ-ускорителями Habana от Intel

Суперкомпьютерный центр Калифорнийского университета в Сан-Диего (SDSC) выбрал ИИ-ускорители Habana Labs для суперкомпьютера Voyager, разработка которого финансируется из средств Национального научного фонда США (NSF). На реализацию этого проекта NSF выделил грант в размере $5 млн. Habana Labs была приобретёна Intel в 2019 году.

Ожидается, что Voyager станет доступен для использования осенью этого года. Суперкомпьютер является специализированным ИИ-кластером, содержащим как обучающие серверы, так и инференес-серверы, основанные на чипах Gaudi и Goya от Habana Labs соответственно. Проект направлен на продвижение исследований искусственного интеллекта в широком спектре научных и технических областей.

Серверы будут подготовлены компанией Supermicro, технологическим партнёром Voyager:

  • Supermicro X12 Gaudi AI Training System — восемь OAM-модулей HL-205 в паре с двумя процессорами Intel Xeon Ice Lake-SP для обучения;
  • Supermicro SuperServer 4029GP-T с восемью картами Goya HL-100 PCIe в сочетании с двуями Intel Xeon Cascade Lake-SP для инференса.

Voyager будет использовать уникальные возможности подключения ускорителей Habana для эффективного масштабирования возможностей тренировки нейронных сетей. Voyager имеет 42 узла для обучения в восьми стойках (всего 336 ускорителей Gaudi) и выделенную сетевую стойку, которая объединяет все чипы Gaudi через 100GbE-порты RoCE, а также СХД и два инференс-сервера (16 ускорителей Goya).

Gaudi — единственный в отрасли ИИ-ускоритель, который имеет сразу 10 встроенных контроллеров 100GbE с поддержкой RoCE v2 (RDMA over Converged Ethernet), что обеспечивает гибкость масштабирования и позволяет избежать проблем с пропускной способностью.

В течение первых трёх лет эксплуатации система будет находиться на этапе тестирования. В этот период SDSC будет работать с исследовательскими группами в сферах астрономии, климатологии, химии, физики элементарных частиц и т. д., а также создавать документацию.

Постоянный URL: http://servernews.ru/1036920
07.04.2021 [00:58], Владимир Мироненко

Новые узлы «РСК Торнадо»: Intel Xeon Ice Lake-SP и память Intel Optane PMem 200

РСК, ведущий российский разработчик решений для высокопроизводительных вычислений (HPC), представил решение «РСК Торнадо» на основе процессоров Intel Xeon Scalable 3-го поколения, анонсированных во вторник Intel, и модулей энергонезависимой памяти Intel Optane серии 200.

Новое решение «РСК Торнадо» обеспечивает наивысшую плотность для архитектуры x86 в индустрии: 967,45 Тфлопс на стойку (на 37 % больше по сравнению с предыдущим поколением), распределённую память RSC Storage on-Demand ёмкостью 2,45 Пбайта на шкаф (+36 %) с пропускной способностью на уровне 3,67 Тбит/сек (в 2 раза больше по сравнению с предыдущим поколением) и лидирующий показатель энергоэффективности со 100 % жидкостным охлаждением в режиме «горячая вода» всех электронных компонентов.

Клиентам предоставляется возможность линейного масштабирования от несколько серверов до тысяч единиц в составе больших кластеров или серверных ферм. Также можно оптимизировать стоимость конечных решений за счёт поддержки открытых стандартов и новых серверных продуктов Intel.

Решение «РСК Торнадо» на основе старших моделей процессоров Intel Xeon Scalable 3-го поколения (до 40 ядер, TDP 270 Вт), памяти Intel Optane серии 200, Intel SSD и интерконнекта 200 Гбит/сек отличается компактностью и высокой вычислительной плотностью (до 153 узлов в одном стандартном шкафу высотой 42U), а также обеспечивает стабильную работу в режиме «горячая вода» при температуре хладоносителя до +65 °С на входе в вычислительные узлы и коммутаторы.

Благодаря поддержке режима «горячая вода» можно применить круглогодичный режим free cooling (240×365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °С, что позволяет обходиться без чиллеров. В результате среднегодовой показатель PUE системы составляет менее чем 1,04.

Решения RSC Storage on-Demand поддерживают файловые системы NFS/Lustre/DAOS для организации памяти в одном шкафу. Новая распределённая объектная система хранения с открытым кодом DAOS (Distributed Asynchronous Object Storage) корпорации Intel обеспечивает высокую скорость работы с данными различных типов. Такое решение ориентировано на применение в области «искусственного интеллекта» (машинного и глубокого обучения). 

Его использование сделало возможным построение не только многослойных систем хранения данных на базе Lustre в архитектуре Composable Disaggregated Infrastructure и гибкое управление пулами дисков с интерфейсом NVMe, но и включение в такие слои высокопроизводительных компонент на основе DAOS. РСК применила свой опыт в построении компонуемых дезагрегированных решений для управления DAOS, предложив для этого платформу оркестрации «РСК БазИС» с новым, более удобным пользовательским интерфейсом.

Постоянный URL: http://servernews.ru/1036705
05.04.2021 [17:54], Сергей Карасёв

Россия потратит 300 млн руб. на разработку безопасной версии ядра Linux

Федеральная служба по техническому и экспортному контролю (ФСТЭК России) заключила контракт с Институтом системного программирования им. В.П. Иванникова Российской академии наук (ИСП РАН): документ предусматривает формирование специализированного центра исследования безопасности операционных систем на базе ядра Linux, разработку документации и создание программно-аппаратного комплекса центра.

Одной из главных целей инициативы называется снижение возможных социально-экономических последствий от компьютерных атак на критическую информационную инфраструктуру Российской Федерации. Это будет достигаться за счёт повышения уровня защищённости отечественных программных платформ с ядром Linux.

Кроме того, сотрудники новой структуры будут способствовать повышению качества и унификации российских Linux-систем. Проектом предусмотрено совершенствование отечественных средств разработки и тестирования ПО. Центр должен способствовать повышению квалификации Linux-разработчиков, а также совершенствованию нормативного и методического обеспечения процессов безопасной разработки программного обеспечения в России.

В результате выполнения работ должна быть решена задача по формированию отечественной ветки ядра Linux и обеспечению поддержки её безопасности при постоянной синхронизации с международными открытыми проектами по разработке ядра Linux. Планируется тестирование ядра Linux, используемого для создания отечественных ОС, включающее проведение архитектурного анализа, статического анализа исходного кода ядра, системного и модульного тестирования и полносистемного динамического анализа помеченных данных.

Сумма контракта составляет 300 млн рублей — по 100 млн рублей на 2021, 2022 и 2023 гг. Работы должны быть завершены до 25 декабря 2023-го. Финансирование будет осуществляться из федерального бюджета. Более подробно с информацией о проекте можно ознакомиться в карточке контракта.

Постоянный URL: http://servernews.ru/1036571
29.03.2021 [18:45], Сергей Карасёв

«Марвел-Дистрибуция» начинает выпуск серверов, СХД и сетевого оборудования под брендом F+

Компания «Марвел-Дистрибуция» объявила об организации производства оборудования под своей торговой маркой F+ Tech. Партнёрами проекта выступают несколько крупных производителей продуктов корпоративного класса, в частности, Hitachi Vantara и Hewlett Packard Enterprise (HPE).

В настоящее время начат выпуск серверов, сетевого оборудования и систем хранения данных (СХД) под брендом F+ data, печатного оборудования под брендом F+ imaging, смартфонов и планшетов для корпоративного сектора под брендом F+ pro.

Изображения «Марвел-Дистрибуции»

Изображения «Марвел-Дистрибуции»

Производство организовано на территории Российской Федерации — в Санкт-Петербурге. При этом специалисты «Марвела» занимаются крупноузловой сборкой, степень которой варьируется и зависит от конкретных соглашений и условий технологических партнёров.

«Сотрудничество с Hitachi Vantara, одним из ведущих производителей систем хранения данных, предполагает выполнение полного сборочного цикла, который используется на его европейских заводах. Значительной степенью локализации будет отличаться выпуск принтеров и МФУ в рамках соглашений с Lexmark. Выпуск отдельных модельных рядов серверного оборудования запущен в сотрудничестве с Lenovo», — отмечает «Марвел-Дистрибуция».

Проект предполагает также развитие направления программного обеспечения. В данной области «Марвел-Дистрибуция» будет сотрудничать с отечественными разработчиками.

Отмечается, что часть комплектующих производится технологическими партнёрами специально для торговых марок F+ Tech. А производство некоторого оборудования будет впервые локализовано на территории России. 

Постоянный URL: http://servernews.ru/1036030
27.03.2021 [20:28], Владимир Мироненко

ЕС необходимо инвестировать €300 млрд в 5G, чтобы оставаться конкурентоспособным

Ассоциация европейских операторов телекоммуникационных сетей (ETNO) и консалтинговая фирма BCG в преддверии саммита лидеров ЕС, где среди прочего будет обсуждаться промышленная и цифровая политика, опубликовала доклад «Связь и не только: как телекоммуникационные компании могут ускорить цифровое будущее для всех». В нём говорится о необходимости значительных инвестиций для реализации экономических преимуществ цифровой инфраструктуры.

По оценкам BCG, для полного внедрения сетей 5G в Европе потребуется €150 млрд, и для завершения работ по модернизации фиксированной инфраструктуры до гигабитных скоростей необходимо ещё столько же средств. В настоящее время ЕС инвестирует в мобильные сети всего €16,4 млрд.

Анализ BCG показывает, что только технология 5G может обеспечить ежегодный прирост ВВП на €113 млрд и 2,4 млн новых рабочих мест в Европе к 2025 году. Широкое внедрение цифровых решений также может помочь сократить выбросы углерода на 15 %. Это будет возможно благодаря развёртыванию сервисов умного города и цифровой трансформации в транспортном секторе.

Pixabay

Pixabay

В прошлом году страны-члены ЕС договорились о том, что 20 % из фонда восстановления экономики в €750 млрд должны быть направлены на цифровые инвестиции. Члены ETNO надеются, что часть этой суммы будет направлена на финансирование развёртывания телекоммуникационных сетей следующего поколения.

В отчёте также предлагается ввести в действие законодательство, которое позволит поставщикам телекоммуникационных услуг в 27 странах ЕС сотрудничать и совместно инвестировать в строительство инфраструктуры. По мнению BCG, операторам также следует разрешить монетизировать трафик данных в своих сетях, что поможет им догнать американских технологических гигантов, таких как Google, Facebook и Microsoft.

Как отметил управляющий директор и старший партнёр BCG Вольфганг Бок, для ЕС жизненно важно произвести необходимые инвестиции, чтобы оставаться конкурентоспособным. «Сегодня 83 % малых и средних предприятий ЕС не используют передовые облачные сервисы, а более 60 % детей в возрасте девять лет учатся в школах, которые всё ещё не оснащены цифровым оборудованием. В нашем отчёте указан путь для Европы по наращиванию квалифицированной рабочей силы и созданию миллионов рабочих мест», — добавил он.

Постоянный URL: http://servernews.ru/1035903
26.03.2021 [18:01], Сергей Карасёв

Разработчик иммерсионных СЖО для ЦОД LiquidStack получил от Wiwynn $10 млн на развитие

Фирма LiquidStack объявила о заключении соглашения о стратегическом партнёрстве с компанией Wiwynn, одним из крупнейших поставщиков серверного оборудования OCP для гиперскейлеров. LiquidStack специализируется на разработке иммерсионных (погружных) систем жидкостного охлаждения (СЖО) для крупных центров обработки данных, платформ высокопроизводительных вычислений и облачных площадок.

LiquidStack была образована путём реорганизации Allied Control Limited (ACL), подразделения The Bitfury Group, специализацией которого являлись СЖО для майнинговых систем. В своё время ACL помогла в создании самого эффективного в мире дата-центра: благодаря использованию двухфазного иммерсионного охлаждения энергетические затраты расположенной в Гонконге площадки удалось снизить на 95 % по сравнению с обычными воздушными системами охлаждения.

Сообщается, что в рамках партнёрского соглашения Wiwynn предоставит $10 млн на развитие LiquidStack. Сотрудничество, как ожидается, поможет в построении энергоэффективных IT-инфраструктур нового поколения с иммерсионными СЖО. Отмечается, что двухфазное иммерсионное охлаждение LiquidStack не оказывает негативного влияния на окружающую среду. При этом энергозатраты на охлаждение снижаются на 41 % по сравнению с обычными технологиями, а экономия пространства для размещения серверного оборудования достигает 60 %.

Ранее сообщалось, что Microsoft изучает возможности погружного охлаждения для своих облачных дата-центров Azure, причём тоже с использованием технологии Allied Control. А Wiwynn как раз является одним из крупнейших поставщиков серверных OCP-решений для Microsoft.

Постоянный URL: http://servernews.ru/1035863
Система Orphus