Как мы уже неоднократно отмечали, одной из важнейших частей любого суперкомпьютера или кластера является система межузловых соединений. Именно от неё зависит то, насколько эффективно будут распараллеливаться ресурсы, ведь медленная сеть легко может свести на нет все преимущества самых мощных процессоров и ускорителей. Сегодня Ethernet претендует на эту роль весьма активно благодаря развитию новых стандартов и достижению скоростей уровня 200 Гбит/с. Но другая технология, исторически раньше укоренившаяся в суперкомпьютерной отрасли, InfiniBand, похоже, не собирается сдавать позиции.

Mellanox Innova-2: новейшее достижение компании в области Ethernet

Говорим InfiniBand, подразумеваем Mellanox. Именно эта компания является самым активным разработчиком соответствующих устройств на рынке InfiniBand. Такое название, как ConnectX, знакомо любому, кто когда-либо интересовался тематикой высокоскоростных межсерверных соединений. Компания опубликовала последнюю статистику, согласно которой, 77 % всех суперкомпьютеров, вошедших в список TOP500 последними, в период с июня по ноябрь текущего года, используют именно InfiniBand. Таких систем в шесть раз больше, нежели применяющих сети собственной разработки и в 15 раз больше, нежели платформ, объединённых стандартом Ethernet.

А вот последние модели адаптеров InfiniBand используют уже новый чипсет ConnectX-6

Всего на долю InfiniBand приходится 60 % всех систем в списке, из этих 60 % две системы входят в пятёрку наиболее производительных суперкомпьютеров в мире. Как считают представители Mellanox, это закономерно, поскольку InfiniBand обладает рядом преимуществ перед Ethernet. Как минимум, данный протокол с самого начала разрабатывался, как предназначенный именно для использования в системах класса HPC, поэтому его создатели сконцентрировались на достижении не только высокой пропускной способности, но и минимизации задержек. Впрочем, Mellanox не отказывается от Ethernet. Напротив, на выставке-конференции SC17 она представила ряд интересных решений, включая новейшие «умные» ускорители на базе связки чипов ConnectX-5 и Xilinx Kintex UltraScale.

Шина InfiniBand известна в индустрии больших машин и супервычислений уже достаточно давно — первая реализация под названием InfiniBand SDR появилась и стала применяться ещё в 1999 году. Шина шириной 4х обеспечивала при этом эффективную пропускную способность 8 Гбит/с при схеме кодирования 8/10, что не так уж много, особенно по нынешним меркам, зато время задержки не превышало 5 микросекунд, что очень важно для эффективной организации связи внутри кластерной системы. В последующих поколениях этот показатель был доведен до 0,7 и даже 0,5 микросекунды. Основным именем на рынке InfiniBand считается Mellanox, компания, производящая как сами адаптеры (на базе чипов собственной разработки), так и коммутаторы InfiniBand.

Сетевые адаптеры Oracle: zQSFP+ (слева) и MPO IB 12x. Судя по медным радиаторам — требуют серьёзного охлаждения

Но эту традицию решила прервать компания Oracle, один из крупнейших игроков на рынке больших баз данных. На мероприятие ISC 2016 она привезла примеры своей реализации протокола InfiniBand, ни в чём не уступающие, а в чём-то даже превосходящие уже имеющиеся на рынке решения Mellanox, Intel и QLogic. Были продемонстрированы как сами адаптеры InfiniBand с интерфейсом PCI Express x16 3.0, так и модульные коммутаторы собственной разработки Oracle. Причём речь идёт о современном стандарте EDR, предполагающем скорости 100 и 300 Гбит/с для шин шириной 4х и 12х при кодировании 64/66, минимизирующем накладные расходы на пропускную способность и латентности, не превышающей 0,5 микросекунды. Более производительный стандарт HDR со скоростями 200 и 600 Гбит/с ожидается не ранее 2017 года и о нём пока мало что известно.

Новые коммутаторы Oracle имеют модульную структуру и могут сочетать в себе порты разных типов

Как говорит сама Oracle, её инфраструктура InfiniBand идеальна для построена облачной сетевой инфраструктуры практически любых масштабов. При разработке новых решений была учтена популярность виртуальных систем — в топологии Oracle InfiniBand каждый сервер и каждая система хранения данных подключается к виртуализуемой сети передачи данных со скоростью 100 Гбит/с и поддержкой удалённого прямого доступа к памяти (RDMA). Последняя обеспечивает как разгрузку процессоров серверов, так и минимальные задержки в передаче данных. Программно определяемые сетевые сервисы (Software-defined networking, SDN) гарантируют полную межсистемную совместимость. В результате получается быстрая, универсальная и безопасная сеть с огромной пропускной способностью.

Один из вариантов размещения и конфигурации коммутатора Oracle InfiniBand, используются, в основном, порты MPO IB 12x

Решения Oracle InfiniBand хороши, прежде всего, тем, что позволяют легко развёртывать лишённые проблем с совместимостью высокоскоростные универсальные сети с полностью программной реализацией всех протоколов и функций I/O, при этом масштабирование таких сетей не составляет особого труда. В терминах Oracle это звучит как «hundreds of thousands servers», то есть речь идёт об объединённых в единое облако сотнях тысячах серверов. При этом как адаптеры, так и коммутаторы уже в кремнии, на аппаратном уровне, поддерживают специфические средства ускорения программного обеспечения Oracle; было бы странно, если бы компания не реализовала такой возможности. И адаптеры, и коммутаторы поддерживают как порты типа zQSFP+ (SFF-8665), так и оптические MPO IB 12x.

Компания Mellanox, один из лидеров в разработке и производстве сетевых решений Infiniband и Ethernet, объявила о коммерческой доступности новых активных оптических кабелей (AOC) под фирменным названием LinkX, способных работать на скорости 100 Гбит/с, а также медных кабелей прямого подключения (DAC) с той же скоростью передачи данных.

Новые кабели выполнены в форм-факторе QSFP28, что позволяет размещать в коммутаторе формата 1U до 36 портов. Это делает развертывание сетей класса 100 Гбит/с практически столь же простым, как и для сетей класса 10 Гбит/с. Активные кабели Mellanox нового поколения используют новейшие чипы, содержащие несколько линий со скоростью 25 Гбит/с и функции восстановления данных (CDR). В то же время, новые активные компоненты обладают высокой экономичностью — оптическая часть потребляет менее 3,5 ватт.

Все кабели семейства LinkX подвергаются тщательнейшему стресс-тестированию в нагруженной среде. Параметр Bit Error Rate (BER) должен соответствовать 10 в минус пятнадцатой степени, что в 1000 раз меньше продуктов многих других производителей. Меньшее количество ошибок означает меньше повторных попыток передачи данных, меньше задержек, а также более высокую общую производительность в целом.

Технология InfiniBand, обеспечивающая высокую скорость передачи данных с минимальными задержками, не слишком известна рядовому пользователю, но в мире кластеров и суперкомпьютеров она, без преувеличения, является основной средой. Современные реализации InfiniBand легко демонстрируют скорости до 300 Гбит/с (EDR), а в недалёком будущем, с внедрением стандарта HDR, производительность вырастет до 600 Гбит/с. И всё это при латентности порядка 0,5 микросекунды. Физически InfiniBand может использовать как традиционные медные кабеля, так и оптоволоконные.

Пример 100-гигабитного адаптера InfiniBand: простота реализации означает приемлемую стоимость

Тем не менее, корпорация Intel, похоже, решила объявить стандарту InfiniBand настоящую войну, противопоставив ей свою технологию межузловых соединений Omni-Path. Если верить имеющейся на данный момент информации, Omni-Path, работая на скорости 100 Гбит/c, имеет на 56 % более низкие задержки, нежели аналогичная реализация InfiniBand. Кроме того, Intel уже имеет в своём арсенале коммутационный процессор Omni-Path, способный обслуживать 48 портов, в то время, как текущее поколение коммуникаторов InfiniBand ограничено 36 портами на чип.

Преимущества Omni-Path по мнению Intel

Intel планирует активное продвижение оптической технологии Omni-Path на рынок суперкомпьютеров, и это наступление имеет шансы увенчаться успехом: во-первых, Omni-Path обладает обратной совместимостью с инфраструктурой Intel TrueScale, базирующейся на InfiniBand, а, во-вторых, о поддержке Omni-Path уже объявили такие профильные компании, как TE, Altair, Bright Computing, Ansys, ESI, E4, FlowScience, MSC Software, Icon, SUSE и RedHat. Новая среда разрабатывается с учётом поддержки новых ускорителей Xeon Phi под кодовым именем Knights Landing. Они появятся во второй половине следующего года и будут способны развивать мощность свыше 3 терафлопс. Первыми суперкомпьютерами, использующими Knights Landing, станут Лос-Аламосский Trinity и система Cori, заказанная министерством экономики США.

Говорить о капитуляции InfiniBand рано, если вообще имеет смысл: технология хорошо освоена и имеет развитую инфраструктуру. Кроме того, она тоже будет развиваться. Появятся коммутаторы с большим количеством портов, будут внедрены более высокие скорости передачи данных. Так что мы бы не рискнули поставить в этой гонке на скорую победу Intel. Война может оказаться довольно затяжной.

Компания Mellanox объявила о расширении линейки сквозных (end-to-end) решений межсоединений InfiniBand FDR 56 Гбит/с с новыми модульными коммутаторами серии SX6000, масштабируемыми по мере увеличения числа узлов в кластере и количества ядер на узел. Представлены также результаты сравнительных испытаний и измерений, выполненных фирмой Tolly Group. При использовании стандартных методик тестирования и проверки решений Ixia, Ethernet-решения Mellanox SwitchX продемонстрировали рекордную производительность и энергетическую эффективность. SX1036 обеспечивает сквозную задержку менее чем 223 нс для портов 40GbE и 269 нс для портов 10GbE. RDMA-технология Mellanox для InfiniBand (FDR 56Gb и 40GbE), поддерживаемая в Windows Server 2012, была протестирована и показала повышение производительности приложений более чем в 5 раз по сравнению с решениями 10GbE.

Компании Mellanox и Eucalyptus Systems создали программу стратегического партнерства для дальнейшего развития эффективных, высокопроизводительных облачных инфраструктур, объединяющую программную платформу Eucalyptus для IaaS и принадлежащий Mellanox портфель оборудования InfiniBand и 10/40GbE. Mellanox объявила также о совместной демонстрации высокопроизводительного Hadoop-устройства PHAT-DATA40G во время выставки Interop 2012 года. Используя набор тестов TeraSort, PHAT-DATA40G способен рассортировать 1 Тбайт данных менее чем за 27 минут, задействовав только 5 машин, что на 20% быстрее, чем раньше.

Материалы по теме:

• Intel и McAfee сфокусируются на вопросах повышения безопасности облачных технологий;
• В Германии запущен новый корневой DNS-сервер для обслуживания российских доменов;
• Cisco Systems увеличивает количество своих академий в России.

Источник:

• datacenterknowledge.com

Корпорация Intel, являющаяся крупнейшим в мире производителем процессоров, объявила о приобретении части бизнеса компании QLogic, которая связана с технологией высокоскоростной передачи данных InfiniBand. Сделка оценивается суммой в 125 миллионов долларов США и, как считает Intel, позволит укрепить позиции в сегменте высокопроизводительных серверных систем и вычислительных кластеров.

Сделка должна быть закрыта до конца первого квартала 2012 года. Нужно отметить, что сотрудники подразделения QLogic, которое перейдёт под контроль Intel, сохранят свои рабочие места. Для самой QLogic сделка не станет причиной изменения финансовых показателей, но "пойдёт на пользу инвесторам".

InfiniBand представляет собой высокоскоростную коммутируемую последовательную шину, которая применяется как для внутренних (внутрисистемных), так и для межсистемных соединений. Базовая скорость интерфейса равна 2,5 Гбит/с в каждом из направлений, но применяются порты, состоящие из групп в 1x, 4x и 12x базовых двунаправленных линий.

Источник:

• newsroom.intel.com

В исследовательских лабораториях компании Luxtera разработан первый одночиповый оптоэлектронный приёмник с пропускной способностью 100 Гбит/с. Предполагается, что устройство найдёт применение в оборудовании для центров обработки данных нового поколения, которые предназначены для обслуживания облачных вычислительных сред и нуждаются в высокопроизводительных решениях.

Преимуществом созданного датчика является использование четырёх каналов для передачи и приёма сигнала, которые обслуживаются одним лазером. В результате объединения каналов общая пропускная способность достигает 112 Гбит/с. Адаптер будет применяться в сетевом оборудовании Ethernet, OTN и InfiniBand, а также в набирающих популярность интерконектах типа Short Reach (SR) и Very Short Reach (VSR).

В разработке принимали участие компании Luxtera и Molex. Первая демонстрация одночипового оптоэлектронного трансивера состоялась на конференции по суперкомпьютерным технологиям SC11, которая прошла в Сиэтле в период с 12 по 18 ноября.

Источник:

• luxtera.com

Представители IBM анонсировали третье поколение высококлассных систем хранения данных IBM XIV Storage System (XIV Gen.3), ориентированных на применение в виртуализованных серверных инфраструктурах и облачных инфраструктурах. По их словам, система нового поколения примерно в 4 раза превосходит по скорости IBM XIV Storage System второго поколения и отличается более эффективным управляющим ПО. В новой версии системы корпорация IBM переходит от процессоров Intel Nehalem к новейшим микрочипам Intel Westmere. В XIV Gen.3 предусмотрена поддержка высокоскоростной коммутируемой последовательной шины InfiniBand, а скорость передачи данных через порты оптоволоконного интерфейса вырастет с 4 до 8 Гбайт/с. Каждое устройство XIV Gen.3 будет оснащено двумя коммутаторами InfiniBand, которые обеспечат необходимый запас производительности для коммуникаций между модулями и позволят довести общую пропускную способность системы до 600 Гбайт/с.

Количество портов iSCSI вырастет с шести (XIV Gen.2) до 22-х (XIV Gen.3). Оперативная память DRAM системы нового поколения вырастет до 360 Гбайт, по сравнению с системой XIV Gen.2, имеющей 256 Гбайт DRAM. Количество дисков в XIV Gen.3 остается прежним — 180, но вместо дисков с последовательным интерфейсом SATA в новой системе будут задействованы диски с более производительным последовательным интерфейсом малых вычислительных систем SCSI (также — SAS, Serial Attached SCSI). В соответствии с планами IBM, начиная с первого квартала 2012 года, пользователи XIV Gen.3 смогут самостоятельно добавлять в систему диски SSD, что позволит увеличить кеш-память XIV Gen.3 на 7,5 терабайта. Стоимость XIV Gen.3 составит примерно 2 миллиона долларов, при этом новый продукт будет иметь годовую гарантию. Начало продаж намечено на 8 сентября.

Источник:

• pcworld.com

Mellanox Technologies (MLNX) сообщила о планируемом приобретении компании Voltaire (VOLT), которое позволит объединить силы двух групп специалистов по технологиям высокоскоростных сетей. Mellanox заплатит по 8,75 доллара за акцию, т.е. примерно 218 миллионов долларов по всей сделке. Это большая удача для владельцев акций Voltaire, курс которых теперь наверняка повысится.

Вот некоторые из комментариев этой сделки, появившихся в известных интернет-таблоидах:

- The Register: Mellanox специализируется на технологиях коммутации InfiniBand, в частности, поставляет чипы, поддерживающие протокол, который Voltaire использует в своих коммутаторах. Mellanox владеет большой долей рынка сетевых адаптеров высокого уровня для сетей InfiniBand и Ethernet. По всей видимости, стимулом для сделки стало желание Mellanox расширить свое присутствие в областях технологий 10-гигабитных (а в будущем также 40- и 100-гигабитных) сетей Ethernet и технологий сетевых шлюзов, предназначенных для сопряжения сетей InfiniBand и Ethernet. Кроме того, Mellanox получает хороший шанс в своей конкурентной борьбе с компанией QLogic, которая производит свои собственные коммутаторы для сетей InfiniBand и оптоволоконных сетей.
- PCWorld: Обе компании отлично известны по своей деятельности в области технологий коммутации как для сетей InfiniBand, так и для сетей Ethernet. Обе компании получают значительную часть своей прибыли, продавая технологии, которые используются поставщиками конечной продукции.
- DailyFinance: Несмотря на сильные технологии компании Voltaire, стоимость ее ценных бумаг была весьма изменчивой. Компания, кроме того, имеет таких мощных конкурентов, как QLogic, Cisco, Juniper Networks и Brocade Communications Systems. Слияние с Mellanox добавит Voltaire веса и стабильности.

Источник:

• datacenterknowledge.com

InfiniBand — одна из технологий, используемых суперкомпьютерами для связи между собой. Ещё в июне 2010 года в 48,4% случаях использовался (GigE и 10 GigE), в то время, как InfiniBand (Numalink, SDR, DDR, DDR 4x, и QDR Sun M9/Mellanox/ParTec) примерно в 41%. Но уже в июле этого года InfiniBand опередила Ethernet. Во многом этому способствовала подробная статья издания Chelsio Communications, которая развеяла мифы вокруг технологии InfiniBand и опровергла утверждение, что Ethernet 10 Гбит/с быстрее неё.

В конце прошлого месяца компания Oracle сообщила о намерении инвестировать в Mellanox (MLNX), поставщика сквозных соединительных решений. А на прошлой неделе сама Mellanox объявила о присоединении к многостороннему соглашению с Пекинским Вычислительным центром для создания облачной лаборатории. Пекинской Вычислительный центр с помощью технологии InfiniBand предоставит Китайским академическим и коммерческим исследователям легкий и высокоскоростной доступ к высокоэффективному облаку для научных изысканий. Mellanox объявила, что её адаптер ConnectX-2 с поддержкой технологией VPI отныне доступен для использования в решениях высокой плотности типа Dell PowerEdge C6100. ConnectX-2 VPI от Mellanox может задействовать как 40 Гбит/с InfiniBand, так и 10GigE-технологии и подходит для разных нужд.

Компания Qlogic (QLGC) на прошлой неделе анонсировала начало сотрудничества с компанией Platform Computing по разработке ключевых компонентов кросс-платформенного ПО для управления кластерным оборудованием, для того, чтобы сделать его более удобными и эффективными для установки и использования. Набор инструментов FastFabric от Qlogic теперь можно устанавливать непосредственно из Platform Cluster Manager. Во вторник Qlogic объявила, что её адаптер QDR InfiniBand(R) серии 7300 установил новый мировой рекорд по скорости передачи данных без коллизий как между хостами, так и между уровнями кластера. Тесты проводились с использованием стандарта пропускной способности, установленного Университетом штата Огайо.

Расположенная в Израиле компания Voltaire (VOLT) предлагает scale-out решения как для InfiniBand, так и для Ethernet технологий. На прошлой неделе Voltaire предоставила финансовый отчет за третий квартал 2010 года и сообщила, что впервые получила прибыль в размере 3,6 млн. долларов. Рон Кеннет (Ronnie Kenneth), председатель и президент Voltaire прокомментировал это так: «в очередной раз наше ПО оказалось главным дифференциатором между Ethernet и InfiniBand, тем самым увеличив нашу конкурентоспособность. Благодаря следованию четкой стратегической линии мы хорошо развились и получили рост потребительского спроса».


Самая внушительная сеть InfiniBand располагается в Новом Орлеане, где на следующей неделе будет проведена Конференция по суперкомпьютерам SC10. Специалисты уже приступили к документированию процесса развертывания сети SCinet, которая будет иметь скорость передачи данных в 260 Гбит/с. Сеть будет построена по технологии InfiniBand стандартов Quad Data Rate 40, 80 и 120 Гбит/с.

SCinet будет использоваться для DICE-приложений (Data Intensive Computing Environment — среда для сложных вычислительных процессов) компании Avetec, реализующих Research Sandbox (System Area Network Demonstration — архитектура области сетевого представления). Это проект использует географически распределенную высокоскоростную широкополосную сетевую архитектуру. Проект должен продемонстрировать и протестировать инкапсуляцию и шифрование данных, передающихся по сети на базе InfiniBand между HPC-кластерами. По технологии каждая сторона подсоединяется к SC10 с помощью Ethernet и использует расширение Obsidian ES для инкапсуляции трафика InfiniBand вовнутрь десятигигабитного линка.

Источник:

• datacenterknowledge.com