Материалы по тегу: sierra forest

19.09.2023 [22:19], Алексей Степин

Intel показала 288-ядерный Sierra Forest — процессор с самым большим числом ядер x86

Долгое время компания Intel отставала от AMD в количестве процессорных ядер, сконцентрированных в пределах одного чипа. И хотя паритет не достигнут и по сей день, похоже в ближайшем будущем эта ситуация должна измениться в пользу «синих». Уже в поколении Sierra Forest Intel представит 144-ядерные процессоры Xeon, а в ближайшем будущем компания планирует удвоить количество ядер на CPU и, возможно, в будущем даже утроит их плотность.

В настоящее время компания готовит к выпуску две принципиально разные ветви нового поколения процессоров Xeon. В одной из этих ветвей под кодовым названием Sierra Forest будут применены только энергоэффективные Е-ядра, но их количество будет доведено до 144, что уже больше достигнутого AMD максимума в 128 ядер.

 Источник изображений здесь и далее: Intel via Tom's Hardware

Источник изображений здесь и далее: Intel via (Tom's Hardware)

Но, как сообщил глава компании на мероприятии Intel Innovation 2023, останавливаться на этом разработчики не собираются и Intel уже имеет на руках и собирается выпустить в будущем аналогичный процессор, но уже с 288 ядрами, которые, впрочем, останутся энергоэффективными и однопоточными.

 Сравнение площадей кристаллов Sierra Forest (слева) и Granite Rapids. Источник: Wild_C/X via Tom's Hardware

Сравнение площадей кристаллов Sierra Forest (слева) и Granite Rapids. Источник: Wild_C/X via Tom's Hardware

Это будет достигнуто благодаря новой чиплетной компоновке, на которую Intel переходит в пятом поколении процессоров Xeon Scalable. Использоваться будет та же архитектура Sierra Forest: как известно, 144-ядерные модели этих чипов состоят из трёх тайлов (вычислительного и двух I/O-модулей), так что для реализации варианта с 288 ядрами будет достаточно просто добавить ещё один вычислительный тайл.

 1

Источник: Intel

Xeon Scalable пятого поколения с P-ядрами — Granite Rapids — будет использовать три вычислительных тайла-чиплета. По подсчётам зарубежных коллег-обозревателей, площадь тайла Granite Rapids составляет 598 мм2, а Sierra Forest — 578 мм2. Теоретически Intel может выпустить и трёхтайловый вариант Sierra Forest, что даст невиданные ранее 432 ядра в одном процессоре.

Также компания сообщила о судьбе процессоров Xeon Emerald Rapids, наследников Sapphire Rapids. Эти обновлённые чипы, также построенные на базе техпроцесса Intel 7, должны увидеть свет уже 14 декабря этого года. Чипы на базе более совершенного Intel 3 в лице Sierra Forest и Granite Rapids, напомним, запланированы на первую половину следующего года. Конкурировать им придётся с AMD Turin с ядрами Zen 5. А решения Intel Clearwater Forest на базе Intel 18A появятся лишь в 2025 году.

Постоянный URL: http://www.servernews.ru/1093284
10.09.2023 [20:22], Алексей Степин

Intel показала чиплетные процессоры Xeon Granite Rapids и Sierra Forest без крышек

Компания Intel опубликовала на своём сайте любопытное видео, которое, впрочем, довольно быстро отредактировала — в нём демонстрируются некие процессоры без крышки-теплораспределителя. Судя по всему, речь идёт о новых чипах Xeon под кодовыми названиями Granite Rapids и Sierra Forest, о которых мы не так давно рассказывали читателям.

Как известно, в новом поколении Xeon Intel окончательно отходит от монолитной технологии и переходит на тайловую (чиплетную), в которой модули сшиваются при помощи технологии EMIB, а общаются друг с другом с помощью интерконнекта Intel Modular Mesh Fabric.

Источник изображений здесь и далее: Intel

Тайлов у новых процессоров два вида: вычислительные, которые несут в себе и контроллеры памяти, и тайлы ввода-вывода (I/O), отвечающие за реализацию PCIe, CXL и UPI, а также различных вспомогательных ускорителей.

На кадрах из опубликованного видео хорошо видна «полосатая» структура новых процессоров, в точности соответствующая слайдам, относящимся к Granite Rapids: центральную часть занимает тройка вычислительных тайлов с высокопроизводительными Р-ядрами, а по бокам расположены более тонкие I/O-тайлы, один из которых немного сдвинут относительно других чиплетов.

Другой кадр демонстрирует упаковку чипов, имеющих иную конфигурацию: здесь тайлов всего три, но центральный существенно крупнее, нежели на предыдущих кадрах. Уже известно, что вычислительные тайлы у процессоров Sierra Forest модульные и могут набираться блоками по 2 или 4 ядра, так что речь в данном случае явно идёт об этих CPU, использующих только энергоэффективные Е-ядра.

Судя по всему, производственный цикл новых Intel Xeon успешно запущен. Напомним, официально увидеть свет Granite Rapids и Sierra Forest должны в следующем году.

Постоянный URL: http://www.servernews.ru/1092819
29.08.2023 [22:18], Алексей Степин

Intel поделилась некоторыми подробностями о 144-ядерных Xeon Sierra Forest

На конференции Hot Chips 2023 корпорация Intel рассказала о новых чипах Xeon, в том числе о создаваемых специально под нужды гиперскейлеов процессорах Sierra Forest. Они не только получат чиплетную компоновку и до 144 ядер на CPU, но и будут обладать рядом архитектурных особенностей, делающих эти процессоры уникальными.

Стоит начать с того, что подход, применённый к Sierra Forest, кардинально отличается от подхода AMD, которая в процессорах EPYC Bergamo просто применила оптимизированные по площади кристалла ядра Zen 4c. Архитектурно эти ядра во всём подобны Zen 4, хотя и лишены некоторых возможностей.

 Изображения: Intel (via ServeTheHome)

Изображения: Intel (via ServeTheHome)

Совсем другое дело Sierra Forest — это первые Xeon, построенные на базе исключительно энергоэффективных Е-ядер, базирующихся на микроархитектуре под кодовым названием Crestmont (Sierra Glenn). И эта архитектура, в основе которой лежит техпроцесс Intel 3, изначально оптимизирована с учётом достижения максимальных энергоэффективности и горизонтальной масштабируемости.

Intel говорит о 2,5-кратном превосходстве в плотности упаковки в пересчёте на стойку и 2,4-кратном преимуществе в производительности на Вт в сравнении с Sapphire Rapids. Новые E-ядра могут быть сгруппированы в кластеры по 2 или 4 ядра, в отличие от Gracemont, не поддерживающего кластеризацию менее чем по 4 ядра.

В зависимости от компоновки и модели, таким образом, 4 Мбайт общего кеша L2 может приходиться на те же 2 или 4 ядра, что позволит заказчикам выбрать процессор с учётом используемых сценариев: с максимизацией количества ядер, либо с меньшим числом ядер, но с более высокой производительностью на ядро.

Новые ядра нельзя назвать упрощёнными: они характеризуются развитыми подсистемами фронт- и бэкэнда, довольно объёмным кешем инструкций (64 Кбайт), сдвоенным внеочередным декодером, способным декодировать до 6 инструкций за такт, и конвейером, рассчитанным на выполнение до 8 микроопераций за такт. Также реализован достаточно продвинутый механизм предсказания ветвлений с высокой глубиной хранения истории, причём вмещает этот механизм достаточно объёмные структуры.

Следует отметить, что поддержки Hyper-Threading новые ядра не имеют, поэтому количество одновременно исполняемых потоков не превысит 144, что меньше, нежели у AMD Bergamo, где наличие такой поддержки позволяет говорить о 256 потоках. Однако в поддержке актуальных наборов инструкций и форматов данных Intel будущим чипам Sierra Forest не отказала.

Новые процессоры научатся работать с BF16, а также поддерживают продвинутые наборы инструкций вроде AVX-IFMA и AVX-DOT-PROD-INT8, однако не AVX-512. Не будет и матричных расширений AMX — два последних набора останутся прерогативой P-ядер Redwood Cove. Впоследствии Intel планирует сгладить эту разницу с помощью AVX10, но не в поколении Sierra Forest. В качестве мер по обеспечению повышенной безопасности в новых Е-ядрах реализованы технологии Intel CET, VT-rp, поддерживаются доверенные домены (технология Trusted Domain Extensions, TDX), а также расширения SGX.

Базовой единицей компоновки Sierra Forest станет тайл, содержащий 2 или 4 ядра, 4 Мбайт кеша L2, а также «кусок» (slice) кеша LLC объёмом 3 Мбайт. LLC делится между всеми ядрами в процессоре, но его также можно будет разбить на кластеры для отдельных NUMA-узлов. Сшивка тайлов в чиплет будет осуществляться за счёт логически монолитной, но при этом модульной меш-сети, за связь же чиплетов между собой отвечают мостики EMIB.

По краям чиплета расположится подсистема памяти — контроллеры DDR5-6400. В этом тоже есть отличие от подхода AMD. В случае Sierra Forest и Granite Rapids IO-тайл будет одинаковым для обоих процессоров, но он не будет содержать контроллеры памяти, а лишь HSIO-линии (PCIe 5.0, UPI) и некоторую другую обвязку. К слову, оба Xeon нового поколения, наконец, станут полноценными SoC.

На уровне платформы Sierra Forest будет поддерживать только двухпроцессорные конфигурации, что ограничит максимальную конфигурацию системы 288 ядрами. Платформу Birch Stream они будут делить с Granite Rapids, но последние получат поддержку 8S-конфигураций. Теплопакет Sierra Forest, согласно опубликованным слайдам, не превысит 205 Вт на процессор. Это не так уж много — для сравнения, 128-ядерные AMD EPYC Bergamo имеют TDP 360 Вт.

В целом, Sierra Forest чем-то напоминает концепцией решения Ampere Computing — это процессор с максимально возможным в рамках используемого пакета технологий количеством относительно несложных ядер, ориентированный на использование в облачных средах, в т.ч. хорошо подходящий для одновременного запуска множества виртуальных машин.

Однако в отличие от AmpereOne он позволит использовать всё богатство накопленного для платформы x86 программного обеспечения без необходимости пересборки. В сочетании с высокой заявленной энергоэффективностью это может отвлечь внимание потенциальных заказчиков от решений на базе Arm.

Постоянный URL: http://www.servernews.ru/1092233
29.08.2023 [17:00], Сергей Карасёв

Intel Xeon следующего поколения получат 12 каналов DDR5 и 136 линий PCIe 5.0/CXL 2.0

Корпорация Intel на конференции Hot Chips 2023, по сообщению The Register, рассказала о процессорах Xeon следующего поколения для платформы Birch Stream, известных под кодовыми обозначениями Sierra Forest и Granite Rapids. Эти изделия получат ряд улучшений в плане поддержки оперативной памяти и интерфейсов ввода/вывода. А ещё они, наконец-то, станут полноценными SoC, которые не требуют дополнительной обвязки для старта и работы.

Нынешние чипы Xeon Sapphire Rapids предлагают восемь каналов памяти DDR5-4800 (1DPC) и DDR5-4400 (2DPC), а также 80 линий PCIe 5.0/CXL 1.1. Вместе с тем конкурирующие AMD EPYC Genoa имеют 12 каналов памяти DDR5-4800 и 128 линий PCIe 5.0. При этом с 2DPC у Genoa не всё гладко. Процессоры Xeon следующего поколения обеспечат поддержку DDR5 DIMM и MCR DRAM, причём с поддержкой 2DPC, а также 136 линий PCIe 5.0/CXL 2.0 (с упором на Type-3) и 6 линий UPI. В марте нынешнего года Intel сообщала, что Granite Rapids смогут работать с памятью MCR-8800. Пропускная способность ОЗУ по сравнению с Sapphire Rapids возрастёт практически в три раза.

 Источник изображений: Intel

Источник изображений: Intel

Впрочем, главной особенностью Sierra Forest и Granite Rapids станет полный переход на чиплетную компоновку. В них два IO-тайла, которые и предоставляют HSIO-линии, «сшиты» посредством EMIB с вычислительными тайлами, которых может быть от одного до трёх. Это позволит консолидировать основную функциональность на уровне платформы (Birch Stream), которая едина для обоих процессоров и физически, и электрически, и логически. Впрочем, важное отличие есть: Sierra Forest рассчитаны на одно- и двухсокетные системы, тогда как Granite Rapids поддерживают и 8S-конфигурации.

Чипы Sierra Forest с ядрами E (с высокой энергетической эффективностью) ориентированы на горизонтально масштабируемые рабочие нагрузки, а изделия Granite Rapids с ядрами P (с высокой производительностью) предназначены для приложений с интенсивными вычислениями. При этом компания, несмотря на имеющиеся возможности, не намерена создавать гибридные процессоры с P- и E-ядрами. В случае Sierra Forest компания сосредоточилась на повышении плотности размещения ядер с минимальным ущербом для производительности. Заказчикам на выбор будут доступны два варианта: два или четыре ядра на один блок L2-кеша объёмом 4 Мбайт, причём с возможностью более тонко контролировать, какие данные будут туда попадать.

Процессоры будут изготавливаться по 7-нм технологии Intel 3. В семейство войдут решения, насчитывающие до 144 ядер, но это максимум для Sierra Forest (будут и более простые модели), а вот лимит под ядрам для Granite Rapids так и не был назван. Для Sierra Forest заявлена поддержка BF16 и FP16, а вот AVX-512 они лишены напрочь. Частично упростит унификацию кода для разных процессоров появление AVX10, но полноценно эти инструкции будут реализованы лишь в будущих поколениях. В случае с Granite Rapids упомянута поддержка Advanced Matrix Extensions (AMX) с FP16 для задач ИИ и машинного обучения.

Постоянный URL: http://www.servernews.ru/1092183
30.03.2023 [19:45], Владимир Мироненко

В 2023 году Intel выпустит Xeon Emerald Rapids и подготовит полтора десятка FPGA, а чипы Sierra Forest и Granite Rapids появятся уже в 2024 году

В ходе мероприятия для инвесторов Intel подтвердила свои планы по противодействию процессорам AMD EPYC Bergamo, в которых будет использоваться архитектура с высокой плотностью ядер Zen4c, а также всё нарастающему давлению Arm. Intel придерживается планов по созданию собственных архитектур с производительными и энергоэффективными ядрами для чипов Xeon.

Intel объявила, что рассчитывает выпустить следующее, пятое по счёту поколение процессоров Xeon Scalable под кодовым названием Emerald Rapids (EMR), преемников Sapphire Rapids (SPR), в IV квартале 2023 года. Компания также продемонстрировала чип Emeralds Rapids, состоящий из двух чиплетов (тайлов в терминологии Intel). Sapphire Rapids, напомним, имеется четыре тайла меньших размеров. Сообщается, что образцы Emerald Rapids уже доступны избранным заказчикам. Не вдаваясь особо в технические подробности, компания рассказала, что Emerald Rapids будет работать в том же диапазоне TDP, что и Sapphire Rapids, что повысит общую производительность платформы в пересчёте на Вт.

 Изображения: Intel

Изображения: Intel

Учитывая то, что Emerald Rapids будет использовать ту же платформу LGA 4677, что и Sapphire, заказчики смогут заменить Sapphire на Emerald в существующих решениях. Такой подход позволит легко модернизировать уже внедрённые системы, а в случае производителей оборудования — ускорить вывод Emerald Rapids на рынок. Emerald Rapids будет построен на том же техпроцессе Intel 7. Это означает, что прирост производительности должен быть обеспечен за счёт архитектурных улучшений. Intel сообщила о «повышенной плотности ядер», поэтому можно предположить, что у Emerald Rapids будет больше ядер в сравнении с Sapphire Rapids.

 Emerald Rapids

Emerald Rapids

Вслед за Emerald Rapids компания планирует начать в 2024 году поставки чипов следующего поколения Granite Rapids (GNR) на базе производительных P-ядер. Сообщается, что вычислительные тайлы Granite Rapids будут выпускаться с использованием техпроцесса Intel 3. Intel также впервые сообщила, что Granite Rapids будут поддерживать MCR DIMM (DDR5-8800+) и обеспечат ПСП в пределах 1,5 Тбайт/с (12 каналов памяти). Ещё одной особенностью станет полный переход на чиплетную компоновоку с независимым IO-тайлом. Первые образцы Granite Rapids уже тестируются некоторыми заказчиками.

 Emerald Rapids

Emerald Rapids

В первой половине 2024 года должен выйти и процессор Sierra Forest (SRF), первый Intel Xeon с энергоэффективными E-ядрами (следующее за Gracemont поколение) общим числом до 144 единиц. Сообщается, что Sierra Forest и Granite Rapids будут использовать одну и ту же платформу Birch Stream. Следует отметить, что чипы Sierra Forest появятся несколько раньше, чем Granite Rapids, и тоже будут использовать техпроцесс Intel 3, а также IO-тайлы. Отмечается, что Sierra Forest даже в текущем виде оказались на удивление стабильно работающими. Более того, их уже тестирует как минимум один заказчик Intel.

 Sierra Forest

Sierra Forest

На смену Sierra Forest придут в 2025 году чипы Clearwater Forest (CWF), которые станут первыми в семействе Intel Xeon, основанными на техпроцессе Intel 18A. По словам Intel, её заказчики не хотят серверные процессоры смешанной архитектуры, то есть требуют чипы либо только с P-ядрами, либо только с E-ядрами. Sierra Forest сейчас является, пожалуй, наиболее важным продуктом для Intel и для демонстрации производственных возможностей, и для сохранения заказчиков среди гиперскейлеров.

Что касается ускорителей, то компания в этом году планирует подготовить сразу 15 различных FPGA в сериях Agilex и Stratix, а также eASIC. Intel, как уже говорилось ранее, не забрасывает работу над специализированными ускорителями Habana, но грядущие Gaudi3 от нынешних Gaudi2 будут отличаться переходом с 7-нм на 5-нм техпроцесс. Отменённых Rialto Bridge в планах более нет, да и Falcon Shores тоже не упоминаются. При этом Intel считает, что к 2027 году в области ИИ-чипов соотношение между CPU и GPU будет на уровне 60/40.

Постоянный URL: http://www.servernews.ru/1084265
20.03.2023 [18:51], Сергей Карасёв

Референсная плата Venue City для будущих Intel Xeon обеспечит поддержку процессоров с TDP до 500 Вт

В интернете, как сообщает ресурс VideoCardz, появилась информация о решении для валидации будущих Intel Xeon — плате с кодовым названием Avenue City. Предполагается, что речь идёт о платформах Birch Stream и Mountain Stream для процессоров Sierra Firest-AP и Granite Rapids-AP, поскольку для Avenue City, судя по габаритам сокета, предусмотрено использование разъёма LGA-7529.

Показатель TDP будущих чипов теоретически сможет достигать 500 Вт. Говорится о поддержке 12 каналов оперативной памяти DDR5-6400, а также MCR-модулей (DDR5-8000). Эталонная платформа Avenue City RP включает 20-слойную печатную плату с размерами приблизительно 424,2 × 508,0 мм. Она содержит два процессорных разъёма и 24 слота для модулей ОЗУ. Новая плата, вероятно, ориентирована на гиперскейлеров, на что, в частности, указывает наличие слота для модуля DC-SCM с RunBMC.

 Источник изображения: Yuuki_Ans / Intel (нажмите для увеличения)

Источник изображения: Yuuki_Ans / Intel (нажмите для увеличения)

Процессоры Granite Rapids, по предварительной информации, получат до 128 вычислительных ядер (256 потоков инструкций). Изделия Sierra Forest, в свою очередь, будут насчитывать до 334 ядер (столько же потоков инструкций). В дальнейшие планы Intel входит выпуск платформы с процессорами Diamond Rapids и Clearwater Forest. Эти чипы увидят свет не ранее середины текущего десятилетия.

Постоянный URL: http://www.servernews.ru/1083681
18.02.2022 [01:45], Игорь Осколков

И P, и E: анонсированы процессоры Intel Xeon Emerald Rapids, Granite Rapids и Sierra Forest

Intel ожидает, что объём рынка серверных решений удвоится в период с 2021 по 2026 год, поскольку объёмы генерируемых, хранимых и обрабатываемых данных непрерывно растут. Одними из ключевых направлений развития в этой области для неё станут ИИ и безопасность. Компания полагает, что в скором времени ИИ-решения будут сопутствовать практически любым нагрузкам.

Иными словами, Intel продолжает считать, что CPU должны быть как можно более универсальными, и поэтому будет и далее развивать ИИ-возможности Xeon. В частности, в задачах обучения Sapphire Rapids будут в 30 раз быстрее Ice Lake-SP, а в инференсе — в 6 раз. При этом компания обращает внимание не только на общую производительность процессоров, но и на скорость работы в реальных задачах, тех же ИИ-нагрузках или, допустим, в работе СУБД.

 Изображения: Intel

Изображения: Intel

Важна не только производительность на ядро, но и энергоэффективность и масштабируемость, на которые обращают особое внимание гиперскейлеры. Исходя из массы запросов и собранных метрик Intel и проектирует будущие CPU. И вот тут начинается самое интересное. Как известно, Sapphire Rapids базируются на P-ядрах (Golden Cove) и производятся с использованием техпроцесса Intel 7 (10 нм Enhanced SuperFIN). P-ядра оптимизированы с точки зрения производительности, как и все предыдущие поколения Xeon.

P-ядра станут основой и для процессоров Emerald Rapids, тоже на базе Intel 7, которые выйдут уже в 2023 году. Эти CPU можно назвать Refresh’ом для Sapphire Rapids. Платформа у них будет одинаковая — Eagle Stream. Основные улучшения в новинках коснутся подсистемы памяти и функций безопасности. Хотя Intel прямо об этом не говорит, можно предположить, что они получат поддержку следующего поколения памяти Optane. Для Sapphire Rapids, напомним, ожидается появление Intel Optane PMem 300 (Crow Pass).

В 2024-ом им на смену придут Granite Rapids — на базе техпроцесса Intel 3 (оптимизированные 7 нм), а не Intel 4, как говорилось ранее — и новая платформа для них. Подробности о них Intel пока раскрыть не готова. Но тогда же, на том же техпроцессе и для той же платформы появятся процессоры Sierra Forest, о которых компания публично говорит впервые. Эти CPU будут использовать E-ядра следующего поколения, но те же IO-блоки (память, PCIe и т.д.), что и Granite Rapids. Возможно, к этому моменту Intel перейдёт на полностью чиплетную компоновку.

Sierra Forest будут оптимизированы с точки зрения производительности на Ватт и плотности размещения, что должно понравиться гиперскейлерам, а единая платформа позволит выбирать CPU между ними и Granite Rapids в зависимости от планируемых задач. AMD со своими 5-нм EPYC Bergamo и модифицированными ядрами Zen4c целится в этот же сегмент, но выпустит их уже в 2023 году. Впрочем, всё это вряд ли остановит самых крупных игроков от попыток создания собственных CPU, как уже сделала Amazon, и не ослабит интерес к Arm вообще.

Грубо говоря, Granite Rapids и будущие поколения на P-ядрах, будут масштабироваться вертикально, наращивая в рамках заданного теплопакета производительность в более узких задачах (ИИ, HPC, СУБД), а Sierra Forest и прочие E-решения — горизонтально, увеличивая число ядер, снижая задержки и повышая параллелизм (важно для веб-сервисов или аналитики). Время единой и универсальной серверной архитектуры, видимо, постепенно проходит, и гибридное (с P- и E-ядрами одновременно) решение Intel делать не планирует.

Что же касается дел насущных, то Intel сообщила об отгрузке более 1 млн Xeon Ice Lake-SP в IV квартале, суммарно почти 2 млн к концу прошлого года. Более того, в декабре Intel поставила больше Intel Xeon, чем любой из её конкурентов за весь 2021 год. Поставки Sapphire Rapids компания обещает начать уже в этом квартале. И, по словам Intel, это наиболее богатый по возможностям серверный процессор, когда-либо созданный ею. Видимо, именно обилие функций побудило Intel сделать часть из них опциональными и активируемыми за отдельную плату.

Ранее компания показала первые сравнения производительности процессоров Sapphire Rapids и ускорителей Ponte Vecchio с актуальными решениями конкурентов, а также анонсировала ускорители Arctic Sound-M на базе Xe-HPG и гибридные чипы Falcon Shores. Несмотря на попытки добавить как можно больше ИИ-функций в процессоры, Intel отмечает, что ускорители, конечно, никуда не денутся и будут использоваться в более узких задачах обучения и инференса — рынок ИИ-железа будет расти на 20-25% ежегодно.

Компания ожидает, что продажи её ИИ-решений достигнут объёма $40 млрд в 2026 году, а серверного направления в целом, куда помимо ускорителей и CPU входят также FPGA и IPU — более $65 млрд. Intel, как и обещала ранее, будет уделять особое внимание развитию не только аппаратных, но и программных решений (у неё в штате уже более 19 тыс. разработчиков), и станет ещё более активно вкладываться в open source. Кроме того, компания в очередной раз подчеркнула важность стратегии IDM 2.0.

Постоянный URL: http://www.servernews.ru/1060473
Система Orphus