Компания Samsung анонсировала решение под названием CXL Memory Module — Box (CMM-B): это массив модулей памяти CXL, предназначенный для монтажа в стойку. Новинка совместима с решениями Supermicro Plug and Play.

В состав CMM-B входят восемь пулов CXL-памяти на базе модулей E3.S CMM-D (PCIe 5.0) ёмкостью 2 Тбайт каждый. Таким образом, суммарный объём достигает 16 Тбайт. В составе стойки доступ к этому массиву могут получать три сервера Supermicro. Такая архитектура позволяет выделять необходимый объём памяти в соответствии с текущими нагрузками, устраняя узкие места в вычислительных системах. Через консоль SCMC (Samsung Cognos Management Console) можно отслеживать распределение памяти.

Источник изображений: Samsung

Устройство CMM-B выполнено в формате 4U. Заявлена совместимость со стандартами CXL 1.1/2.0. Пропускная способность достигает 60 Гбайт/с, тогда как задержка находится на уровне 596 нс. С точки зрения «чистой» производительности один модуль CMM-B работает медленнее, чем двухканальная подсистема оперативной памяти DDR5-4800. Тем не менее, устройство значительно быстрее, чем даже наиболее передовые SSD.

Представленная стоечная система разработана в тесном сотрудничестве с Supermicro. В состав решения, помимо CMM-B и трёх серверов, входит PCIe-коммутатор. Система предназначена для приложений, которым требуется большой объём памяти, таких как ИИ, анализ массивов информации и in-memory базы данных. CMM-B позволяет динамически выделять необходимую память системе, когда она необходима ей. Благодаря этому повышается гибкость использования инфраструктуры и снижаются энергетические затраты, говорят создатели.

Компания Samsung Electronics поставит в этом году ведущей южнокорейской интернет-компании Naver Corp. ИИ-ускорители Mach-1 следующего поколения собственной разработки. Сумма контракта составит до ₩1 трлн (около $752 млн), сообщил ресурс KED Global со ссылкой на отраслевые источники. Это позволит Naver значительно сократить зависимость от поставок ускорителей NVIDIA.

В октябре прошлого года Naver вынужденно стала использовать процессоры Intel Xeon вместо ускорителей NVIDIA. Смена оборудования Naver происходит на фоне роста недовольства технологических компаний увеличением цен на ускорители NVIDIA и их глобальной нехваткой. По словам Samsung, Mach-1 был разработан для поддержки Transformer-моделей и позволяет выполнять инференс больших языковых моделей (LLM) даже с маломощной памятью вместо энергоёмкой HBM, что делает его в восемь раз энергоэффективнее традиционных ускорителей на базе GPU. При этом Mach 1 на порядок дешевле чипов NVIDIA.

По словам источников, бизнес-подразделение Samsung System LSI и Naver находятся в заключительной стадии переговоров о поставке 150–200 тыс. ИИ-ускорителей Mach-1, цена которых может составить ₩5 млн ($3756) за штуку. Цены и точный объём поставок пока не согласованы. Сообщается, что Naver будет использовать Mach-1 для инференса вместо ускорителей NVIDIA в картографическом сервисе AI Naver Place. Naver готова покупать эти чипы и в дальнейшем, если первая партия покажет «хорошую производительность», отметили источники, по словам которых Samsung также ведёт переговоры о поставках Mach-1 с Microsoft и Meta✴.

Источник изображения: Samsung

Для Samsung сделка с Naver важна с точки зрения конкуренции с SK hynix, доминирующей в сегменте памяти HBM, спрос на которую в связи с популярностью генеративного ИИ резко вырос. Samsung сообщила о разработке первой в отрасли памяти HBM3E 12-Hi, массовое производство которой начнётся в I половине этого года. Кроме того, SK Group поддерживает разработку ИИ-ускорителей Sapeon, а Samsung сотрудничает с Rebellions. По оценкам Omdia, глобальный рынок ИИ-ускорителей вырастет с $6 млрд в 2023 году до $143 млрд к 2030 году.

Компания Samsung Electronics, по сообщению Bloomberg, сформировала лабораторию, специалистам которой предстоит заняться разработкой чипов следующего поколения для ИИ-приложений. Новое подразделение получило название Samsung Semiconductor AGI Computing Lab: его офисы будут располагаться в Южной Корее и США.

Главной задачей лаборатории является проектирование полупроводниковых чипов, способных справляться с высокими вычислительными нагрузками, связанными с развитием так называемого «общего искусственного интеллекта» (Artificial General Intelligence, AGI). Речь идёт о системах, которые по возможностям смогут как минимум не уступать человеческому мозгу, а, возможно, и превосходить его.

Источник изображения: pixabay.com

Современные ИИ-модели функционируют в рамках набора данных, на которых производилось обучение. Концепция AGI, в свою очередь, предполагает, что ИИ-система может выполнять задачи, для которых она изначально не обучалась. Такие модели должны обладать достаточной степенью самосознания и способностью осваивать новые навыки без вмешательства человека. Иными словами, AGI — это универсальный ИИ, способный решать сложные задачи, применяя обобщенные когнитивные способности. Фактически такая нейросеть может стать полноценной альтернативой человеческому мозгу.

Однако для поддержания работы AGI потребуются чипы нового поколения, обладающие необходимой производительностью при сравнительно небольшом энергопотреблении. Для достижения таких характеристик Samsung планирует переосмыслить все аспекты архитектуры процессоров, включая память, интерконнект и даже упаковку.

На первом этапе новая лаборатория сосредоточится на разработке чипов для больших языковых моделей (LLM) с упором на инференс. Руководителем Samsung Semiconductor AGI Computing Lab назначен Дон Хёк Ву (Dong Hyuk Wu), который ранее занимал должность старшего инженера-программиста Google.

Компания Samsung Electronics объявила о разработке первых в отрасли чипов высокопроизводительной памяти HBM3E в виде 12-ярусных стеков общей ёмкостью 36 Гбайт. Изделия ориентированы на применение в системах ИИ с большой вычислительной нагрузкой.

Новые чипы Samsung HBM3E обеспечивают пропускную способность до 1280 Гбайт/с. По этому показателю, как утверждается, решения более чем на 50 % превосходят доступные на рынке 8-слойные стеки HBM3.

Источник изображения: Samsung

При изготовлении чипов Samsung применяет технологию термокомпрессии в комплексе с диэлектрической плёнкой. В результате, суммарная высота полученных 12-слойных изделий эквивалентна высоте 8-слойных. Samsung добилась наименьших в отрасли зазоров в стеке — всего 7 мкм, а также устранила пустоты между слоями. Это позволило поднять плотность вертикальной компоновки более чем на 20 % по сравнению с 8-слойными продуктами HBM3.

Кроме того, при производстве стеков Samsung использует между слоями памяти контактные выступы разного размера. Небольшие выступы служат для передачи сигналов, тогда как более крупные улучшают отвод тепла. Такой подход, по заявлениям Samsung, также способствует снижению доли брака.

В целом, как утверждается, внедрение 12-слойной памяти HBM3E по сравнению с 8-слойными изделиями даёт возможность увеличить скорость обучения ИИ-моделей на 34 %, тогда как количество одновременно обслуживаемых пользователей систем инференса может вырасти в 11,5 раз. Пробные поставки новых чипов уже начались, а массовое производство намечено на I половину 2024 года.

Нужно отметить, что буквально на днях компания Micron объявила о начале массового производства 8-слойной памяти HBM3E на 24 Гбайт с пропускной способностью более 1,2 Тбайт/с. Кроме того, Micron уже в марте начнёт распространять образцы 12-ярусных чипов HBM3E ёмкостью 36 Гбайт.

Samsung, канадская телекоммуникационная компания Telus и облачная платформа Amazon Web Services (AWS) объявили о создании первой в Северной Америке системы виртуального роуминга. Предполагается, что новая архитектура по сравнению с традиционными подходами позволит повысить надёжность связи и обеспечить более высокую скорость для абонентов, находящихся за пределами домашнего региона.

Традиционно роуминговый трафик (голосовые вызовы, данные и SMS) маршрутизируется через страну нахождения оператора, с которым у абонента заключён договор на обслуживание. Однако такая схема может приводить к задержкам соединения и снижению общей производительности.

Новая технология предусматривает использование виртуализированных роуминговых шлюзов в облачных регионах AWS по всему миру. В результате, трафик абонентов Telus больше не требуется маршрутизировать через Канаду — он обрабатывается ближайшим к пользователю дата-центром AWS. Это значительно повышает доступность и производительность мобильных сервисов, включая интернет-подключение через сотовую сеть.

Фото: JESHOOTS.COM / Unsplash

Новая платформа базируется на технологии Cloud-native Core разработки Samsung для обработки мобильных данных и ng-voice для голосовых вызовов. Облачное ядро разработано с прицелом на гибкость и масштабируемость. Предложенное решение позволяет оптимизировать производительность и, в конечном итоге, повысить качество услуг для пользователей. Испытания виртуализированных роуминговых шлюзов начнутся в I квартале 2024 года.

Компании Samsung Electronics и Vodafone в сотрудничестве с AMD объявили о совершении первого в отрасли соединения в сети радиодоступа с архитектурой Open RAN на базе оборудования с процессорами EPYC. Целью эксперимента стала оценка производительности, энергоэффективности и совместимости решений партнёров. Пропускная способность сети превысила 1 Гбит/с при применении многопользовательского оборудования.

Эксперимент был успешно проведён в научно-исследовательской лаборатории Samsung в Корее. Участники проекта использовали совместимый с O-RAN софт виртуализации Samsung (vRAN). Были задействованы специализированные телеком-серверы Supermicro, оборудованные процессорами AMD EPYC 8004 Siena, которые как раз и ориентированы на подобные задачи. Кроме того, применялась контейнерная платформа Wind River Studio CaaS (Container-as-a-Service).

Концепция Open RAN, как ожидается, позволит радикально сократить расходы операторов связи на инфраструктуру благодаря использованию облачного ПО и оборудования от различных поставщиков вместо проприетарных систем какого-то одного производителя. Впрочем, на практике даже O-RAN сети нередко строятся на оборудовании одного поставщика.

Источник изображения: Samsung

Отмечается, что Samsung стала стратегическим партнёром Vodafone в рамках внедрения концепции Open RAN по модернизации устаревших сетей и развитию экосистемы нового типа в июне 2021 года. С тех пор стороны расширяют сотрудничество. А в сентябре 2023-го Samsung объявила о сотрудничестве с AMD для продвижения 5G vRAN. У Intel есть специализированные процессоры Xeon EE со встроенным ускорителем vRAN Boost.

Компания Samsung Electronics в партнёрстве с Red Hat впервые в отрасли успешно проверила работу памяти Compute Express Link (CXL) в реальной пользовательской среде. Это открывает путь для внедрения CXL в существующих дата-центрах для выполнения ресурсоёмких задач, таких как генеративный ИИ, средства автономного вождения и in-memory базы данных.

Интерконнект CXL, основанный на интерфейсе PCIe, обеспечивает высокоскоростную передачу данных с малой задержкой между хост-процессором и между такими устройствами, как серверные ускорители, буферы памяти и интеллектуальные IO-блоки. Технология позволяет повысить эффективность серверных платформ при одновременном снижении эксплуатационных расходов.

Источник изображения: Samsung

В рамках сотрудничества с Red Hat компания Samsung оптимизировала работу своей памяти CXL на платформе Red Hat Enterprise Linux (RHEL) 9.3. Специалисты проверили распознавание памяти, а также опробовали операции чтения и записи в средах Red Hat KVM и Podman. Полученные результаты говорят о том, что клиенты могут использовать память Samsung CXL в своих ЦОД без необходимости внесения дополнительных изменений в существующее оборудование.

Это, как утверждается, важная веха в интеграции аппаратного и программного обеспечения для создания открытой экосистемы с целью внедрения высокоскоростной памяти следующего поколения. Компании Samsung и Red Hat приступили к разработке руководства RHEL 9.3 CXL Memory Enabling Guide, которое поможет заказчикам в создании вычислительных систем с памятью CXL.

Отмечается, что Samsung сотрудничает с дата-центрами и поставщиками облачных услуг по всему миру, чтобы лучше удовлетворять их потребность в высокоскоростной памяти большой ёмкости. Меморандум о взаимопонимании (MOU) с Red Hat компания Samsung подписала в мае 2022 года. Партнёрство охватывает широкий спектр решений, включая NVMe-накопители и собственно память CXL.

Одна из крупнейших южнокорейских интернет-компаний Naver и местный гигант Samsung, по сообщению ресурса BusinessKorea, разработали специализированный ИИ-чип, который, как утверждается, обладает гораздо более высокой энергетической эффективностью по сравнению с другими аналогичными продуктами на коммерческом рынке. Ранее Naver из-за дефицита NVIDIA H100 вынужденно перешла на использование Intel Xeon в некоторых ИИ-задачах.

Подробностей об изделии не слишком много. Известно, что пока оно реализован посредством FPGA. Для снижения энергопотребления задействована память LPDDR, но её тип и объём не раскрываются. По имеющимся данным, новинка Samsung и Naver показывает приблизительно восьмикратный выигрыш в энергопотреблении по отношению к ускорителю NVIDIA H100. При этом не называются показатели быстродействия, а поэтому судить о производительности в расчёте на 1 Вт затрачиваемой энергии пока не представляется возможным.

Источник изображения: pixabay.com

Представители Naver, как отмечает ресурс DigiTimes, говорят, что конкурирующие ИИ-решения обычно используют 16-бит представление чисел, тогда как новый продукт Samsung и Naver оперирует 4-бит значениями, благодаря чему и достигается улучшение общих показателей. На создание изделия ушёл приблизительно год — Samsung и Naver сотрудничают над проектом с декабря 2022-го. Планируется, что новые чипы будут использоваться для поддержания работы масштабной ИИ-модели Naver HyperCLOVA X объёмом более 200 млрд параметров.

Компания Samsung Electronics в ходе ежегодного мероприятия Memory Tech Day сообщила о начале поставок образцов микросхем памяти HBM3E нового поколения с кодовым названием Shinebolt. Утверждается, что изделия Shinebolt обеспечивают прирост производительности примерно на 50 % по сравнению с чипами HBM3E предыдущего поколения (Icebolt). Пропускная способность в расчёте на контакт достигает 9,8 Гбит/с против 6,4 Гбит/с у Icebolt.

Источник изображения: Samsung

Таким образом, общая пропускная способность микросхем Shinebolt составляет до 1,228 Тбайт/с. Это позволяет использовать память в высоконагруженных системах, обрабатывающих приложения генеративного ИИ и машинного обучения. С целью повышения плотности компоновки и улучшения тепловых характеристик Samsung оптимизировала свою технологию непроводящей пленки (NCF): это позволило минимизировать зазоры между слоями чипа и максимизировать теплопроводность. Samsung планирует производить 12-ярусные чипы Shinebolt с максимальной ёмкостью 36 Гбайт.

Среди других продуктов, представленных компанией Samsung на мероприятии Memory Tech Day, — 32-гигабитные чипы DDR5 DRAM, первая в отрасли память GDDR7 с пропускной способностью 32 Гбит/с и архитектура PBSSD для создания решений «петабайтного класса».

На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.