Растущий спрос на приложения и сервисы генеративного ИИ способствует быстрому увеличению продаж специализированных вычислительных систем, о чём заявил председатель Foxconn Лю Янвэй (Liu Yangwei). По его оценкам, которые приводит ресурс AnandTech, к 2027 году объём рынка ИИ-серверов достигнет $150 млрд.

Отмечается, что ИИ-серверы — это относительно новая категория продуктов для дата-центров, в которых используются ускорители или специализированные чипы с быстрой памятью. Поэтому такие системы, как правило, значительно дороже, чем традиционные серверы для ЦОД и предприятий.

Источник изображения: Microsoft

Как отметил господин Янвэй, спрос на ИИ-серверы стремительно растёт. Согласно прогнозам, по итогам 2023 года продажи такого оборудования в денежном выражении составят приблизительно $30 млрд. В 2027-м, как уже было отмечено, затраты поднимутся до $150 млрд. Таким образом, на протяжении пятилетнего периода ожидается пятикратный рост продаж.

Для сравнения: в 2022-м размер общемирового рыка серверов в целом (с учётом систем всех классов), по данным IDC, составил около $123 млрд. К 2027-му этот показатель, как ожидается, поднимется до $186 млрд.

Основными заказчиками ИИ-серверов Foxconn называет поставщиков облачных услуг. Такие гиганты, как AWS, Google Cloud и Microsoft Azure, постоянно ищут передовые серверные решения для расширения спектра услуг и удовлетворения растущих потребностей клиентов в области ИИ. Председатель Foxconn сообщил, что компании принадлежит более 70 % рынка интерфейсных GPU-модулей и плат для серверов ИИ. Локализация производства в США позволяет Foxconn поддерживать партнёрские отношения с крупнейшими американскими облачными провайдерами.

На конференции Flash Memory Summit альянс компаний Samsung, MemVerge, H3 Platform и XConn Technologies продемонстрировал первые плоды своего сотрудничества. Речь идёт о новом CXL-пуле памяти ёмкостью 2 Тбайт, ставшим ответом на ряд проблем, с которым сталкиваются масштабные ИИ-платформы сегодня. Хостам, подключённым к пулу, можно динамически выделять требуемый объём RAM.

Таких проблем, связанных со слишком тесной привязкой DRAM непосредственно к процессорам или ускорителям, можно назвать множество: потеря производительности при вынужденном сбросе данных на медленные накопители, излишнее перемещение данных из памяти и обратно, повышенная нагрузка на подсистему хранения данных, да и нехватка памяти. А памяти современным ИИ-системам требуется всё больше и больше, но наращиванию её ёмкости мешает слишком «процессороцентричная» архитектура.

Источник изображения: MemVerge

Многие видят здесь выход в отказе от традиционной концепции и переходе на композитную инфраструктуру, использующую возможности CXL в области организации вынесенных и легко наращиваемых при необходимости пулах памяти. Является таким пулом и демонстрируемая содружеством вышеназванных компаний система 2TB Pooled CXL Memory System.

Источник изображения: Samsung

Её основой стали CXL-модули Samsung ёмкостью 256 Гбайт с интерфейсом PCIe 5.0, имеющие максимальную пропускную способность до 35 Гбайт/с. В качестве связующего звена применены коммутаторы XConn Technologies XC50256 (Apollo). Эти чипы имеют 256 линий PCIe 5.0/CXL 2.0, которые группируются в 32 порта и могут обеспечить коммутацию на скорости до 2048 Гбайт/с при минимальной латентности. Как отметил представитель XConn, новые ASIC по всем параметрам превосходят аналогичные решения предыдущего поколения на базе FPGA.

Источник изображения: XConn Technologies

Компания H3 Platform разработала компактное высокоплотное 2U-шасси. Также она отвечает за управляющее ПО H3 Fabric Manager, позволяющее удобно распределять CXL-ресурсы. Наконец, MemVerge ответственна за ПО, реализующее функцию «бесконечной памяти» — Memory Machine X. Этот комплекс, отвечающий за виртуализацию массивов памяти, поддерживает гибкое масштабирование, tiering, динамическое выделение памяти приложениям и многое другое, включая службу Memory Viewer, позволяющую наблюдать за топологией и загрузкой системы в реальном времени.

XConn Technologies представила первый, по её словам, в индустрии гибридный чип-коммутатор CXL 2.0/PCIe 5.0 XC50256, получивший кодовое название Apollo. Утверждается, что он обеспечивает самую низкую латентность port-to-port, а также самое низкое энергопотребление в отрасли.

Коммутатор способен работать с 256 линиями интерфейса и разработан с учётом потребностей, характерных для мира ИИ и машинного обучения, а также HPC-сегмента. Чип Apollo совместим с существующей инфраструктурой CXL 1.1, но поддерживает и режим 2.0, включая актуальные режимы CXL.mem или CXL.cache.

Источник изображений здесь и далее: XConn Technologies

Но наиболее интересной особенностью Apollo является возможность работы нового коммутатора в гибридном режиме — он способен одновременно обслуживать CXL и PCI Express, что в ряде случаев позволит избежать использования дополнительных коммутаторов под каждый стандарт, а значит, и снизить стоимость и сложность разработки конечной системы.

Новый коммутатор поддерживает подключение нескольких хостов к единому CXL-пулу памяти

Также компания анонсировала другой коммутатор, XC51256. Он также работает с 256 линиями, но поддерживает только PCI Express 5.0. Тем не менее, это самый высокоплотный PCIe-коммутатор на сегодня, поскольку большинство решений конкурентов обеспечивает в лучшем случае вдвое меньше линий PCI Express, утверждает XConn. ТXC51256 идеален для построения систем класса JBOA (Just-a-Bunch-Of-Accelerators).

В настоящее время образцы Apollo XC50256 и XC51256 уже доступны для заказчиков.

Microsoft планирует построить кампус ЦОД стоимостью $1 млрд в штате Висконсин (США) на территории, выделенной ранее компании Foxconn под строительство производственного комплекса стоимостью $10 млрд. Однако впоследствии планы тайваньского производителя изменились, и на данный момент здесь находится лишь небольшой ЦОД и линии по сборке серверов для Google и выпуску сетевого оборудования Cisco.

Microsoft запросила 141,6 га из 1011,7 имеющихся у Foxconn. Последняя выразила согласие на передачу всех прав на выбранный участок земли. В своём заявлении Foxconn отметила, что её решение передать участок земли свидетельствует о приверженности компании развитию науки и технологий в регионе. Для реализации сделки требуется финальное одобрение местных властей, которые отмечают, что округ стал привлекательным для Microsoft благодаря инвестициям в инфраструктуру.

Источник изображения: Pixabay

Предполагается, что строительство кампуса пройдёт в два этапа: первый начнется не позднее 1 июля 2026 года, а второй стартует не позднее 1 июля 2033 года. Foxconn отметила, что инвестировала в развитие региона более $1 млрд, производит здесь серверы и по-прежнему привержена «управлению текущими бизнес-операциями и стремится находить новые возможности в ответ на рыночный спрос».

UPD: городские власти проголосовали за постройку ЦОД, Microsoft заплатит $50 млн за земли.