Сроки поставок ускорителей NVIDIA H100 значительно сократилось, с 8–11 мес. до всего 3-4. По данным Tom’s Hardware, в результате многие компании, ранее сделавшие огромные запасы, пытаются продать излишки. Кроме того, стало намного легче арендовать ускорители в облаках Amazon, Google и Microsoft. Впрочем, разработчики ИИ-моделей до сих пор испытывают проблемы с доступом к ресурсам ускорителей, поскольку спрос превышает предложение.

Как сообщают СМИ, некоторые компании пытаются перепродать доставшиеся им H100, а другие стали заказывать меньше в связи с высокой стоимостью обслуживания складских запасов и окончанием паники на рынке. В прошлом году приобрести подобные ускорители было чрезвычайно сложно. Отчасти улучшение ситуации на рынке связано с тем, что провайдеры облачных сервисов вроде Amazon (AWS) и других крупных игроков упростили аренду H100.

Источник изображения: NVIDIA

Несмотря на то, что доступ к H100 упростился, желающим обучать LLM добраться до ресурсов по-прежнему непросто, во многом потому, что им требуются ускорители в невероятных количествах, в некоторых случаях речь идёт о сотнях тысяч экземпляров, поэтому цены на них до сих пор не упали, а NVIDIA продолжает получать сверхприбыли.

При этом рост доступности привёл к тому, что компании всё чаще пытаются сэкономить, ведут себя более избирательно при выборе предложений продажи или аренды, стараются приобрести более мелкие кластеры и внимательнее оценивают их экономическую целесообразность для бизнеса. Кроме того, альтернативные решения становятся все более распространёнными и всё лучше поддерживаются ПО. Это ведёт к формированию сбалансированной ситуации на рынке.

Так или иначе, спрос на ИИ-чипы по-прежнему высок, а с учётом того, что LLM становятся всё масштабнее, требуется больше вычислительных мощностей. Поэтому крупные игроки, которые зависят от поставок решений NVIDIA, занялись созданием собственных ускорителей. Среди них Microsoft, Meta✴ и OpenAI.

Спрос на колокейшн-пространства в дата-центрах Европы превышает предложение. В докладе экспертов по недвижимости компании CBRE, говорится, что даже большого количества новых строящихся объектов регионе будет не хватать для полного удовлетворения потребностей клиентов.

В CBRE заявляют, что второй раз за последние пять лет объём аренды в Европе превысил площади введённых в эксплуатацию новых объектов. Согласно данным доклада за IV квартал 2023 года, на 14 крупнейших рынках Европы в 2023 году был освоен 601 МВт, тогда как новых объектов ввели в эксплуатацию за тот же период лишь на 561 МВт.

Как потребление, так и предложение увеличились даже в сравнении с 2022 годом — год к году рост составил для каждого из направлений 10 % и 2 % соответственно. Один из источников дисбаланса — рынки FLAPD (Франкфурт, Лондон, Амстердам, Париж и Дублин), где только в последней четверти прошлого года было освоено 252 МВт, что на 41 % выше в сравнении с предыдущим кварталом (179 МВт). Основной рост пришёлся на Дублин, Лондон и Париж.

Источник изображения: Pedro Lastra/unsplash.com

Как заявляют в CBRE, одним из ключевых факторов роста стала потребность гиперскейлеров во всё больших объектах, оптимизированных под их специфические запросы. Средний размер новых «оптовых» объектов в Европе за последние два года чрезвычайно вырос и спрос будет увеличиваться и дальше. Новые стройки станут вести по всей Европе, в том числе, конечно, в городах кластера FLAPD.

Источник: CBRE

Ранее появилась новость о намерении Global Switch построить новый ЦОД в Лондоне — пятиуровневый объект London South ёмкостью 40 МВт и площадью 27 тыс. м². А в этом месяце Mercury передала Digital Realty в Париже 19-МВт ЦОД PAR9 с 12 залами. В CBRE считают, что спрос в Европе только увеличится из-за роста сегмента ИИ, поскольку многие организации намерены повысить эффективность своих операций с помощью систем ИИ и машинного обучения. Главной проблемой остаётся нехватка электроэнергии и подходящих для внедрения ИИ дата-центров в Европе.

Компания NVIDIA, по сообщению ресурса Seeking Alpha, прогнозирует высокий спрос на ИИ-ускорители следующего поколения Blackwell. Поэтому сразу после выхода на рынок эти изделия окажутся в дефиците, и их поставки будут ограничены. «На все новые продукты спрос превышает предложение — такова их природа. Но мы работаем так быстро, как только можем, чтобы удовлетворить потребности заказчиков», — говорит глава NVIDIA Дженсен Хуанг (Jensen Huang).

Из-за стремительного развития генеративного ИИ на рынке сформировалась нехватка нынешних ускорителей NVIDIA H100 поколения Hopper. Срок выполнения заказов на серверы с этими изделиями достигает 52 недель. Аналогичная ситуация, вероятно, сложится и с ускорителями Blackwell, анонс которых ожидается в течение нынешнего года. «Полагаем, что отгрузки наших продуктов следующего поколения будут ограниченными, поскольку спрос намного превышает предложение», — сказала Колетт Кресс (Colette Kress), финансовый директор NVIDIA.

Главный вопрос заключается в том, насколько быстро NVIDIA сможет организовать массовое производство Blackwell B100, а также серверов DGX на их основе. Дело в том, что это совершенно новые продукты, в которых используются другие компоненты. По имеющейся информации, Blackwell станет первой архитектурой NVIDIA, предусматривающей чиплетную компоновку. Это может упростить производство ускорителей на уровне кремния, но в то же время усложнит процесс упаковки.

Источник изображения: NVIDIA

В дополнение к флагманскому чипу B100 для ИИ и HPC-задач компания готовит решение B40 для корпоративных заказчиков, гибридный ускоритель GB200, сочетающий ускоритель B100 и Arm-процессор Grace, а также GB200 NVL для обработки больших языковых моделей.

По итогам 2023 года объём российского рынка услуг ЦОД достиг 42,8 млрд руб. Это на 21,2 % больше по сравнению с предыдущим годом, о чём, как сообщает газета «Коммерсантъ», говорится в совместном исследовании 3data и IKS-Consulting, посвящённом сегменту colocation.

Авторы отчёта оценивают ежеквартальное изменение цен на базовую услугу колокации, а также уровень покупательского спроса и предложения на инфраструктуру коммерческих ЦОД (3data colocation index). Под базовой услугой понимается выделение места в дата-центре для размещения стандартной серверной стойки с подведённым электропитанием мощностью до 5 кВт и предоставление в пользование 42U-пространства.

В IV квартале 2023-го в Москве средняя цена на colocation-услуги составила 107,4 тыс. руб., что на 2 % больше в годовом исчислении. В Санкт-Петербурге этот показатель за год увеличился на 13 %, достигнув 84,1 тыс. руб. Столь значительная разница в темпах роста стоимости объясняется тем, что в Москве в 2023 году были запущены два крупных ЦОД, а количество введённых в эксплуатацию серверных стоек составило около 9 тыс. против только 400 в Санкт-Петербурге.

Источник изображения: 3data

В целом, как отмечается, в России спрос на услуги ЦОД превышает предложение. В связи со сложившейся геополитической обстановкой отечественные компании активно переносят свои рабочие нагрузки в дата-центры на территории РФ. При этом строительство новых ЦОД осложнено из-за нехватки зарубежного оборудования.

В компании «Ростелеком-ЦОД», добавляет «Коммерсантъ», полагают, что спрос на colocation-услуги в 2024 году будет по-прежнему опережать предложение. В Oxygen считают, что даже в случае активного ввода новых мощностей в эксплуатацию стоимость колокации в России будет расти на 5–7 % в год.

Microsoft приобрела социальную сеть LinkedIn ещё в 2016 году. В 2019 году Microsoft объявила и планах перенести всю инфраструктуру LinkedIn в облако Azure, избавившись от принадлежих соцсети ЦОД. Однако, как сообщает Datacenter Dynamics, процесс миграции долгое время откладывался, а сейчас с ним и вовсе было решено повременить. Соответствующий проект под кодовым названием Blueshift поставлен на паузу, хотя никто не говорит о его полной отмене.

Как выяснилось, ещё летом прошлого года технический директор LinkedIn уведомил сотрудников о том, что хотя компания продолжит использовать некоторые сервисы Azure, она сфокусируется на масштабировании и модернизации собственной инфраструктуры. В числе причин, препятствующих переходу в облако Microsoft, он назвал огромный спрос на сервисы Azure и рост собственной платформы — в результате было решено приостановить миграцию для того, чтобы перераспределить ресурсы облака в пользу внешних клиентов.

Источник изображения: Microsoft

Впрочем, эксперты считают, что это не единственные и, возможно, не главные причины пересмотра планов. Социальная сеть строит новый ЦОД и работает с уже существующими. В ноябре количество аккаунтов перевалило за 1 млрд, так что LinkedIn вынуждена взвешенно подходить к вопроса развития инфраструктуры. Хотя компания начала пользоваться некоторыми сервисами Azure, включая CDN FrontDoor, к середине 2022 года наметились проблемы с полным переходом в облако Microsoft.

В частности, LinkedIn намеревалась после миграции использовать собственные программные инструменты вместо тех, которые доступны в Azure. До того, как социальную сеть купила Microsoft, LinkedIn активно инвестировала в собственную инфраструктуру ЦОД и вкладывалась в технологические инновации. В частности, компания развивала конкурирующий с OCP набор стандартов Open19 и разрабатывала собственное аппаратное обеспечение.

Теперь в LinkedIn заявили, что продолжат инвестировать в собственные дата-центры, используя Azure для поддержки ряда систем, в том числе сугубо внутренних. В компании подчеркнули, что облако Azure остаётся критически важным для работы LinkedIn. В ближайшее время соцсеть намерена продолжить консолидацию ЦОД, расположенных в разных регионах. Примечательно, что сама Microsoft неоднократно заявляла о практически полном переезде всех своих внутренних систем в Azure.

Dell Technologies объявила результаты III квартала 2024 финансового года, завершившегося 3 ноября 2023 года. Выручка компании составила $22,25 млрд, что на 10 % меньше по сравнению с аналогичным периодом предыдущего финансового года и ниже прогнозов аналитиков LSEG, ожидавших $23 млрд.

Операционная прибыль компании составила $1,5 млрд (GAAP) и $2 млрд (non-GAAP), что на 16 и 17 % меньше год к году соответственно. Разводнённая прибыль на акцию (GAAP) составила $1,36 или $1,88 на акцию (non-GAAP). Денежный поток от операционной деятельности за III квартал составил $2,2 млрд, что обусловлено прибыльностью и высокими показателями оборотного капитала. За последние 12 месяцев компания получила денежный поток от операционной деятельности в размере $9,9 млрд.

Источник: Dell

Выручка инфраструктурного подразделения ISG (Infrastructure Solutions Group) в III квартале составила $8,5 млрд, не изменившись по сравнению с предыдущим кварталом и снизившись на 12 % по сравнению с аналогичным кварталом предыдущего финансового года. Выручка от реализации СХД составила $3,84 млрд, снизившись на 13 % год к году и на 8 % последовательно. У подразделения CSG (Client Solutions Group), занимающегося клиентским оборудованием, выручка сократилась на 11 % до $12,3 млрд.

Выручка от продажи серверов и сетевого оборудования упала год к году на 10 % до $4,66 млрд, увеличившись вместе с тем по сравнению с предыдущим кварталом на 9 % благодаря продажам ИИ-серверов, которые принесли компании более $500 млн. Dell завершила квартал с оставшимися обязательствами по исполнению контрактов в размере $39 млрд. Немалая часть из них приходится на ИИ-серверы с ускорителями NVIDIA, дефицит которых привёл к тому, что заказчики Dell вынуждены ждать поставок до 39 недель — большая часть ускорителей отгружается гиперскейлерам.

Источник: Dell

«Мы поставили серверов, оптимизированных для ИИ, на сумму более $0,5 млрд, включая наши XE9680, XE9640, XE8640 и серверы R750 и R760xa. Спрос на эти ИИ-серверы последовательно почти удвоился, и спрос по-прежнему значительно превышает предложение <…> XE9680 — самое быстрорастущее решение в истории Dell», — отметил зампредседателя и главный операционный директор Джефф Кларк (Jeff Clarke). Компания уже подготовила цепочку поставок, чтобы в ближайшее время постараться утроить отгрузки ИИ-серверов.

Компания повысила прогноз по прибыли на акцию за год до $6,63±0,10 по сравнению с предыдущим прогнозом в $6,30±0,20 на акцию. Ожидаемая выручка за 2024 финансовый год равна $88,1 млрд, что на 14 % ниже выручки годом ранее. В текущем квартале компания ожидает получить выручку в размере $22 млрд±0,5 млрд, что в среднем значении на 12 % меньше показателя предыдущего года.

В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

По мере того, как генеративный ИИ становится всё популярнее, растёт и дефицит вычислительных ресурсов, что создаёт значимые барьеры для новичков, желающих заняться бизнесом в этой сфере. Как сообщает DigiTimes, проблему, возможно, помогут решить облачные игровые сервисы, располагающие огромным числом высокопроизводительных ускорителей, которые можно использовать для ИИ-проектов.

Например, тайваньский сервис-провайдер Ubitus располагает десятками тысяч ускорителей — столько имеют немногие бизнесы в IT-отрасли. По мнению некоторых экспертов, облачные игровые сервисы скоро могут принять участие в разработках, связанных с генеративным ИИ. По классификации SemiAnalysis IT-компании делились на две группы: «богатые» ускорителями и «бедные». В первую группу входят немногочисленные компании, владеющие более 20 тыс. ускорителей A100 или H100, например, Google, Anthropic, X, Meta✴, Inflection и OpenAI, причём у некоторых есть и более 100 тыс. ускорителей.

Изображение: NVIDIA

В первой половине ноября 2023 года Ubitus объявила о сотрудничестве с Национальным университетом Тайваня в области ИИ-вычислений — компания, возможно, является крупнейшим на острове оператором ускорителей, изначально предназначенных для облачных игровых проектов. Фактически излишки ресурсов уже направляются на работу с большими языковыми моделями (LLM), в частности, на китайском языке. По некоторым данным, IT-гиганты вроде Google уже предлагали компании рассмотреть возможность участия в развитии ИИ-отрасли на Тайване.

При этом тайваньские эксперты подчёркивают, что для облачных игр обычно применяют флагманские GPU серии RTX — они гораздо менее производительны в ИИ-задачах, но и на порядок дешевле специализированных ускорителей. Впрочем, в Ubitus утверждают, что преимущественно используют ускорители именно такого типа, включая H100, A100 и L40S в PCIe-исполнении.

Спрос на ИИ-ускорители NVIDIA так высок, что производитель чипов не может удовлетворить его в полной мере. В результате, как сообщает The Korean Economic Daily, создатель ведущего поискового портала Южной Кореи — компания Naver Corporation — для ряда ИИ-нагрузок перешла с использования ускорителей NVIDIA на Intel Xeon Sapphire Rapids, как из-за дефицита, так и по причине роста цен на продукцию.

По данным СМИ, Naver Corp. начала использовать решения Intel для ИИ-серверов картографического сервиса Naver Place. Корейский IT-гигант использует ИИ-модель для распознавания ложных данных в случаях, когда пользователи ведут поиск по ключевым запросам вроде «ближайшие рестораны» в приложении Naver Map. Ранее именно продукты NVIDIA применялись для обработки таких данных. Впрочем, речь идёт в первую очередь об инференсе, а для обучения моделей компания всё равно вынуждена использовать ИИ-ускорители.

Приобрести ИИ-ускорители NVIDIA, включая H100, стало очень сложно, а цены на последние с начала года выросли в Южной Корее вдвое. Но даже если у вас есть средства, время с момента размещения заказа на ускорители до их получения уже увеличилось до 52 недель, так что быстро обновить парк серверов не выйдет. При этом ускорители способны справляться с ИИ-задачами на порядок быстрее CPU.

Источник изображения: Naver

Как утверждают отраслевые эксперты, Intel усовершенствовала технологии работы с ИИ-системами, желая угодить клиентам, ищущим альтернативы ускорителям NVIDIA. Например, Naver в течение месяца тестировала ИИ-сервер на основе процессоров компании перед его вводом в эксплуатацию. Вероятно, южнокорейский IT-гигант продолжит использовать CPU Intel новых поколений.

По мнению экспертов, сотрудничество Naver и Intel может привести к ослаблению позиций NVIDIA на рынке чипов для ИИ-вычислений. По некоторым данным, Microsoft объединила усилия с AMD, чтобы помочь последней в экспансии на рынке ИИ-процессоров. Компании сотрудничают для конкуренции с NVIDIA, контролирующей около 80 % мирового рынка ИИ-чипов.

Как заявил недавно на конференции Code Conference технический директор Microsoft Кевин Скотт (Kevin Scott), приобрести ускорители компании NVIDIA для ИИ и HPC-вычислений уже не так сложно, как ещё несколько месяцев назад. По данным портала Tom’s Hardware, проблема доступности и поставок активно решается производителем.

По словам того же Скотта, ещё не так давно спрос намного превышал предложение всех производителей ускорителей. Хотя дефицит ещё не исчез, ситуация улучшается буквально с каждой неделей. В последнее время драйвером огромного спроса на ускорители были техногиганты, включая Microsoft, активно осваивающие рынок ИИ-продуктов, в том числе для сторонних клиентов. Для тренировки больших языковых моделей (LLM), обычно используются ускорители именно NVIDIA, в результате чего спрос на них в 2023 году стремительно взлетел, а рост стоимости акций «зелёных» с начала года составил 190 %.

Источник изображения: NVIDIA

В ходе недавнего отчёта о доходах NVIDIA сообщила о намерении повысить объёмы поставок в следующем году. Параллельно появилась информация о том, что трафик одного из самых популярных чат-ботов, ChatGPT от OpenAI, существенно падал в течение трёх месяцев подряд. OpenAI использует облачную платформу Microsoft Azure, так что нагрузка на неё в последнее время не столь велика. По словам Скотта, занимающегося в числе прочего и распределением ресурсов, эта задача в последние кварталы была чрезвычайно трудной, но теперь выполнять свои обязанности стало намного легче.

Скотт не стал комментировать слухи о том, что Microsoft якобы разрабатывает собственные ИИ-чипы, но подтвердил, что компания прилагает немалые усилия в работе над полупроводниковыми проектами и инвестировала в них немало средств. При этом он признал, что в последние годы NVIDIA остаётся ведущим партнёром Microsoft в ИИ-секторе, но подчеркнул, что компания будет выбирать наилучшие решения для своих систем, какое бы происхождение они ни имели.