Материалы по тегу: cloud

04.07.2024 [18:18], Владимир Мироненко

Почти половина российских компаний уже использует ИИ для разработки и тестирования ПО

В 2023 году треть российских компаний (33 %) увеличили ИТ-бюджет, большей частью инвестировав в найм IT-специалистов и обновление ПО и лицензий, указано в исследовании State of DevOps Russia, проведённом компанией «Экспресс 42» при участии Deckhouse, Yandex Cloud, Head Hunter, AvitoTech, Т-Банк, JUG Ru Group и OTUS.

В опросе приняли участие более 4 тыс. ИТ-специалистов из российских компаний, чья деятельность связана с разработкой, тестированием и эксплуатацией ПО. Почти половина участников опроса (44 %) сообщила, что их компании стали чаще применять технологии ИИ для оптимизации работы ПО и DevOps-процессов.

В частности, разработчики применяют алгоритмы машинного обучения для автоматизации тестирования кода, выявления аномалий в данных, управления конфигурациями систем и инцидентами. При этом 47 % участников опроса отметили, что использование ИИ-технологий позволило повысить эффективность работы.

 Источник изображения: Yandex Cloud

Источник изображения: Yandex Cloud

Использование облачных платформ позволяет не только оптимизировать разработку с ПО, но и повысить соответствие требованиям регулятора в области информационной безопасности — так считает половина респондентов. Также 41 % опрошенных отметили повышение прозрачности работы с данными при использовании облачных платформ.

Постоянный URL: http://www.servernews.ru/1107522
02.07.2024 [23:55], Алексей Степин

15 тыс. ускорителей на один ЦОД: Alibaba Cloud рассказала о сетевой фабрике, используемой для обучения ИИ

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

 Источник здесь и далее: Alibaba Cloud

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

 Характер трафика при обучении LLM

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

Постоянный URL: http://www.servernews.ru/1107345
29.06.2024 [21:30], Сергей Карасёв

Alibaba Cloud закроет дата-центры в Австралии и Индии, чтобы сфокусироваться на Юго-Восточной Азии и Мексике

Облачная платформа Alibaba Cloud, по сообщению ресурса Datacenter Dynamics, намерена закрыть ЦОД в Австралии и Индии. Речь идёт о площадках в Сиднее и Мумбаи, работа которых будет свёрнута до конца текущего года. Решение связано с изменением стратегии по развитию инфраструктуры дата-центров.

Alibaba Cloud запустила облачный регион в Сиднее в 2016 году: на сегодняшний день он имеет две зоны доступности. Регион в Мумбаи был открыт в 2018 году и также включает две зоны доступности. ЦОД в Индии прекратят работу уже 15 июля, а объекты в Австралии — 30 сентября 2024 года. Alibaba Cloud рекомендует всем клиентам этих дата-центров при первой возможности перенести свои рабочие нагрузки на площадки компании в Сингапуре или в других регионах.

После сворачивания деятельности в Австралии и Индии усилия компании будут направлены на развитие облачного бизнеса в Юго-Восточной Азии и Мексике. В частности, в мае Alibaba Cloud объявила о планах по формированию мексиканского региона, а также заявила, что в ближайшие три года создаст дополнительные ЦОД на некоторых рынках присутствия, включая Малайзию, Филиппины, Таиланд и Южную Корею.

 Источник изображения: Alibaba

Источник изображения: Alibaba

Индонезия, Малайзия и Таиланд в последнее время смогли привлечь миллиарды долларов инвестиций на развитие ЦОД как от американских, так и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже предрекают стремительный рост, а вот Сингапур, похоже, вскоре может потерять статус не только регионального, но и международного лидера индустрии ЦОД.

Осенью прошлого года Alibaba объявила о намерении привлечь $3 млрд для развития облачного бизнеса. Компания рассчитывала провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. Однако впоследствии от этой инициативы пришлось отказаться в связи с американскими санкциями в отношении Китая. В целом, Alibaba Cloud управляет 89 зонами доступности в 30 регионах мира.

Постоянный URL: http://www.servernews.ru/1107263
26.06.2024 [23:18], Андрей Крупин

VK Cloud интегрировала Dev Platform с инструментами безопасной разработки

Облачная платформа VK Cloud сообщила об интеграции среды Dev Platform с инструментами безопасной разработки Positive Technologies и Swordfish Security.

Dev Platform предоставляет набор предустановленных, прединтегрированных и преднастроенных инструментов, с помощью которых можно создать единую среду разработки, сделать прозрачным и эффективным весь жизненный цикл продукта. Архитектуру решения можно гибко масштабировать, добавляя к базовым компонентам платформы внешние инструменты через систему плагинов. Бизнес может развернуть Dev Platform в своей IT-инфраструктуре, в том числе в рамках Private Cloud, или в публичном облаке VK Cloud.

Dev Platform совместима с инструментами для поиска уязвимостей в приложениях PT BlackBox и PT Application Inspector, а также с продуктом для защиты контейнерных сред PT Container Security, который выявляет и предотвращает атаки на системы компании, запущенные в контейнерах.

 Архитектура Dev Platform (источник изображения: cloud.vk.com/dev-platform)

Архитектура Dev Platform (источник изображения: cloud.vk.com/dev-platform)

Кроме того, платформа интегрирована с решениями Swordfish Security — AppSec.Hub класса ASPM (Application Security Posture Management) и AppSec.Track класса OSA (Open Source Analysis) и SCA (Software Composition Analysis). AppSec.Hub — инструмент оркестрации сканеров уязвимостей, фильтрации ложных срабатываний на базе ИИ-технологий и отображения метрик качества построения процесса безопасной разработки. Инструмент AppSec.Track, позволяет не допустить попадания небезопасных внешних компонентов в контур разработки на самом начальном этапе и проверяет наличие ИБ-проблем в них на этапе сборки ПО.

Постоянный URL: http://www.servernews.ru/1107116
11.06.2024 [14:17], Руслан Авдеев

Alibaba Cloud открыла в Мозамбике второй в Африке облачный регион ALP Cloud

Подразделение системного интегратора Telkom Group, компания BCX, объединила усилия с Alibaba для организации облачных сервисов Alibaba Cloud в Мозамбике. По данным Datacenter Dynamics, BCX обеспечит хостинг т.н. Africa Local Public (ALP) Cloud в дата-центре в Мапуту.

По словам главы BCX, сотрудничество с Alibaba Cloud позволяет предоставлять новейшие технологии при посредничестве местной компании, которая понимает сложности и особенности ведения бизнеса на африканском континенте. В BCX признают чрезвычайную важность цифрового суверенитета для мозамбикского бизнеса, поэтому BCX и запустила облако ALP Cloud в Мапуту. Говорится о нескольких зонах доступности, местной службе поддержки и возможности оплаты в местной валюте.

 Источник изображения: Rohan Reddy/unsplash.com

Источник изображения: Rohan Reddy/unsplash.com

Это уже вторая африканская страна, где появились облачные сервисы Africa Local Public Cloud компании Alibaba. Запуск в Южной Африке состоялся ещё в октябре 2023 года. Китайская компания разместила свои сервисы в двух южноафриканских ЦОД, создав две зоны доступности — в ЦОД BCX в Мидранде и принадлежащем Teraco Data Environment дата-центре в Исандо. Следующий этап внедрения ALP Cloud предусматривает создание зоны доступности в ЦОД в Кейптауне. Также в Южной Африке предлагают свои облачные сервисы Microsoft Azure, Amazon (AWS) и Google.

BCX, основанная в 1996 году как Business Connexion, считается одним из крупнейших системных интеграторов в Африке, Telkom Group купила бизнес в 2015 году. BCX анонсировала партнёрство с Alibaba в октябре 2022 года — африканскому контрагенту дали эксклюзивные права распространять продукты и сервисы Alibaba Cloud в Южной Африке. Сегодня Alibaba управляет 89 зонами доступности в 30 регионах по всему миру.

Постоянный URL: http://www.servernews.ru/1106306
31.05.2024 [11:23], Сергей Карасёв

Квартальная выручка облака beeline cloud подскочила на 40 %

Компания «билайн» отрапортовала о работе в I квартале 2024 года. В обнародованном отчёте говорится, что бизнес в сегменте облачных продуктов и сервисов кибербезопасности beeline cloud показал значительный рост. Кроме того, наблюдается увеличение спроса на услуги в области больших данных и ИИ.

Общая выручка «билайна» в период с января по март включительно составила 75,4 млрд руб. Это на 7,2 % больше по сравнению с результатом за I четверть 2023-го, когда компания получила 70,4 млрд руб. Сервисная выручка поднялась в годовом исчислении на 6,8 % — с 64,8 млрд до 69,2 млрд руб.

 Источник изображения: «билайн»

Источник изображения: «билайн»

Выручка beeline cloud подскочила год к году на 39,8 %. Среди ключевых событий недавнего времени названы запуск облачной платформы хранения и обработки данных Data Platform и внедрение сервиса Cloud SD-WAN на базе решений «Лаборатории Касперского». Кроме того, представлен облачный межсетевой экран Cloud WAF Pro для защиты веб-приложений от внешних киберугроз. Запущена платформа BeeCloud Stack — гиперконвергентное решение для управления публичными и частными виртуальными ресурсами для замены иностранных продуктов в области виртуализации.

Квартальная выручка в сегменте сервисов на основе больших данных и ИИ поднялась в годовом исчислении на 58,3 %. В I квартале 2024 года компания продолжила расширение инфраструктуры сотовой связи. Количество базовых станций выросло год к году на 7,5 % и достигло 201,8 тыс., а количество площадок (сайтов) увеличилось на 3,4 % — до 55,3 тыс.

Отмечается также, что цифровые технологии играют для «билайна» всё более значимую роль в плане обслуживания и поддержки корпоративных клиентов. В частности, интерактивное голосовое меню (IVR) с использованием технологий распознавания речи и речевой аналитики улучшило качество сервиса, а по самым востребованным сценариям обслуживания клиенты решают до 80 % обращений без помощи сотрудников контактного центра.

Постоянный URL: http://www.servernews.ru/1105722
29.05.2024 [12:08], Сергей Карасёв

Edge-оборудование Alibaba Cloud построено на Intel Tofino

Облачная платформа Alibaba Cloud, по сообщению ресурса The Register, раскрыла аппаратную конфигурацию сетевого оборудования, которое используется на периферии. Речь идёт об устройствах под названием LuoShen, которые рассматриваются в качестве «серверов-коммутаторов».

 Источник изображения: Alibaba

Источник изображения: Alibaba

Отмечается, что изделия LuoShen находятся в производстве приблизительно два года. На сегодняшний день они эксплуатируются на «сотнях периферийных площадок» в составе облачной инфраструктуры Alibaba Cloud.

LuoShen имеет форм-фактор 2U. Конструкция включает два CPU общего назначения, FPGA, а также чип Intel Tofino — интегральную схему специального назначения (ASIC) с возможностью программирования. Tofino представляет собой сетевой Ethernet-процессор, ориентированный на дата-центры.

Утверждается, что LuoShen обеспечивает пропускную способность до 1,2 Тбит/с. Чип Tofino отвечает за перераспределение 64 портов 100G под различные цели. Это, в частности, обработка трафика виртуальных машин, интернет-трафика и пр. В зависимости от выполняемых задач данные направляются к CPU и FPGA, а после обработки отправляются в конечную точку.

Отмечается, что устройствам LuoShen приходится обрабатывать трафик разных типов, а поэтому возможность программирования Tofino имела для Alibaba Cloud ключевое значение — облачная платформа смогла оптимизировать работу оборудования под собственные нужды. Благодаря переходу на LuoShen компания смогла сократить первоначальные затраты, занимаемое место и энергопотребление на 75 %, 87 % и 60 % соответственно по сравнению с ранее использовавшейся сетевой архитектурой.

Постоянный URL: http://www.servernews.ru/1105579
27.05.2024 [10:43], Сергей Карасёв

Облачный регион Huawei Cloud заработал в Египте

Компания Huawei объявила об открытии облачного региона в Египте. В рамках данного проекта китайская корпорация сообщила о намерении в течение пяти лет инвестировать $300 млн в развитие сервисов и услуг, а также в обучение местных разработчиков и подготовку IT-специалистов.

О том, что Huawei планирует скорый запуск облачной площадки в Египте, стало известно в феврале нынешнего года. Отмечается, что новый Каирский регион послужит центром доступа для стран Северной Африки. Таким образом, Huawei стала первым облачным провайдером, развернувшим публичную облачную инфраструктуру на территории Египта.

 Источник изображения: Huawei

Источник изображения: Huawei

Планируемые инвестиции будут направлены на создание более чем 200 облачных сервисов, включая системы ИИ, платформы больших данных и средства разработки. Huawei намерена поддерживать примерно 200 местных партнёров в области ПО, а также развивать сеть из 1,3 тыс. торговых партнёров. Конечная цель заключается в формировании развитой экосистемы софта и приложений в регионе. Кроме того, в течение следующих пяти лет Huawei обучит 10 тыс. местных разработчиков и 100 тыс. IT-специалистов, что поможет обеспечить цифровую трансформацию.

Huawei также сообщила о расширении своей программы поддержки стартапов. Инициатива Huawei Cloud Startup Program предусматривает формирование специальных команд для оказания помощи молодым компаниям при внедрении облачных технологий. Проект предполагает в том числе субсидирование: один стартап может подать заявку на облачные кредиты на сумму до $150 тыс.

Наконец, платформа Huawei Cloud представила новую большую языковую модель (LLM) для арабского рынка. Система автоматического распознавания речи (ASR) охватывает более 20 арабоязычных стран. При этом точность работы достигает 96%.

Отмечается, что на сегодняшний день инфраструктура Huawei Cloud состоит из 33 регионов и 93 зон доступности по всему миру. У компании есть облачные объекты в материковом Китае и Гонконге, Ирландии, Нидерландах, Франции, Таиланде, Сингапуре, Индонезии, Саудовской Аравии, Турции, Южной Африке, Бразилии, Аргентине, Перу, Чили и пр.

Постоянный URL: http://www.servernews.ru/1105446
27.05.2024 [00:18], Владимир Мироненко

Платформа VK Cloud увеличила выручку в I квартале 2024 года на 60 %

VK сообщила финансовые результаты I квартала 2024 года. Выручка компании выросла год к году на 24 %, составив 33,8 млрд руб. Наибольший рост по-прежнему демонстрирует сегмент «Технологии для бизнеса» (VK Tech), увеличивший выручку на 55,2 % до 1,8 млрд руб.

Основными драйверами роста выручки сегмента выступили облачные сервисы платформы VK Cloud (рост год к году на 60 %) и коммуникационные решения VK WorkSpace (рост — в 3,3 раза). Сообщается, что в I квартале 2024 года получила обновления Private Cloud, платформа для построения частного облака для бизнеса от VK Cloud. Также были расширены возможности аналитических инструментов платформы VK Cloud в Казахстане, а в Tarantool Column Store запустили решение для гибридной обработки данных в режиме реального времени.

 Источник изображения: VK

Источник изображения: VK

За прошедший квартал средняя месячная аудитория сервиса «Облако Mail.ru», входящего в сегмент «Экосистемные сервисы и прочие направления», составила 22,5 млн пользователей, средняя дневная аудитория выросла на 10 % год к году до 2,7 млн человек. Всего за первые три месяца 2024 года пользователи загрузили в «Облако Mail.ru» около 7,6 млрд файлов.

Постоянный URL: http://www.servernews.ru/1105443
23.05.2024 [21:32], Алексей Степин

Бери да пользуйся: IBM представила частное облако на базе POWER10

IBM представила платформу POWER Virtual Server Private Cloud для локального развёртывания частного облака, за обслуживание и корректное функционирование которого отвечает сама IBM. Это решение, по словам компании, позволяет сохранить «ИТ-суверенитет» и избежать существенных финансовых затрат благодаря гибкой ценовой политике.

Базовая конфигурация (Small Pod) начинается с 2–4 серверов с 8 Тбайт оперативной памяти, до 340 ядер и до 438 Тбайт пространства для хранения данных. Занимают такие комплекты одну стандартную стойку. Среднего размера «капсула» (Medium Pod) может насчитывать до 40 серверов, в том числе в варианте с 32 Тбайт памяти. Максимальная конфигурация насчитывает 1615 ядер и примерно 3,5 Пбайт дискового пространства.

 Источник изображения: IBM

Источник изображения: IBM

В основе платформы лежат серверы IBM POWER S1022 и E1050/1080, использующие процессоры POWER10. Первая система может иметь один или два 20-ядерных процессора с поддержкой SMT8, дополненных 2-4 Тбайт памяти. POWER E1050/1080 поддерживают до четырёх процессоров. Объём памяти в этом случае варьируется в пределах 4–32 Тбайт на сервер.

В состав локального облака также могут входить СХД IBM FlashSystem ёмкостью 460 или 920 Тбайт. Сетевые коммутаторы и управляющие серверы входят в стоимость услуги. В качестве базовых ОС доступны Red Hat Enterprise Linux и классические решения IBM — IBM i и AIX. Доступна и сертификация SAP HANA и SAP NetWeaver.

Сама услуга предлагается сроком на один год с возможностью возобновления, также доступны трёх- и пятилетние контракты. При этом само оборудование и лицензии приобретать не придётся, платить надо только за их фактическое использование, а сама платформа управляется из IBM Cloud.

Постоянный URL: http://www.servernews.ru/1105319
Система Orphus