Организация FinOps Foundation, входящая в некоммерческий технологический консорциум Linux Foundation, представила предварительную редакцию первой версии открытой спецификации FOCUS (FinOps Open Cost and Usage Specification) для оценки стоимости и объёма использования облачных услуг крупных провайдеров. Проект призван сделать затраты на облака более прозрачными.

Отмечается, что по мере перехода предприятий в облако становится всё труднее понять, где, как и на что конкретно расходуются средства. Различные поставщики услуг SaaS и облачные платформы используют свои собственные подходы к расчёту затрат. Кроме того, применяются разные форматы данных, что затрудняет анализ финансовых потоков.

Источник изображения: FinOps Foundation

На этом фоне сформировалось направление FinOps — дисциплина, которая сочетает принципы управления финансами с облачным проектированием и управлением, чтобы дать организациям лучшее представление о своих расходах на облако. В свою очередь, FOCUS — это основополагающий проект в области FinOps, направленный на создание открытой спецификации для представления данных о затратах на облачные ресурсы. Цель проекта заключается в том, чтобы стандартизировать терминологию и упростить анализ расходов и потребления облачных услуг.

Спецификация включает определения часто используемых терминов и показателей. Предусмотрены варианты использования для анализа скидок и ценообразования. В целом, использование стандарта обеспечивает прозрачность тарифов и возможность детальной оценки затрат. Версия FOCUS 1.0 также будет включать в себя библиотеку реальных сценариев использования.

Проект FOCUS поддерживают AWS, Microsoft, Google, Oracle Cloud, IBM, Meta✴ и VMware, крупные пользователи облачных платформ, такие как Walmart и Capital One, а также сервис-провайдеры, включая Atlassian, Twilio, Datadog и Snowflake.

Некоммерческая организация Linux Foundation объявила о намерении сформировать «Фонд высокопроизводительного программного обеспечения »(High Performance Software Foundation, HPSF). Задачами данной структуры станут создание и продвижения стека ПО для НРС-приложений.

Предполагается, что появление HPSF будет способствовать ускорению решения задач в области НРС и ИИ. Фонд намерен предоставить «нейтральное пространство» для ключевых проектов в экосистеме HPC ПО. Участники отрасли, научные организации и госструктуры смогут сообща работать над софтверным стеком.

Источник изображения: Linux Foundation

Сообщается, что в деятельности HPSF примут участие Аргоннская национальная лаборатория, Национальная лаборатория им. Лоуренса в Беркли, Ливерморская национальная лаборатория, Лос-Аламосская национальная лаборатория, Окриджская национальная лаборатория и Сандийские национальные лаборатории (все входят в состав Министерства энергетики США), а также AWS, CIQ, HPE, Intel, Kitware, NVIDIA и др.

Фонд планирует использовать инвестиции, сделанные проектом Exascale Computing Project (ECP) Министерства энергетики США, совместным предприятием EuroHPC JU и другими международными структурами. На первом этапе в программный стек HPSF войдут open source решения Spack, Kokkos, AMReX, WarpX, Trilinos, Apptainer, VTK-m, HPCToolkit, E4S и Charliecloud.

До начала следующего года HPSF планирует проводить встречи с участниками для согласования структуры и схемы управления. Ожидается, что фонд будет официально сформирован в мае 2024 года.

AMD, Arista, Broadcom, Cisco, Eviden (Atos), HPE, Intel, Meta✴ и Microsoft в рамках Linux Foundation сформировали новый консорциум Ultra Ethernet Consortium, который намерен создать на базе Ethernet новый масштабируемый и эффективный с точки зрения стоимости коммуникационный стек, ориентированный на высокопроизводительные вычисления (HPC) и ИИ. Иными словами, речь идёт о создании спецификаций интерконнекта нового поколения на базе Ethernet для современных кластеров, облаков и иных платформ.

UEC сформировал четыре рабочих группы, ответственных за физический, канальный и транспортный уровни, а также за уровень ПО. Целью же является создание современного сетевого стека, который учитывает потребности HPC- и ИИ-нагрузок, включая новые методы борьбы с заторами в сети, высокий уровень утилизации канала (в том числе 800G/1.6T), многопутевую и гарантированную доставку, сквозную телеметрию, консистентность и низкий уровень задержек, автоматизацию, безопасность и защищённость, масштабируемость, стабильность, надёжность, снижение TCO и так далее.

Источник: Ultra Ethernet Consortium

Фактически отдельные вендоры уже наделили рядом перечисленных свойств свои продукты, однако унификация и объединение усилий, как считается, должны пойти на пользу всем. Всем, кроме, по-видимому, NVIDIA, которой в списке основателей UEC нет (как и Marvell, к слову). NVIDIA после поглощения Mellanox фактически стала монополистом на рынке InfiniBand, который она активно продвигает, не забывая, впрочем, и о своём проприетарном интерконнекте NVLink, который в последней своей версии выбрался за пределы узла. Справедливости ради — про Ethernet компании тоже не забывает.

В обзоре UEC аккуратно критикуется и InfiniBand, и его адаптация в виде RoCE. Авторы указывают на правильность и успешность идеи RDMA, но жалуются на не слишком высокую практичность и удобство современных реализаций. И именно поэтому они первым делом предлагают внедрить новый транспортный протокол Ultra Ethernet Transport (UET), который и позволит реализовать интерконнект будущего, а заодно ещё раз доказать эффективность и гибкость технологии Ethernet, которой в этом году исполнилось 50 лет. Впрочем, это только один из кирпичиков UEC. Примечательно, что первые продукты на базе новых спецификаций обещали показать уже в 2024 году.

Организация Linux Foundation, некоммерческий консорциум развития Linux, сообщила о том, что к проекту облачного гипервизора Cloud Hypervisor присоединилась компания Ampere, специализирующаяся на разработке серверных Arm-процессоров. Проект Cloud Hypervisor был запущен корпорацией Intel несколько лет назад. Это безопасный гипервизор, рассчитанный на облачные нагрузки и написанный на Rust. Инициативу уже поддерживают такие компании, как Alibaba, Arm, ByteDance, Microsoft и Tencent Cloud. В конце прошлого года проект перешёл под крыло Linux Foundation.

Изображение: The Linux Foundation

Ampere поможет в дальнейшем развитии облачного гипервизора. Проект ориентирован на поддержку современных рабочих нагрузок как в облаке, так и на периферии. Ampere присоединилась к группе Cloud Hypervisor в рамках своей программы по разработке решений с открытым исходным кодом. Нужно отметить, что в ноябре 2022 года в консультативный совет Cloud Hypervisor вошла и компания AMD. Говорится, что решение AMD отражает усилия сообщества по стандартизации одного из ключевых технологических компонентов современного стека виртуализации.

В ходе саммита 2022 OCP Global Summit вице-президент OCP по исследованиям рынка и инновациям Клифф Гросснер (Cliff Grossner) сделал ряд анонсов, касающихся расширения альянса, новой программы для развивающихся рынков и усиления работ в области устойчивого развития.

В частности, Гросснер сообщил о расширении сотрудничества с фондом Linux Foundation (LF) и необходимости ускорения освоения открытых инноваций рынком. Сотрудничество позволит сторонам делиться достижениями и использовать сильные стороны каждого партнёров. В частности, решения фонда Linux Foundation будут использоваться для совместной разработки программного обеспечения с открытым исходным кодом, а OCP займётся разработкой спецификаций оборудования и расширением цепочек поставок для развивающихся рынков.

Изображения: OCP Foundation

Гросснер отметил, что к объявленному в апреле 2022 года партнёрству присоединились SAI и SONiC, а OCP и LF предприняли новые усилия, чтобы гарантировать безопасность решений. По его словам, расширение стратегии совместного проектирования аппаратного и программного обеспечения OCP будет производиться с учётом того, что промышленность нуждается в готовых к развёртыванию предварительно интегрированных программно-аппаратных комплексах.

В числе будущих направлений совместных проектов он назвал:

• Интегрированные решения с использованием серверов Open Edge, признанных OCP и LF Edge.
• Стандартизированные API для динамического обмена информацией о ЦОД и его экологическом воздействии на окружающую среду, что позволяет использовать более экологически дружественное программное обеспечение
• Поддержку стандартизированных модулей OCP, включая модуль OAM (OCP accelerator module) и модуль SCM (secure control module), в программном обеспечении LF.

Обновлённая программа OCP Experience Center включает ускорение открытых инноваций и внедрение оборудования, признанного OCP. Согласно программе, центральное место в стратегии OCP отводится расширению присутствия на развивающихся рынках. Данная программа дополняет программы Data Center Ready и Product Recognition, а также является катализатором для гиперскейлеров для внедрения инноваций на большем числе рынков.

Ускорение внедрения открытых инноваций предполагает разработку концепций, повышение уровня информированности и снижение рисков. Для этого специалисты занимаются созданием новых концептов, их тестированием и валидацией, разработкой и тестированием ПО, а также проблемами их совместимости.

Также уделяется внимание адаптации продуктов OCP. Занимающиеся этим компании и специалисты определяют возможности их использования, положительные стороны, а также коммерческий потенциал. В свою очередь, торговые партнёры определяют рынки реализации и налаживают на них связи с клиентами.

Что касается вопросов охраны окружающей среды, то OCP планирует уменьшить воздействие роста отрасли на окружающую среду, добиться эффективного контроля цепочки поставок с помощью стандартизированных показателей, а также повышения прозрачности данных по всей цепочке создания стоимости. Также будет уделяться внимание вопросам построения замкнутого цикла производства, повышению информированности и уровня образованности специалистов.

Некоммерческий консорциум Linux Foundation сообщил о переводе платформы машинного обучения PyTorch, созданной Meta✴, в недавно созданное подразделение PyTorch Foundation. PyTorch является одним из ключевых и одним из самых популярных ИИ-фреймворков. С момента выхода в 2016 году более 2,4 тыс. участников и 18 тыс. организаций использовали данную платформу в академических исследованиях и производственных средах.

Linux Foundation сообщил, что будет работать с сопровождающими проект сообществом разработчиков и первоначальными членами-основателями PyTorch с целью поддержки экосистемы. Став частью Linux Foundation, платформа и её сообщество получат выгоду от программ и инфраструктуры поддержки консорциума, включая программы обучения и сертификации, исследования, локальные и глобальные мероприятия, площадки для совместной работы и поиска сотрудников и т.д.

Источник: PyTorch

«Мы благодарны команде Meta✴, где PyTorch был создан и превратился в огромную экосистему, за то, что они доверили Linux Foundation эту важную работу», — сообщил Джим Землин (Jim Zemlin), исполнительный директор Linux Foundation. В свою очередь, Марк Цукерберг (Mark Zuckerberg), основатель и гендиректор Meta✴, заявил, что будет «рад и далее развивать сообщество PyTorch и продвигать исследования в области ИИ».

Исполнительным директором PyTorch Foundation назначен Ибрагим Хаддад (Ibrahim Haddad), вице-президент по стратегическим программам Linux Foundation. PyTorch Foundation будет управляться советом, включающим представителей членов-основателей: AMD, Amazon Web Services (AWS), Google Cloud, Meta✴, Microsoft Azure и NVIDIA.

Источник: CNCF

В пресс-релизе отмечено, что такие проекты, как PyTorch, способные стать базовой платформой для критически важных технологий, выигрывают от нейтрального окружения, каким является Linux Foundation. По состоянию на август 2022 года PyTorch входил в пятёрку самых быстрорастущих open source проектов в мире наряду с ядром Linux и Kubernetes. С августа 2021 года по август 2022 года PyTorch насчитал более 65 тыс. коммитов.

На свет «умные» сетевые адаптеры появились не вчера — технология возмужала и доросла до концепции DPU, сопроцессора данных, могущего взять на себя не только обработку трафика, но и многое другое, вплоть до обслуживания гипервизора. Текущие реализации DPU базируются на проприетарных технологиях, но организация Linux Foundation хочет положить этому конец и сделать такие сопроцессоры по-настоящему популярными.

На этой неделе организация объявила о старте инициативы Open Programmable Infrastructure (OPI), целью которой является разработка открытых программных стандартов для DPU, IPU и SmartNIC. Проект уже получил поддержку от многих ведущих разработчиков аппаратного и программного обеспечения, включая NVIDIA, Intel, Marvell, F5, Keysight, Dell Tech и Red Hat. Стоит ожидать дальнейшего увеличения количества участников.

Изображение: opiproject.org

За счёт унификации и открытости OPI, считает Linux Foundation, темпы внедрения «умных» сетевых ускорителей существенно вырастут. Для гиперскейлеров и крупных облачных провайдеров проприетарное ПО обычно не проблема, но куда сложнее ситуация выглядит для менее крупных компаний.

Проект OPI положит конец ситуации, когда разработчики DPU порой не могут договориться даже о единой терминологии. На первой стадии участники проекта создадут стандартизированные определения для технологий и функций, выполняемых DPU, затем начнётся разработка универсальных API и программных архитектур и фреймворков, не зависящих от «железа» конкретного разработчика.

Такой крупный игрок на рынке DPU, как NVIDIA, приветствует инициативу, и в рамках проекта OPI уже открыла доступ к SDK DOCA разработчикам ПО и аппаратных сетевых средств. Компания и ранее обещала сделать DOCA для сетевых ускорителей тем же, чем стал стандарт CUDA для GPU, но теперь, к счастью, стандарт не будет закрытым: библиотеки и прочие средства, а также документация, уже доступны, а открытая лицензия позволит использовать наработки NVIDIA не только для ускорителей BlueField, но и для решений других производителей. Сайт проекта OPI находится здесь, также имеется репозиторий на GitHub.

Некоммерческая организация Linux Foundation сообщила о новом достижении в 2021 году. Она обучила и выдала сертификаты значительно большему числу специалистов, чем ранее — их количество выросло сразу на 50 %. Почти на треть выросло число слушателей, зачисленных на платные курсы, а аудитория бесплатных курсов и вебинаров превысила 2 млн человек.

Основными направлениями сертификации стали Linux и Kubernetes. Новые сертификационные экзамены, запущенные в 2021 году, включали направления Kubernetes & Cloud Native Associate (KCNA) и TARS. Кроме того, Linux Foundation выдала 500 стипендий для учебных курсов и сертификационных экзаменов в рамках программы LiFT, а также заключила партнёрские соглашения с целым рядом других некоммерческих организаций с целью расширения возможностей обучения и сертификации.

wikipedia.org

Сертификационными экзаменами занимается подразделение Linux Foundation Training & Certification — крупнейшая в мире некоммерческая организация, которая предоставляет услуги обучения и сертификации по целому ряду направлений, так или начае связанных с open source технологиями, для частных лиц и предприятий.

Количество разработанных и курируемых профессионалами учебных курсов выросло на 30 шт. Новые курсы охватывают сразу несколько направлений, таких как DevSecOps, GitOps, Kubernetes, Node.js, RISC-V, Hyperledger и WebAssembly. Эти технологии нужны для современной IT-инфраструктуры и пользуются большим спросом у разработчиков.

Несколько лет назад компания Intel запустила проект Cloud Hypervisor. Это «лёгкий» и безопасный гипервизор, рассчитанный на облачные нагрузки и написанный на Rust. Вскоре после выпуска релиза 20.0 было объявлено, что проект переходит под крыло Linux Foundation. При этом в центре внимания разработчиков останется создание высокопроизводительного и «лёгкого» гипервизора.

Отметим, что ранее в Cloud-Hypervisor «вложились» Microsoft (добавила поддержку Windows), Arm (реализовала поддержку архитектуры AArch64) и другие компании. «Современные облачные рабочие нагрузки требуют высокого уровня безопасности, и проект Cloud Hypervisor преднамеренно создавался с акцентом на этом», — отметил Майк Долан (Mike Dolan), старший вице-президент и генеральный менеджер проектов Linux Foundation.

Как заявил технический спонсор проекта со стороны Intel, Арьян ван де Вен (Arjan van de Ven), у Cloud Hypervisor есть преимущество в виде модульной структуры и возможностей гибкой настройки. По его словам, это ценится поставщиками облачных услуг и компаниями, которые вкладываются в свою собственную инфраструктуру. При этом в Linux Foundation отметили, что размещение у них Cloud Hypervisor позволит проекту развиваться.

Что касается нововведений в 20-й версии, то среди них отметим поддержку до 16 PCI-сегментов, то есть теперь общее количество доступных PCI-устройств выросло с 31 до 496. Также теперь можно «привязать» vCPU к выбранному пользователю CPU. Была улучшена и поддержка технология VFIO, что повысило производительность пробрасываемых в гостевые системы устройств. Наконец, были заменены некоторые потенциально небезопасные участки кода гипервизора и исправлены ошибки. Сегодня же вышел минорный релиз 20.1.

Некоммерческая организация Linux Foundation сообщила, что будет поддерживать проект Apptainer, ранее известный как Singularity. Проект представляет собой контейнерную систему для высокопроизводительных вычислений (HPC). Но она может пригодиться и в корпоративном секторе, и в обычных ЦОД. Apptainer обеспечивает выполнения приложений с максимальной производительностью, сохраняя их безопасность, переносимость и масштабируемость.

«Проект Apptainer значительно вырос и нуждается в нейтральном доме <…>, что нужно для следующей фазы разработки и внедрения. [В Linux Foundation проект также] может сотрудничать с Cloud Native Computing Foundation, Open Container Initiative, OpenHPC и другими проектами для расширения своей экосистемы», — заявил Грегори Курцер (Gregory Kurtzer), глава CIQ, а также основатель и руководитель проекта Singularity/Apptainer.

«Проект Apptainer находится на решающем этапе развития. Мы надеемся поддержать это сообщество и обеспечить возможность перекрёстного сотрудничества с еще большим количеством разработчиков и технологов open source для расширения экосистемы», — отметил Майк Долан (Mike Dolan), старший вице-президент и генеральный менеджер проектов Linux Foundation.

Возможности Apptainer включают в себя:

• Подпись контейнеров публичным/приватным ключом;
• Совместимость с Docker и OCI;
• Шифрование контейнеров;
• Интеграция с Vault и другими платформами управления;
• Защита от несанкционированного повышения привилегий;
• Поддержка GPU, FPGA и других технологий и аппаратных решений.