Входящая в группу «Россельхозбанка» компания R-Style Softlab сообщила о выпуске на российский рынок нового продукта R-Style Intelligent System (RSIS), предназначенного для работы с данными и организации долгосрочного их хранения средствами СУБД ArenaDataDB, GreenPlum, PostgreSQL.

RSIS позволяет собирать и аккумулировать данные из различных источников, обрабатывать их и визуализировать полученные результаты, что способствует принятию эффективных управленческих решений. В основу платформы положена датацентричная реализация с применением методологии Data Vault («Свод данных»). По заверениям разработчика, такой подход обеспечивает высокую скорость загрузки и обработки данных.

Источник изображения: our-team / freepik.com

В числе прочих особенностей R-Style Intelligent System называются совместимость программного комплекса с отечественными решениями класса Business Intelligence (BI), поддержка потоковой и пакетной загрузки данных, в том числе механизмов взаимодействия с пакетом Apache Hadoop, возможность интеграции с партнёрскими решениями на базе искусственного интеллекта. Для обеспечения актуальности и качества данных возможно применение методологии Data Governance.

«Мы придерживаемся комплексного подхода к автоматизации работы с данными. Наш продукт совместим с отечественными BI-инструментами. Благодаря применению готовых решений партнёров, система может дополняться функциями для управления потоками данных, обеспечения мобильности, построения моделей данных, применения AI-технологий и т. д. По требованию заказчика мы можем также предоставить оборудование и системное ПО», — отмечает компания-разработчик платформы RSIS.

Команда разработчиков «Яндекса» опубликовала исходный код масштабируемой платформы распределённого хранения и обработки больших данных YTsaurus.

YTsaurus разрабатывается компанией с 2010 года и является одним из ключевых элементов внутренней IT-инфраструктуры «Яндекса». В основу платформы положен набор связных подсистем: MapReduce, движок SQL-запросов, планировщик, KV-хранилище данных для OLTP. YTsaurus поддерживает работу с десятками тысяч серверов, обработку эксабайтов данных на разных носителях, а также интеграцию с ClickHouse и Apache Spark. Благодаря широкой функциональности платформа может быть использована для широкого круга задач — от аналитики и построения хранилищ данных до обучения сложных ИИ-моделей с миллиардами параметров.

Сценарии использования YTsaurus

«Платформа YTsaurus отлично зарекомендовала себя в «Яндексе». Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки. Мы уверены, что публикация кода выведет платформу на новый виток развития, как это уже было с другими нашими продуктами», — отмечает «Яндекс».

Исходный код и документация YTsaurus доступны на площадке GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий.

Новый департамент больших данных и искусственного интеллекта возглавил Сергей Сергиенко, до этого работавший советником министра. Курирует структуру профильный заместитель министра цифрового развития Григорий Борисенко.

Григорий Борисенко рассказал TAdviser, что профильные направления департамента отвечают за такие вопросы, как создание разных продуктов внутри ведомства с использованием данных, например, «фабрики данных», цифровые профили. Также в зону ответственности входят создание инфраструктуры для предоставления датасетов для обучения ИИ, анализ и работа над устранением нормативных и процессных барьеров, связанных с развитием и внедрением ИИ в госуправлении и в различных отраслях.

Источник изображения: Gerd Altmann / pixabay.com

Департамент отвечает, в том числе, за национальную систему управления данными (НСУД), за систему межведомственного электронного взаимодействия (СМЭВ) и различные аспекты перевода госуправления на цифровую основу. Ранее ответственность за них была распределена по разным департаментам. Департамент больших данных и искусственного интеллекта, 19-й по счету, был сформирован в конце 2022 года.

Компания «Диасофт» сообщила о расширении функциональных возможностей технологической платформы Digital Q.DataFlows, предназначенной для управления данными в корпоративной среде.

Программный комплекс Digital Q.DataFlows состоит их трёх компонентов Data Catalog, Data Streamer и Data Quality, обеспечивающих решение разнообразных задач аналитической обработки информации. Платформа формирует полное представление о том, какими данными располагает организация, и как они взаимосвязаны, позволяет создавать и выполнять процессы преобразования и транспортировки данных между IT-системами, а также обеспечивает мониторинг метрик качества данных, их актуализацию и встраивание инструментов контроля в процессы обработки данных. Поддерживается взаимодействие с различными источниками и массивами данных.

Источник изображения: diasoft.ru

Ключевым нововведением Digital Q.DataFlows стал инструмент Data Lineage для отслеживания происхождения данных и их потоков — маршрутов, по которым информация перемещается между внешними сущностями, процессами и хранилищами данных. С его помощью аналитики и специалисты по Big Data могут определять источники и местонахождение данных, взаимосвязи между ними и их потоками, отслеживать изменения, которые происходят в процессе трансформации данных, выявлять ошибки и причины их возникновения, а также определять ответственных за работу с той или иной информацией.

Решение Digital Q.DataFlows создано на базе микросервисной архитектуры и встраивается в IT-ландшафт любой организации.

ООО РТК ИТ, одна из структур «Ростелекома», по сообщению газеты «Коммерсантъ», в ноябре 2022 года учредило компанию «Тдата». Ей предстоит заняться развитием технологий хранения и обработки данных, которые смогут стать альтернативой решениям ушедших из России SAP и Oracle. Известно, что компанию «Тдата» возглавил директор по продажам сегмента продуктов по управлению данными «Ростелекома». Новое предприятие создаётся под «Платформу управления данными» — это универсальный набор отечественных программных продуктов для построения хранилищ данных и аналитики.

Известно, что работа по обособлению бизнеса ведётся совместно с одним из партнёров «Ростелекома». По мнению участников рынка, появление «Тдата» поможет привлечь новых заказчиков. Структура, как отмечается, может стать единой точкой входа как для внешних заказчиков, так и для внутренних нужд компании. В октябре 2022 года «Ростелеком» объявил, что Axenix (ранее Accenture) будет разрабатывать на «Платформе управления данными» все свои IT-продукты для бизнеса. Кроме того, данное решение использует оператор Tele2.

Источник изображения: «Ростелеком»

Нужно отметить, что все компоненты «Платформы управления данными» внесены в Единый реестр российских программ для ЭВМ и БД. Использование данного решения позволяет реализовать стратегию импортозамещения. Платформа представляет собой ключевой элемент корпоративной архитектуры, необходимой для построения классического хранилища корпоративных данных, подготовки отчётности, создания масштабных озёр данных и пр.

«МегаФон» объявил о завершении сделки по покупке российского производителя ПО oneFactor, который занимается разработкой аналитических платформ на базе ИИ-технологий. oneFactor («Единый фактор») создаёт аналитические ИИ-сервисы для банковской сферы, страховых компаний, электронной коммерции, ретейла и туризма. Компания, в частности, запустила в коммерческую эксплуатацию платформу машинного обучения для оптимизации ключевых бизнес-процессов на основе обработки больших массивов данных. Её первыми пользователями стали «МегаФон», Skyeng и «Авито».

Кроме того, в ассортимент oneFactor входят сервисы для оценки рисков, лидогенерация для развития коммерции и бизнеса предприятий, геоаналитика в области туризма и городской среды, а также другие решения с использованием больших данных. Отмечается, что в настоящее время рынок продуктов и сервисов на основе big data растёт приблизительно на 40 % в год.

Источник изображения: pixabay.com

По условиям сделки, «МегаФон» стал владельцем 100 % ООО «Единый фактор». После слияния oneFactor сохранит все текущие контракты и продолжит оказывать услуги внешним партнёрам. «oneFactor — наш давний партнёр в области big data, появление компании в периметре "МегаФона" позволит нам повысить эффективность этого бизнес-направления и предлагать рынку самые современные инструменты для развития бизнеса и отдельных территорий», — отмечает оператор.

Selectel, ведущий провайдер IT-инфраструктуры, объявил о запуске Платформы обработки данных, которая работает на его мощностях и предназначена для обработки больших объемов данных. Платформа построена на базе продукта ITS Data Processing Platform (ITS DPP) от компании ITSumma, партнёра Selectel, и использует в работе набор современных open-source решений для обработки, хранения и анализа данных (Apache Hadoop, Spark, Airflow, Superset, Kafka, а также Greenplum и ClickHouse).

Платформа обработки данных позволит клиентам Selectel перейти на инфраструктуру провайдера и сфокусироваться на решении аналитических задач, больше не задумываясь о производительности и поддержке собственного IT-оборудования. Решение обеспечивает возможность сбора данных из различных источников, обработки потоков данных для дальнейшего анализа, а также хранения структурированной и неструктурированной информации на базе озера данных или корпоративного хранилища данных. Оно может быть задействовано как для создания платформы данных с нуля, так и для миграции клиентских данных на вычислительные мощности Selectel.

Источник изображения: Selectel

Платформу легко развернуть на выделенных серверах фиксированных или произвольных конфигураций. Доступ к ней предоставляется по подписке. Кроме того, в рамках пакета услуг Selectel занимается обслуживанием и поддержкой платформы на инфраструктурном уровне, а ITSumma обеспечивает DataOps- и/или MLOps-сопровождение.

«При запуске нового решения мы ориентировались на рост заинтересованности компаний в анализе и обработке данных, а также учитывали дефицит квалифицированных специалистов в области data engineering на рынке труда, — говорит Александр Тугов, директор по развитию услуг Selectel — Новый продукт позволит нашим клиентам извлекать пользу из своих данных и не тратить ресурсы на настройку инфраструктуры или поиск дополнительных кадров для администрирования собственной платформы. Всеми вопросами по мониторингу, обслуживанию и поддержке займутся эксперты Selectel и ITSumma».

«Мы фиксируем рост потребности в отечественных решениях для обработки и анализа данных на фоне ухода с российского рынка зарубежных поставщиков. ITS DPP способна в значительной степени импортозаместить зарубежные продукты. А объединив усилия с Selectel, мы можем предложить российскому бизнесу продукт по-настоящему уникальный, ведь он не только снимает с предприятий необходимость покупать и содержать собственный серверный парк для инфраструктуры обработки данных, но и даёт гарантию доступности сервиса в 99,9 % согласно SLA. Всё это в конечном итоге приводит к тому, что в текущих условиях бизнес может полностью сосредоточиться на продукте и его развитии, не затрачивая временные и прочие ресурсы на рутинные задачи, связанные с созданием и поддержкой собственной дата-инфраструктуры», — подчёркивает Антон Баранов директор по развитию бизнеса ITSumma.

Axenix (ранее Accenture) и «Ростелеком» намерены разрабатывать решения в области аналитики и управления большими данными. Запуск первых совместных ИТ-проектов запланирован на конец 2022 года.

Все ИТ-продукты для бизнеса будут разрабатываться на отечественной программной базе и собственном data-продукте «Ростелекома» — «Платформе управления данными». Технологии компании для работы с Big Data включают набор решений для потоковой и пакетной обработки данных, прикладные аналитические продукты и сервисы для бизнеса, системы для хранения и аналитики данных. Также в линейку входит ПО для управления данными RT Data Governance.

Axenix специализируется на внедрении комплексных аналитических решений, построении озер и хранилищ данных. Глобальная компания Accenture заявила об уходе из нашей страны в начале марта 2022 года. После этого, в апреле, российская практика Accenture была передана в собственность руководству локального подразделения.

В сентябре 2022 года Axenix представила первый собственный продукт In.Plan. В октябре создала Центр экспертизы по развитию платформы In.Plan, присоединив команду, ранее работавшую над проектами по управлению цепями поставок в SAP.

Ассоциация «Цифровая энергетика» (АЦЭ) и Ассоциация больших данных совместно доработают стратегию развития рынка больших данных в сфере электроэнергетики и промышленности. Об этом организации договорились в рамках пятилетнего соглашения о сотрудничестве.

Ассоциации будут продвигать и развивать технологии больших данных (БД) в таких областях, как коммерческий учет электроэнергии и прогнозирование ее потребления, включая новых крупных потребителей (например, станции зарядки электромобилей). Также в области управления персоналом отраслевых предприятий, в частности за контролем использования средств индивидуальной защиты.

Как отметил исполнительный директор АЦЭ, заместитель генерального директора по стратегии АО «Русатом Инфраструктурные решения» (РИР) Антон Зубков, участники рынка электроэнергетики сейчас сталкиваются с рядом вызовов – от высокой стоимости инфраструктуры БД и отсутствия базовой автоматизации до импортозамещения и связанных с ним требований информационной безопасности.

АЦЭ представила стратегию развития рынка Big Data на пять лет в конце 2019 года. К 2022 году ассоциация планировала объединить все активности в рамках стратегии в три программы: повышение доступности данных; развитие рынка Big Data (R&D); масштабирование рынка больших данных. Также в проекте было предусмотрено создание песочниц, к которым будет доступ у регуляторов и у крупного бизнеса.

Членами Ассоциации больших данных являются компании «Вконтакте», «Яндекс», «Газпромбанк», «Сбер», «Тинькофф», «Мегафон», «Ростелеком», «Билайн», Onefactor, QIWI, Аналитический центр при правительстве РФ, МТС, ВТБ, Фонд «Сколково», «Россельхозбанк».

Облачная платформа VK Cloud и компания Arenadata обнародовали результаты исследования, в ходе которого изучался российский рынок решений для работы с большими данными (Big Data).

В опросе приняли участие 150 IT-руководителей компаний из различных отраслей: FMCG (товары повседневного спроса), розничной торговли и электронной коммерции, банковских и страховых организаций, машиностроения, топливно-энергетического комплекса, медицинской и фармацевтической сферы.

Выяснилось, что 62 % российских компаний (из числа респондентов) используют системы для работы с большими данными, при этом 28 % из них начали внедрять такие решения в течение последних двух лет.

Источник изображений: VK Cloud

Ещё 38 % опрошенных сообщили, что их компании пока не используют продукты Big Data в силу различных причин: нехватка специалистов с нужным уровнем компетенций (22 %), разрозненность ИТ-инфраструктуры (12 %), проблема каталогизации информации (21 %), несформированная культура работы с данными и др. При этом 67 % компаний решают проблему дефицита кадров привлечением внешней экспертизы.

Почти две трети компаний (65 %) сохранят бюджет на дата-проекты на прежнем уровне, несмотря на экономические вызовы и другие сложности. Каждый четвёртый бизнес увеличит затраты на это направление в 2022 году, преимущественно это актуально для предприятий финсектора, розничной торговли, FMCG и топливно-энергетического комплекса.

Отмечается, что для работы с большими данными 46 % компаний используют облачные решения, ещё 29 % планируют начать работать с ними в ближайшее время. Одно из наиболее востребованных направлений облачных сервисов — инструменты для бизнес-аналитики, которые применяют 47 % компаний-респондентов. По оценкам Ассоциации больших данных, к 2024 году российский рынок Big Data вырастет до 300 млрд руб. с примерно 30 млрд руб. в 2022 году.

«Российский рынок решений в области больших данных уже достаточно зрелый. Сформированный технологический стек и накопленная экспертиза снижают порог входа для компаний в работу с ИТ-решениями. В условиях новых вызовов компании продолжат активно использовать облачные сервисы для работы с массивами данных, чтобы обеспечить гибкое масштабирование инфраструктуры, быстрее тестировать гипотезы и выводить цифровые продукты на рынок. Это, в свою очередь, поможет формировать новые ценности для бизнеса», — говорится в исследовании.