Материалы по тегу: software

28.03.2024 [22:01], Владимир Мироненко

Databricks представила открытую LLM DBRX, превосходящую GPT-3.5 Turbo

Американский стартап в сфере аналитики больших данных и машинного обучения Databricks объявил о выходе DBRX, большой языковой модели (LLM) общего назначения, которая, по его словам, превосходит в стандартных бенчмарках все существующие LLM с открытым исходным кодом, а также некоторые проприетарные ИИ-модели.

Стартап заявил, что открывает исходный код модели, чтобы побудить пользователей отказаться от коммерческих альтернатив. Он отметил, что согласно исследованию Andreessen Horowitz LLC, почти 60 % лидеров в области ИИ-технологий заинтересованы в увеличении использования или переходе на open source, если открытые модели после тюнинга примерно соответствуют по производительности проприетарным моделям.

 Источник изображений: Databricks

Источник изображений: Databricks

«Я считаю, что самые ценные данные хранятся внутри предприятий. ИИ как бы исключён из этих сфер, поэтому мы пытаемся реализовать это с помощью моделей с открытым исходным кодом», — цитирует ресурс SiliconANGLE заявление гендиректора Databricks Али Годси (Ali Ghodsi) на брифинге с журналистами. По словам Годси, лучше всего DBRX подходит для сфер, где критически важны управление и безопасность, например, для финансовых услуг и здравоохранения, или там, где важен тон ответов, например, в области самообслуживании клиентов.

DBRX использует архитектуру Mixture of Experts (MoE, набор экспертов), которая делит процесс обучения между несколькими специализированными «экспертными» подсетями. Каждый «эксперт» владеет определёнными навыками, а исходный запрос оптимальным образом распределяется между «экспертами». Вице-президент Databricks по генеративному ИИ, перешедший в компанию вместе с приобретением MosaicML, соучредителем которой он был, заявил, что MoE работает даже лучше человека.

Хотя DBRX с 132 млрд параметром почти в два раза больше Llama 2, она всё равно вдвое быстрее. Также сообщается, что DBRX превзошла существующие LLM с открытым исходным кодом Llama 2 70B и Mixtral-8x7B (тоже MoE), а также запатентованную GPT-3.5 Turbo в тестах на понимание языка, программирование, математику и логику. Обучение модели на общедоступных и лицензированных источниках данных в течение двухмесячного периода обошлось Databricks всего в $10 млн с использованием 3 тыс. ускорителей NVIDIA H100.

По словам компании, при создании приложений генеративного ИИ модель DBRX можно использовать вместе с Databricks Mosaic AI, набором унифицированных инструментов для создания, развёртывания и мониторинга моделей ИИ. Базовая модель DBRX Base и продвинутая модель DBRX Instruct доступны по открытой лицензии для исследований и коммерческого использования на GitHub и Hugging Face. Разработчики могут уже сегодня создавать свои варианты DBRX на основе собственных данных на платформе Databricks.

Постоянный URL: http://www.servernews.ru/1102428
28.03.2024 [14:50], Сергей Карасёв

Canonical увеличила срок поддержки LTS-релизов Ubuntu до 12 лет

Компания Canonical объявила о том, что срок поддержки LTS-релизов Ubuntu продлевается ещё на два года — до 12 лет. Новая модель выпуска обновлений будет распространяться на платформу Ubuntu 14.04 LTS и более поздние LTS-редакции, которые выходят раз в два года.

В октябре 2023-го Canonical сообщила, что пользователи Ubuntu смогут получать обновления безопасности и другие критические апдейты ОС в течение десятилетнего периода. При этом срок стандартной поддержки составляет пять лет, тогда как дополнительный период приобретается в рамках платной опции Expanded Security Maintenance (ESM).

 Источник изображения: Canonical

Источник изображения: Canonical

Поддержка Ubuntu 14.04 LTS должна была истечь в апреле 2024 года, но в соответствии с новой схемой она продлится до апреля 2026-го. Основная поддержка, как и прежде, предоставляется в течение пятилетнего срока. Ещё семь лет будут доступны пользователям сервиса Ubuntu Pro. В частности, дополнительные два года поддержки можно приобрести в рамках опции Legacy Support.

«Благодаря Legacy Support мы даём организациям возможность поддерживать их операционные потребности и инвестиции в открытый исходный код, гарантируя, что системы будут получать обновления безопасности в течение многих лет», — говорит Максимилиан Морган (Maximilian Morgan), вице-президент по технической поддержке Canonical.

Таким образом, Ubuntu 16.04 LTS будет получать поддержку до 2028 года, Ubuntu 18.04 LTS — до 2030-го, Ubuntu 20.04 LTS — до 2032-го и т.д. Стоимость новой услуги Canonical пока не раскрывает.

Постоянный URL: http://www.servernews.ru/1102395
28.03.2024 [14:31], Сергей Карасёв

Intel Gaudi2 остаётся единственным конкурентом NVIDIA H100 в бенчмарке MLPerf Inference

Корпорация Intel сообщила о том, что её ИИ-ускоритель Habana Gaudi2 остаётся единственной альтернативой NVIDIA H100, протестированной в бенчмарке MLPerf Inference 4.0. При этом, как утверждается, Gaudi2 обеспечивает высокое быстродействие в расчёте на доллар, хотя именно чипы NVIDIA являются безоговорочными лидерами.

Отмечается, что для платформы Gaudi2 компания Intel продолжает расширять поддержку популярных больших языковых моделей (LLM) и мультимодальных моделей. В частности, для MLPerf Inference v4.0 корпорация представила результаты для Stable Diffusion XL и Llama v2-70B.

Согласно результатам тестов, в случае Stable Diffusion XL ускоритель H100 превосходит по производительности Gaudi2 в 2,1 раза в оффлайн-режиме и в 2,16 раза в серверном режиме. При обработке Llama v2-70B выигрыш оказывается более значительным — в 2,76 раза и 3,35 раза соответственно. Однако на большинстве этих задач (кроме серверного режима Llama v2-70B) решение Gaudi2 выигрывает у H100 по показателю быстродействия в расчёте на доллар.

 Источник изображений: Intel

Источник изображений: Intel

В целом, ИИ-ускоритель Gaudi2 в Stable Diffusion XL показал результат в 6,26 и 6,25 выборок в секунду для оффлайн-режима и серверного режима соответственно. В случае Llama v2-70B достигнут показатель в 8035,0 и 6287,5 токенов в секунду соответственно.

Говорится также, что серверные процессоры Intel Xeon Emerald Rapids благодаря улучшениям аппаратной и программной составляющих в бенчмарке MLPerf Inference v3.1 демонстрируют в среднем в 1,42 раза более высокие значения по сравнению с чипами Xeon Sapphire Rapids. Например, для GPT-J с программной оптимизацией и для DLRMv2 зафиксирован рост быстродействия примерно в 1,8 раза.

Постоянный URL: http://www.servernews.ru/1102394
27.03.2024 [22:29], Алексей Степин

Новый бенчмарк — новый рекорд: NVIDIA подтвердила лидерские позиции в MLPerf Inference

Компания NVIDIA опубликовала новые, ещё более впечатляющие результаты в области работы с большими языковыми моделями (LLM) в бенчмарке MLPerf Inference 4.0. За прошедшие полгода и без того высокие результаты, демонстрируемые архитектурой Hopper в инференс-сценариях, удалось улучшить практически втрое. Столь внушительный результат достигнут благодаря как аппаратным улучшениям в ускорителях H200, так и программным оптимизациям.

Генеративный ИИ буквально взорвал индустрию: за последние десять лет вычислительная мощность, затрачиваемая на обучение нейросетей, выросла на шесть порядков, а LLM с триллионом параметров уже не являются чем-то необычным. Однако и инференс подобных моделей тоже является непростой задачей, к которой NVIDIA подходит комплексно, используя, по её же собственным словам, «многомерную оптимизацию».

 Источник изображений: NVIDIA

Источник изображений: NVIDIA

Одним из ключевых инструментов является TensorRT-LLM, включающий в себя компилятор и прочие средства разработки, учитывающие архитектуру ускорителей компании. Благодаря ему удалось почти втрое повысить производительность инференса GPT-J на ускорителях H100 всего за полгода. Такой прирост достигнут благодаря оптимизации очередей на лету (inflight sequence batching), применению страничного KV-кеша (paged KV cache), тензорному параллелизма (распределение весов по ускорителям), FP8-квантизации и использованию нового ядра XQA (XQA kernel).

В случае ускорителей H200, использующих ту же архитектуру Hopper, что и H100, важную роль играет память: 141 Гбайт HBM3e (4,8 Тбайт/с) против 80 Гбайт HBM3 (3,35 Тбайт/с). Такой объём позволяет разместить модель уровня Llama 2 70B целиком в локальной памяти. В тесте MLPerf Llama 2 70B ускорители H200 на 28 % производительнее H100 при том же теплопакете 700 Вт, а увеличение теплопакета до 1000 Вт (так делают некоторые вендоры в своих MGX-платформах) даёт ещё 11–14 % прироста, а итоговая разница с H100 в этом тесте может доходить до 45 %.

В специальном разделе новой версии MLPerf NVIDIA продемонстрировала несколько любопытных техник дальнейшей оптимизации: «структурированную разреженность» (structured sparsity), позволяющую поднять производительность в тесте Llama 2 на 33 %, «обрезку» (pruning), упрощающую ИИ-модель и позволяющую повысить скорость инференса ещё на 40 %, а также DeepCache, упрощающую вычисления для Stable Diffusion XL и дающую до 74 % прироста производительности.

На сегодня платформа на базе модулей H200, по словам NVIDIA, является самой быстрой инференс-платформой среди доступных. Результатами GH200 компания похвасталась ещё в прошлом раунде, а вот показатели ускорителей Blackwell она не предоставила. Впрочем, не все считают результаты MLPerf показательными. Например, Groq принципиально не участвует в этом бенчмарке.

Постоянный URL: http://www.servernews.ru/1102371
27.03.2024 [14:11], Сергей Карасёв

SAP обязали выплатить $26,4 млн в связи с делом о коррупции в ЮАР

Специальный трибунал в Южной Африке, по сообщению The Register, обязал немецкого поставщика ПО корпоративного класса SAP выплатить компенсацию в размере 500 млн рандов (примерно $26,4 млн) в рамках длительного расследования, связанного с нарушением законов о государственных финансах.

Речь идёт о двух контрактах, заключенных между SAP и энергетической фирмой Eskom: договоры на предоставление облачных услуг общей суммой 1,1 млрд рандов (около $58 млн) были заключены в 2013–2016 гг.

Как показала проверка, проведённая Специальным отделом расследований по борьбе с коррупцией ЮАР (SIU), заключенные соглашения не соответствуют Закону об управлении государственными финансами. В результате Eskom понесла «бесполезные и масштабные расходы». Постановлением Специального трибунала от 20 марта 2024 года эти контракты также признаны конституционно недействительными и отменены.

 Источник изображения: SAP

Источник изображения: SAP

В январе 2024-го SAP заявила, что заключила окончательные соглашения об урегулировании споров с Министерством юстиции США (DOJ), Комиссией по ценным бумагам и биржам США (SEC) и Национальной прокуратурой Южной Африки (NPA). Утверждается, что SAP ради продвижения своих продуктов в государственном секторе подкупала зарубежных чиновников.

В марте 2018 года SAP объявила о начале собственного антикоррупционного расследования в отношении отдельных сделок с южноафриканскими Transnet и Eskom. Поводом для этого послужили публичные обвинения в том, что дочерняя структура SAP использовала подставные компании для подкупа высокопоставленных лиц с целью получения государственных технологических контрактов. В центре внимания были отношения между SAP и предприятиями, связанными с влиятельной семьей Гупта, одной из богатейших в ЮАР.

Постоянный URL: http://www.servernews.ru/1102330
27.03.2024 [12:58], Владимир Мироненко

ГК Softline пригласила российские ИТ-компании присоединиться к ней

ГК Softline (ПАО «Софтлайн») предложила отечественным ИТ-компаниям присоединиться к ней. Взаимодействие с потенциальными кандидатами на включение в состав группы будет осуществляться на созданном на её сайте разделе M&A (mergers and acquisitions, слияния и поглощения), где те смогут подать заявку, заполнив анкету.

В числе преимуществ, которые даёт присоединение к ГК Softline, группа назвала возможность работы под узнаваемым брендом, увеличение числа потенциальных заказчиков благодаря доступу к её клиентской базе и возможность использования её продающих ресурсов, доступ к финансовым ресурсам и другим возможностям крупной компании. Также вошедшие в состав группы получат возможности обмена экспертизой, ресурсами и развитие совместного бизнеса с подразделениями ГК Softline в различных ИТ-направлениях: заказная разработка, информационная безопасность и т.д.

 Источник изображения: ГК Softline

Источник изображения: ГК Softline

Первые M&A сделки ГК Softline заключила в 2009 году. Генеральный директор ГК Softline отметил, что за последние два года группой было заключено 13 сделок M&A, в результате которых присоединившиеся к группе компании существенно улучшили свои результаты. Как сообщается в пресс-релизе, «все без исключения обращения будут рассмотрены, итоговый отбор будут проходить компании, соответствующие внутренним критериям группы исходя из перспектив бизнеса, финансовых и бизнес-показателей, возможности синергии с ГК Softline и входящими в неё брендами».

Постоянный URL: http://www.servernews.ru/1102328
27.03.2024 [12:51], Сергей Карасёв

Годовая прибыль Selectel взлетела в два раза, достигнув 2,8 млрд руб.

Компания Selectel, независимый провайдер сервисов IT-инфраструктуры в России, отрапортовала о работе в 2023 году. По ключевым показателям зафиксирован значительный рост, что объясняется продолжающимся развитием облачного рынка и реализацией программ импортозамещения в корпоративном секторе.

Выручка Selectel в 2023-м достигла 10,2 млрд руб., что соответствует росту на 26 % по отношению к предыдущему году, когда показатель равнялся 8,1 млрд руб. Чистая прибыль поднялась в годовом исчислении в два раза — с 1,4 млрд руб. до 2,8 млрд руб., а рентабельность по чистой прибыли составила 27 % против 17 % в 2022 году.

 Источник изображений: Selectel

Источник изображений: Selectel

В общем объёме выручки в 2023 году на частные облака на базе выделенных серверов пришлось около 6,0 млрд руб., или 58 %. Для сравнения: годом ранее это значение равнялось 4,8 млрд руб. Таким образом, зафиксирован рост на 25 %. Публичные и частные облака принесли 2,7 млрд руб. против 2,0 млрд руб. в 2022-м, что соответствует росту на 35 %. Ещё приблизительно 1,1 млрд руб. обеспечили услуги для дата-центров (плюс 14 % год к году), примерно 0,5 млрд руб. — прочие услуги (плюс 18 % по отношению к 2022-му).

Selectel продолжает инвестировать средства в развитие бизнеса. Капитальные затраты в 2023 году составили 2,5 млрд руб., что на 27 % меньше по сравнению с предыдущим годом. Падение объясняется временными эффектами. Из указанной суммы 1,2 млрд руб. пришлось на серверное оборудование, что на 40 % ниже результата за 2022 год. Ещё 1,1 млрд руб. направлено на развитие инфраструктуры дата-центров в соответствии с графиком строительства и модернизации площадок ЦОД.

Операционные расходы (себестоимость выручки, административные и коммерческие расходы) по итогам 2023 года поднялись на 15 % — до 4,6 млрд руб. в связи с увеличением масштабов бизнеса. Показатель скорректированной EBITDA (прибыль до вычета процентов, налогов и амортизационных отчислений) вырос на 35 % — до 5,7 млрд руб. Рентабельность по EBITDA улучшилась на 4 % — до 55 %. Количество клиентов в 2023 году выросло до 24 тыс. с 22,2 тыс. на конец 2022 года: в их число входят предприятия малого и среднего бизнеса, а также крупные корпорации.

«Наибольший рост потребления сервисов Selectel в прошлом году показали клиенты из финансового сектора, ретейла и IT. Если в 2022 году основным фактором развития рынка IT-инфраструктуры выступало импортозамещение, то в 2023 году мы наблюдали рост спроса на облачные решения на фоне развития российского бизнеса, совершенствования финансовых, образовательных, развлекательных и других цифровых сервисов», — говорит заместитель генерального директора по разработке и эксплуатации продуктов Selectel.

Постоянный URL: http://www.servernews.ru/1102340
27.03.2024 [11:58], Андрей Крупин

Система управления привилегированным доступом Solar SafeInspect получила множество доработок

Компания «Солар» (дочернее предприятие «Ростелекома», работающее в сфере информационной безопасности) сообщила о выпуске новой версии системы управления привилегированным доступом Solar SafeInspect 2.4.4.

Solar SafeInspect относится к классу решений Privileged Access Management (PAM) и помогает организациям снижать риск угроз, которые связаны с действиями привилегированных пользователей, имеющих доступ к важным данным и IT-активам. Продукт собирает сведения обо всех действиях администраторов, происходящих в сети, и сохраняет их для последующего просмотра с целью аудита и расследования инцидентов.

 Схема работы Solar SafeInspect

Схема работы Solar SafeInspect

В обновлённой версии Solar SafeInspect появилась возможность ограничивать рабочее время для привилегированных пользователей в соответствии с графиком их работы и доработан внутренний модуль видео, который используется для записи выполняемых на контролируемых устройствах действий — ускорена генерация видео, уменьшен размер видеофайла и улучшено качество изображения. Также была улучшена поддержка протокола PowerShell TLS, реализован режим сопоставления пользователей для расширенного контроля доступа и добавлена возможность просмотра XML-данных непосредственно со страницы подключения.

Для повышения информативности журналов событий работы системы вся информация, сохраняющаяся в процессе логирования данных, теперь предоставляется в расширенном формате. Кроме того, были расширены настройки параметров паролей для локальных пользователей и администраторов и обновлены разделы парольных политик. Повысить меры безопасности и общую производительность программного комплекса позволило внесение нескольких технологических улучшений, включая завершение перехода на Python3, в том числе для работы с API, введение нового требования к проверке имени коллектора и замену криптографических библиотек для RDP-подключений с использованием TLS 1.2.

Постоянный URL: http://www.servernews.ru/1102342
26.03.2024 [21:14], Владимир Мироненко

Крупные ИТ-компании ведут переговоры о поглощении ряда российских разработчиков ОС

В настоящее время крупные российские технологические компании рассматривают возможность приобретения российских разработчиков операционных систем, пишет «Коммерсантъ» со ссылкой на источники на ИТ-рынке. По мнению экспертов, эта тенденция связана со стремлением крупных холдингов выстраивать собственные экосистемы IT-продуктов, которые будут неполными без собственной ОС.

По словам источников «Коммерсантъ», в настоящее время идут переговоры по поводу приобретения «Базальт СПО», «Группа Астра», «Ред Софт» и НТЦ ИТ РОСА крупными игроками, в число которых входят VK, «Ростелеком», «Росатом» и МТС. Впрочем, «Ростелекому» уже принадлежит разработчик мобильной ОС «Аврора», а представитель компании ещё в прошлом году отмечал, что на российском рынке есть множество сходных или дублирующихся продуктов. У «Сбера» также есть собственный дистрибутив SberLinux. НПО «РусБИТех» (ОС Astra Linux и пр.) и «Ред Софт» (ОС «РЕД ОС» и пр.) с недавних пор находятся под санкциями США.

 Изображение: Lukas / Unsplash

Изображение: Lukas / Unsplash

По мнению создателя венчурного фонда «Стриго Кэпитал», для разработчиков ПО вхождение в состав крупной компании несёт только плюсы, поскольку означает доступ к финансированию. Эксперт предположил, что в связи с ростом выручки стоимость «Базальт СПО» может составить 5–8 млрд руб., «Ред Софта» — 9–12 млрд руб. После ухода западных вендоров выручка российских разработчиков ПО резко выросла, что объясняется повышением цен в связи со слабой конкуренцией.

Глава НП «Руссофт» объясняет растущую заинтересованность крупных российских IT-холдингов к покупке компаний-разработчиков ОС с импортозамещением, появлением новых обязательств для критической информационной инфраструктуры (КИИ) по переходу на российские решения, а также планами компаний по выпуску собственной электроники. «Сейчас многие организации планируют локализовать производство электроники, от ноутбуков до серверов, добавлять туда российское ПО и поставлять в госкомпании в виде программно-аппаратных комплексов», — сообщил эксперт.

Постоянный URL: http://www.servernews.ru/1102308
26.03.2024 [15:04], Андрей Крупин

ИБ-платформа Security Vision 5 получила новую функциональность

Компания «Интеллектуальная безопасность» сообщила о выпуске нового релиза актуальной на сегодняшний день версии платформы Security Vision 5. Обновления коснулись всех входящих в состав программного комплекса компонентов.

Security Vision позволяет роботизировать до 95 % программно-технических функций оператора информационной безопасности. Представленные в составе платформы продукты обеспечивают решение таких задач, как:

  • создание единого ситуационного центра кибербезопасности;
  • выявление атак и инцидентов кибербезопасности на ранних стадиях за счёт анализа событий, поступающих от различных средств защиты информации;
  • консолидация оперативной информации и её анализ в реальном времени для расследования инцидентов кибербезопасности и принятия управленческих решений;
  • сокращение времени реагирования за счёт автоматизации ключевых процедур и сценариев реагирования, роботизации функций оператора информационной безопасности;
  • автоматическое обеспечение контроля соответствия требованиям регуляторов, национальным и международным стандартам.

В новом релизе Security Vision 5 разработчиками было уделено особое внимание формированию и изменениям организационной IT-структуры: ускорена работа с большими объёмами данных учётных записей и организаций в режиме Multitenancy, для переменчивых периметров реализована оперативная адаптация моделей доступа для новых или перемещаемых ролей. В дополнение к этому была оптимизирована работа с данными разных форматов и их преобразование, средства импорта и экспорта получили новые функции, включая гранулярную настройку возможностей пользователей и запуск группы действий. Доработкам также подверглись средства визуализации данных и API программного комплекса.

Платформа Security Vision зарегистрирована в реестре отечественного ПО и сертифицирована ФСТЭК России по 4 уровню доверия. Решение может использоваться в значимых объектах критической информационной инфраструктуры 1 категории, в государственных информационных системах 1 класса защищённости, в информационных системах общего пользования II класса, в информационных системах персональных данных при необходимости обеспечения 1 уровня защищённости, в автоматизированных системах управления производственными и технологическими процессами 1 класса защищённости.

Постоянный URL: http://www.servernews.ru/1102291
Система Orphus