Материалы по тегу: sql

06.08.2020 [13:54], Юрий Поздеев

ScaleFlux SSD с набортной ПЛИС в три раза ускоряет работу Percona MySQL

СУБД MySQL в реализации от Percona работает быстрее с SSD ScaleFlux и есть замеры, подтверждающие это. В сравнительных тестах ScaleFlux CSD 2000 оказался почти в 3 раза быстрее, чем Intel DC P4610 (на определенных рабочих нагрузках, разумеется).

Основная идея ScaleFlux проста — отдельные аппаратные блоки в накопителях могут выполнять некоторые операции быстрее, чем сам сервер, где эти накопители находятся: сжатие/распаковка, перекодирование видео и тому подобное. В частности, ScaleFlux CSD 2000 поддерживает аппаратное сжатие GZIP, которое эффективно удваивает емкость и обеспечивает на 40-70 процентов больше операций ввода-вывода в секунду, чем аналогичные твердотельные NVMe-накопители при смешанных рабочих нагрузках чтения-записи OLTP.

В своих совместных тестах Percona и ScaleFlux сравнили CSD 2000 с твердотельным накопителем Intel DC P4610 емкостью 3,2 Тбайт (64-слойная TLC 3D NAND + NVMe PCIe 3.1 x4). Модель CSD 2000 во многом похожа на него: интерфейс NVMe PCIe 3.0, ёмкость 4 Тбайт, чипы памяти TLC 3D NAND. Однако у неё есть FPGA, выполняющий функции обработки данных (сжатие и кодирование) и функции ускорения для баз данных.

База данных Percona имеет буфер «DoubleWrite» для защиты от потери и повреждения данных, в котором набор страниц извлекается из буфера и хранится до тех пор, пока данные не будут окончательно записаны в базу данных. Твердотельный накопитель CSD 2000 имеет функцию «атомарной записи», которая делает двойной буфер избыточным и его можно отключить, что значительно ускоряет запись в базу данных. Intel P4610 не имеет функции атомарной записи.

Ниже представлены результаты тестов двух накопителей в Sysbench, причем CSD 2000 был протестирован как с функцией двойного буфера, так и без нее, а для накопителя Intel отдельно сделан тест со сжатием данных силами самого сервера:

По диаграммам видно, что по мере увеличения потоков от 8 до 256 преимущество ScaleFlux растет, при этом атомарная запись становится значительным фактором при 64 потоках и выше (темно-синий столбец). Отключение Percona DoubleWrite позволило CSD 2000 повысить производительность при 64 потоках с 2000 запросов в секунду до более чем 2700. При количестве потоков от 64 до 128 накопитель ScaleFlux почти в три раза быстрее, чем Intel.

Идея переноса вычислений «ближе к данным» существует уже не первый год, обычно для этого в СХД используются специализированные ускорители (ASIC), расположенные в контроллерах, однако в последние годы наметилась тенденция переноса некоторых рабочих нагрузок непосредственно в устройства хранения (накопители), что дает значительный прирост производительности, разгружая контроллер СХД и центральный процессор.

Постоянный URL: http://servernews.ru/1017543
17.07.2020 [01:49], Юрий Поздеев

Tintri: система хранения данных для SQL

Tintri выпустила обновление для своей платформы хранения данных с поддержкой виртуальных машин, которое обеспечивает тот же уровень детализации управления для баз данных SQL. Преимущества включают в себя упрощение клонирования баз данных и возможность для администраторов напрямую выделять больше ресурсов при необходимости.

Интегрированное с SQL хранилище данных базируется на технологии Tintri, разработанной для виртуальных машин, благодаря которой массивы VMstore стали популярным выбором для сред VMware. Новая версия ПО интегрирует хранилище непосредственно с SQL сервером, а также упрощает и автоматизирует задачи управления хранилищем для баз данных SQL и, следовательно, администраторов баз данных (DBA).

Tintri отмечает, что одна виртуальная машина может содержать несколько баз данных с разными запросами по ресурсам и это может усложнить управление каждой из них. Например, если вы хотите клонировать базу данных, вы должны клонировать всю ВМ, операционную систему и все остальное. Tintri позволяет «заглянуть внутрь» виртуальных машин и напрямую интегрироваться с базами данных для предоставления хранилища с необходимыми параметрами.

Как и в случае с VMstore, обновленное ПО представляет емкость хранилища как единый том для баз данных, избавляя от необходимости делить его на LUN и RAID-группы. Это позволяет администраторам получить более полное представление о том, что происходит с хранилищем на уровне каждой отдельной базы данных.

Tintri позволяет просматривать все объекты, используемые SQL сервером, вплоть до уровня отдельных файлов, причем нет необходимости развертывать какие-либо агенты внутри виртуальных машин, вместо этого используются расширенные события SQL для мониторинга и сбора разнообразной системной информации от SQL. Такой подход позволяет видеть всю инфраструктуру базы данных, управлять моментальными снимками и репликацией данных, причем моментальные снимки не оказывают влияния на производительность, так как выполняются без остановки ввода-вывода.

Tintri утверждает, что они единственный поставщик, способный предоставить гарантии QoS для каждой отдельной базы данных SQL сервера, при этом ресурсы распределяются автоматически по мере необходимости при изменении требований для каждой базы данных. Интегрированное с SQL хранилище является обновлением ПО Tintri для массивов VMstore и не требует дополнительных лицензий.

Постоянный URL: http://servernews.ru/1015868
24.03.2020 [18:38], Андрей Крупин

Состоялся релиз СУБД Postgres Pro Enterprise 12

Компания Postgres Professional сообщила о выпуске новой 12-ой версии СУБД Postgres Pro Enterprise, построенной на базе свободной объектно-реляционной системы управления базами данных PostgreSQL и распространяемой на коммерческой основе.

СУБД Postgres Pro Enterprise разработана специально для высоконагруженных систем крупных предприятий и по сравнению с базовыми возможностями PostgreSQL содержит ряд усовершенствований.

В новую версию продукта был добавлен пул соединений, позволяющий увеличивать количество одновременно работающих с базой данных пользователей. В дополнение к этому разработчиками были улучшены функции управления сжатием обрабатываемых данных, реализованы возможности исключения дубликатов для создаваемых индексов, добавлены инструменты мониторинга работы платформы и средства, упрощающие настройку и развёртывание программного комплекса в многокластерных системах.

В числе прочих особенностей обновлённой СУБД Postgres Pro Enterprise 12 называются доработанные модули pg_probackup, mchar и dump_stat, дополнительный параметр plan_cache_lru_memsize, ограничивающий объём выделяемой для подготовленных операторов памяти, а также новое расширение pgpro_stats, которое не только собирает аналитику по выполнению SQL-операторов, но и подсчитывает статистику событий ожидания.

Система управления базами данных Postgres Pro Enterprise включена в реестр отечественного ПО и рекомендована для использования в государственных организациях. Дополнительные сведения о продукте можно найти на сайте компании-разработчика postgrespro.ru/products/postgrespro/enterprise.

Постоянный URL: http://servernews.ru/1006720
29.02.2020 [23:42], Андрей Крупин

СУБД Postgres Pro получила ряд обновлений

Компания Postgres Professional сообщила об обновлении системы управления базами данных Postgres Pro, представленной в редакциях Standard и Enterprise. Новые версии продуктов получили порядковый индекс 11.7.1.

СУБД Postgres Pro является российской разработкой, построенной на базе свободной объектно-реляционной системы управления базами данных PostgreSQL. Отечественное решение обладает дополнительными функциональными возможностями по сравнению с PostgreSQL и полностью поддерживается программистами из России.

В основу новых версий Postgres Pro Standard и Enterprise 11.7.1 легли наработки и пакетная база PostgreSQL 11.7. При подготовке СУБД к выпуску разработчики улучшили функциональность управления сжатием данных, усовершенствовали механизм встроенного пула соединений и работу с кластерными конфигурациями, поработали над оптимизацией выполнения запросов. Помимо этого, сообщается об исправлении обнаруженных ошибок в коде программного комплекса и прочих функциональных улучшениях, с полным списком которых можно ознакомиться по этой ссылке.

Система управления базами данных Postgres Pro включена в реестр отечественных программных продуктов и имеет в своём активе сертификат соответствия ФСТЭК России. Дополнительные сведения о СУБД Postgres Pro можно найти на сайте компании-разработчика postgrespro.ru.

Постоянный URL: http://servernews.ru/1004895
12.02.2020 [22:44], Алексей Степин

Swarm64 продемонстрировала PostgreSQL-ускоритель на базе FPGA Intel Arria 10

Ускорители на базе ПЛИС продолжают осваивать рынок. На конференции PgConf.Russia 2020 компания Swarm64 представила в России свою разработку, ускоритель для СУБД PostgreSQL — решение HTAP (Hybrid Transaction Acceleration Processing) базируется на FPGA Intel Arria 10.

Принцип работы ускорителя Swarm64

ПЛИС ускорителя HTAP сконфигурирована разработчиками Swarm64 для ускорения структуризация массивов данных, операций комплексных вычислений, обработки поисковых запросов. Новинка показала весьма впечатляющие результаты — в популярном бенчмарке TPC-H она продемонстрировала ускорение в 25 — 80 раз, в зависимости от задачи.

Этот набор тестов имитирует «тяжёлые» сценарии работы с СУБД вроде обработки множества одновременных запросов. Именно на этой задаче (обработка запросов класса Q6) выигрыш составил до 80х в сравнении с системой на базе двух 24-ядерных Xeon Gold 8268 с 384 Гбайт оперативной памяти и 1,536 Тбайт памяти в модулях Optane DCPMM в режиме App Direct.

На операциях записи выигрыш был скромнее и составил 25 ‒ 35 раз. Использование ускорителя Swarm64 позволило тестовой системе продемонстрировать производительность на уровне 12 миллионов транзакций в минуту и 5 тысяч аналитических решений в секунду.

Решения Swarm64 также доступны и для ПЛИС Xilinx, а для тех, кто хочет оценить возможности ускорителя, компания предлагает воспользоваться FPGA-инстансами AWS F1

Постоянный URL: http://servernews.ru/1003566
27.12.2019 [16:36], Андрей Галадей

Состоялся релиз системы администрирования БД phpMyAdmin 5.0.0

Вышла новая версия системы управления и администрирования баз данных MySQL и MariaDB —  phpMyAdmin 5.0.0. Как отмечается, этот релиз включает в себя множество новых функций и улучшений из ветки 4.9. Прошлый мажорный релиз вышел шесть лет назад. 

Одним из важнейших изменений стало удаление поддержки старых версий PHP (5.5, 5.6, 7.0 и HHVM), которые более не поддерживаются собственными разработчиками. Другие изменения касаются упрощения разработки и администрирования. Также модернизирован интерфейс системы.

Ещё в новой версии улучшилось отображение ошибок, в том числе было упрощено копирование в буфер обмена. Добавилась комбинация кнопок для очистки строки (ctrl+l) и очистки всего окна консоли (ctrl+u).

Кроме того, появилась поддержка кодировки windows-1252 при экспорте в формат Excel. Если же экспортировать данные в формат CSV, то есть возможность включить имена столбцов. Также реализованы улучшения в экспорте представлений. А при создании столбца автоинкремента теперь автоматически добавляется индекс.

Скачать новинку и ознакомиться с полным списком изменений и нововведений можно на официальном сайте. 

Постоянный URL: http://servernews.ru/1000584
17.10.2019 [13:56], Андрей Крупин

СУБД Jatoba вошла в реестр российского ПО

Экспертный совет по российскому софту включил в реестр отечественного программного обеспечения систему управления базами данных Jatoba. Таким образом СУБД получила статус рекомендованной для использования в государственных ведомствах и организациях РФ.

Платформа Jatoba разработана компанией «Газинформсервис» на базе свободной объектно-реляционной системы управления базами данных PostgreSQL и предназначена для высоконагруженных IT-инфраструктур крупных предприятий.

Особенностями отечественной СУБД являются расширенные функциональные возможности, увеличенная синтаксическая совместимость с процедурным языком PL/SQL, а также встроенные средства предотвращения анализа и изменения исходных кодов процедур и функций. Благодаря этому у администраторов и пользователей Jatoba может быть ограничена возможность просмотра и изменения исходных кодов, процедур и функций в базе данных. Это исключает стороннее вмешательство в бизнес-логику программного продукта, использующего СУБД Jatoba как платформу хранения, а также позволяет обезопасить процесс поставки и развёртывания сложных решений и защитить интеллектуальную собственность производителя продукта.

Более подробные сведения о платформе Jatoba представлены на сайте gaz-is.ru.

Напомним, что с 1 января 2016 года в России действуют положения законодательства об использовании российского ПО и запрет на закупки иностранного софта при наличии российских аналогов, удовлетворяющих требованиям государственных и муниципальных заказчиков. Отечественными считаются те программные продукты, сведения о которых внесены в соответствующий реестр. Решения о включении и об исключении из реестра принимает Минкомсвязь России на основании заключений экспертного совета, состоящего из представителей государственных заказчиков и российской IT-отрасли.

Постоянный URL: http://servernews.ru/995784
04.10.2019 [16:33], Андрей Галадей

СУБД PostgreSQL 12.0 официально доступна

Свободная объектно-реляционная система управления базами данных PostgreSQL 12.0 теперь официально доступна.

В этом обновлении появилось множество улучшений по части производительности. По умолчанию теперь активирована JIT-компиляция с использованием LLVM, введенная в PostgreSQL 11. А ещё появилась поддержка выражений JSONpath и многое другое.

Сами разработчики заявили о повышении производительности запросов в отношении больших наборов данных. Также отмечено наличие интерфейса для подключения сторонних движков, что позволяет разработчикам создавать свои собственные методы для хранения данных. Кроме того, было заявлено о росте производительности при индексировании базы. 

Наконец, в двенадцатой версии появились «сгенерированные столбцы». Этот тип столбца вычисляет свое значение из содержимого других столбцов в той же таблице. Он определён в рамках стандарта SQL. Также появились «сохранённые сгенерированные столбцы», где вычисленное значение хранится на диске.

А ещё были добавлены недетерминированные параметры сортировки и повышена безопасность системы в целом. Больше информации о релизе вы найдёте на официальном сайте

Постоянный URL: http://servernews.ru/995102
06.07.2019 [22:12], Андрей Крупин

Состоялся релиз СУБД Postgres Pro Enterprise 11.4.1

Компания Postgres Professional сообщила о выпуске новой версии российской СУБД Postgres Pro Enterprise 11.4.1, построенной на базе свободной объектно-реляционной системы управления базами данных PostgreSQL и распространяемой на коммерческой основе.

СУБД Postgres Pro Enterprise предназначена для использования в высоконагруженных системах крупных предприятий и по сравнению с базовыми возможностями PostgreSQL содержит ряд усовершенствований, в том числе направленных на повышение производительности, надёжности и стабильности работы продукта.

Обновлённая система управления базами данных получила поддержку ОС Rosa Enterprise Linux Server 7, «Роса Кобальт» (серверная редакция), SUSE Linux Enterprise Server 12 SP3 и Astra Linux «Орёл» 2.12, а также доработанные модули pg_pathman, pg_probackup, pgpro_scheduler и multimaster. В дополнение к этому программистами Postgres Professional была исправлена работа с таблицами, разбитыми на многоуровневые секции, улучшена оценка избирательности для запросов с операциями IN, а также с условиями, в которых фигурируют столбцы, входящие в более широкие многоколоночные индексы.

С развёрнутым списком новых возможностей и изменений Postgres Pro Enterprise 11.4.1 можно ознакомиться в примечаниях к релизу. Там же приведены все необходимые инструкции по установке обновлённой версии СУБД.

Утверждается, что в пределе СУБД Postgres Pro Enterprise способна выдержать нагрузку до 10 тысяч одновременно работающих пользователей и 1 млн транзакций в секунду при размере базы данных до 150 Тбайт, при этом максимальная задержка при восстановлении работоспособности кластера составляет менее 5 секунд. Дополнительные сведения о продукте представлены на сайте компании-разработчика postgrespro.ru/products/postgrespro/enterprise.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/990331
28.06.2019 [22:22], Андрей Крупин

Вышла СУБД Postgres Pro Standard 11.4.1

Компания Postgres Professional сообщила о выпуске новой версии системы управления базами данных Postgres Pro Standard 11.4.1.

СУБД Postgres Pro является российской разработкой, построенной на базе свободной объектно-реляционной системы управления базами данных PostgreSQL. Отечественное решение обладает дополнительными функциональными возможностями по сравнению с PostgreSQL и полностью поддерживается российскими программистами.

В основу новой версии Postgres Pro Standard 11.4.1 легли наработки и пакетная база PostgreSQL 11.4. При подготовке СУБД к выпуску разработчики обновили модули pg_probackup и pg_pathman, устранили проблему с записью временных файлов статистики и добавили поддержку операционных систем Rosa Enterprise Linux Server 7, «Роса Кобальт» (серверная редакция), SUSE Linux Enterprise Server 12 SP3 и 15, Ubuntu 19.04 и AlterOS 7.5. Также сообщается о прекращении поддержки Ubuntu 14.04 и улучшении оценки избирательности для запросов с операциями IN и условиями, в которых фигурируют столбцы, входящие в более широкие многоколоночные индексы.

Полный список новых возможностей и изменений Postgres Pro Standard 11.4.1 можно найти в примечаниях к релизу. Там же описан рекомендуемый процесс миграции на новую версию СУБД.

Платформа Postgres Pro Standard включена в реестр российских программ для электронных вычислительных машин и баз данных Минкомсвязи России и может применяться в государственных ведомствах.

Дополнительные сведения о системе управления базами данных Postgres Pro Standard представлены на сайте компании-разработчика postgrespro.ru/products/postgrespro/standard.

Материалы по теме:

Источник:

Постоянный URL: http://servernews.ru/989950
Система Orphus