Привет, Хабр!

Меня зовут Жуйков Андрей, занимаюсь развитием и продвижением СУБД Digital Q.DataBase.

За последние несколько лет тема импортозамещения систем управления базами данных перестала быть исключительно вопросом соответствия требованиям регуляторов. Сегодня для многих организаций это уже практическая задача, которую необходимо решать без остановки бизнес-процессов и без многомесячной переработки прикладных систем.

На практике ситуация выглядит достаточно типично. В компании уже работают приложения, рассчитанные на MS SQL Server, PostgreSQL или Oracle Database. За годы эксплуатации вокруг них формируется большая экосистема: накопленная бизнес-логика, отчеты, интеграции, процедуры, триггеры и собственные инструменты администрирования.

Полный перенос всего этого хозяйства на новую СУБД часто оказывается самым дорогим и рискованным этапом проекта.

На практике объем работ при миграции может быть весьма значительным. Представим информационную систему, содержащую около 2 000 хранимых процедур и функций общим объёмом порядка 900 тысяч строк SQL-кода. Ручная переработка такого количества объектов под новую СУБД может занять многие месяцы работы команды разработчиков и сопровождаться высоким риском появления ошибок.

Даже при использовании автоматизированных средств конвертации большая часть проектов требует последующей доработки, тестирования и исправления несовместимостей.

Именно поэтому одним из ключевых требований при выборе новой платформы становится возможность сохранить существующую прикладную логику и минимизировать объем изменений в коде приложений.

Подход, реализованный в Digital Q.DataBase, позволяет существенно сократить объем необходимых доработок за счет воспроизведения функциональности популярных СУБД и поддержки привычных протоколов взаимодействия. В результате многие системы могут быть перенесены значительно быстрее по сравнению с полной переработкой прикладного слоя.

Именно поэтому при разработке Digital Q.DataBase мы сделали ставку не только на импортозамещение, но и на совместимость с существующими системами.

СУБД поддерживает несколько популярных диалектов SQL и позволяет запускать многие приложения без масштабной переработки их логики.

Недавно вышла версия Digital Q.DataBase 18.2, в которой была существенно переработана архитектура продукта. Вместо единого монолитного решения СУБД получила независимые модули, воспроизводящие функциональность PostgreSQL, Microsoft SQL Server и Oracle Database. Такой подход упрощает установку, сопровождение и обновление системы, а также позволяет использовать только те компоненты, которые действительно необходимы в конкретном проекте.

В этой статье я покажу, как установить Digital Q.DataBase 18.2 на РЕД ОС 8.0.3, познакомлю с новой архитектурой СУБД и продемонстрирую подключение к каждому из поддерживаемых диалектов.

Digital Q.DataBase - российская СУБД, предназначенная для построения корпоративных информационных систем и миграции с зарубежных платформ управления данными.

Одной из ключевых особенностей продукта является поддержка нескольких диалектов SQL, что позволяет использовать привычные механизмы работы для приложений, изначально разработанных под PostgreSQL, Microsoft SQL Server или Oracle Database.

Основные возможности платформы:

• поддержка нескольких SQL-диалектов;

• снижение объёма доработок при миграции приложений;

• развитые механизмы безопасности и разграничения доступа;

• резервное копирование и восстановление данных;

• поддержка поколоночного и in-memory хранения данных;

• партиционирование и масштабирование крупных баз данных;

• инструменты миграции существующих систем.

Версия 18.2 стала одним из самых заметных обновлений платформы за последнее время благодаря переходу на новую модульную архитектуру.

Главное изменение — разделение СУБД на три независимых модуля:

• Pearl — модуль PostgreSQL;

• Marble — модуль, воспроизводящий функциональность Microsoft SQL Server;

• Onyx — модуль, воспроизводящий функциональность Oracle Database.

Теперь каждый модуль можно устанавливать, обновлять и сопровождать отдельно от остальных.
 Например, если в инфраструктуре используются только приложения PostgreSQL, можно установить исключительно модуль Pearl.

Дополнительно для PostgreSQL-совместимого режима были выбраны стандартные настройки, привычные большинству администраторов:

• порт 5432 вместо использовавшихся ранее нестандартных значений;

• пользователь postgres по умолчанию;

• стандартные механизмы подключения клиентских приложений.

Благодаря этому многие существующие приложения начинают работать практически без изменения настроек подключения.

Кроме архитектурных изменений, в версии 18.2 существенно расширена совместимость с Microsoft SQL Server и Oracle Database.
 Добавлена поддержка новых конструкций языка, улучшена работа с процедурами, функциями, правами доступа и средствами администрирования.

Дистрибутив Digital Q.DataBase можно скачать с сайта компании «Диасофт».

Для РЕДОС 8.0 поставка включает четыре пакета:

• qdatabase-18-pearl – модуль PostgreSQL;

• qdatabase-18-marble – модуль, воспроизводящий функциональность Microsoft SQL Server;

• qdatabase-18-onyx – модуль, воспроизводящий функциональность Oracle Database;

• qdatabaseclient-18 – клиентские инструменты и дополнительные утилиты.

Такой подход позволяет устанавливать только необходимые компоненты.

Важно отметить, что каждый режим Digital Q.DataBase работает как отдельный экземпляр сервера и имеет собственные конфигурационные файлы.
 Например:

• Pearl (PostgreSQL) –  /var/lib/qdatabase-18/pearl/data/pg_hba.conf

• Marble (T-SQL) –  /var/lib/qdatabase-18/marble/data/pg_hba.conf

• Onyx (Oracle) – /var/lib/qdatabase-18/onyx/data/pg_hba.conf

Важно отметить, что каждый режим Digital Q.DataBase работает как отдельный экземпляр сервера и использует собственный файл postgresql.conf, расположенный в каталоге данных соответствующего экземпляра:

• Pearl (PostgreSQL) –  /var/lib/qdatabase-18/pearl/data/postgresql.conf

• Marble (T-SQL) –  /var/lib/qdatabase-18/marble/data/postgresql.conf

• Onyx (Oracle) –  /var/lib/qdatabase-18/onyx/data/postgresql.conf

Через данные файлы настраиваются сетевые параметры серверов, лимиты подключений, параметры памяти и другие настройки экземпляров СУБД.

Для установки потребуется:

• RedOS 8;

• доступ к стандартному репозиторию пакетов RedOS;

• права администратора;

• бесплатная версия до 8 ядер.

Если доступ к репозиторию ограничен политиками безопасности, необходимо заранее подготовить локальное зеркало репозитория. Без этого установка не сможет завершиться успешно из-за отсутствия зависимостей. Не забудьте подготовить на сервере необходимые вам кодировки.

Перед началом установки рекомендуется обновить список пакетов:

sudo dnf upgrade

Установка PostgreSQL-модуля pearl:

sudo dnf install ./qdatabase-18-pearl-18.2.26061101-redos8_x86_64.rpm

После установки PostgreSQL-модуля необходимо обязательно применить данную команду, будь то кластер или просто нода:

sudo /opt/qdatabase-18/pearl/bin/pg_setting.sh

Проверяем запуск сервиса:
Сервер должен находиться в состоянии active (running) и прослушивать порт 5432.

Проверка работы сервиса.
Проверим выполнение запросов:

Настройка удаленного доступа
Для подключения внешних клиентов определим расположение конфигурационных файлов hba_file и config_file
 
 Добавим необходимые правила в pg_hba.conf:

host    all    all    0.0.0.0/0    md5
 host    all    all    ::/0         md5

В файле postgresql.conf разрешим прослушивание сетевых интерфейсов 
 listen_addresses='*'и перезапустим сервис используя sudo systemctl restart qdatabase-18.service:

После настройки сетевого доступа подключение выполняется стандартным PostgreSQL-драйвером.

Параметры подключения:

• Host: IP-адрес сервера;

• Port: 5432;

• Database: postgres;

• User: postgres

Password:(указывается вами при запуске sudo /opt/qdatabase-18/pearl/bin/pg_setting.sh)

Установка модуля, воспроизводящего функциональность Microsoft SQL Server:

sudo dnf install qdatabase-18-marble-18.2.26062501-redos8_x86_64.rpm

Порт 1433 соответствует стандартному порту Microsoft SQL Server.

Проверка сервиса T-SQL

Для демонстрации совместимости выполним оператор MERGE:

MERGE employees AS target
 USING employee_updates AS source
 ON target.id = source.id
 WHEN MATCHED THEN
     UPDATE SET salary = source.salary
 WHEN NOT MATCHED THEN
     INSERT (fullname, salary)
     VALUES (source.fullname, source.salary);
 go

Для подключения к модулю Marble можно использовать стандартный драйвер Microsoft SQL Server.

Параметры подключения:

• Host: IP-адрес сервера;

• Port: 1433;

• User: qdbadmin.

• Pass: qdbadmin

Установка модуля, воспроизводящего функциональность Oracle Database:

sudo dnf install qdatabase-18-onyx-18.2.26061101-redos8_x86_64.rpm
 

По умолчанию используется стандартный Oracle-порт 1521.

Подключимся к модулю onyx через qclient и выполним простой пример с использованием пакета DBMS_RANDOM:

 SELECT
     DBMS_RANDOM.STRING('U', 8) AS random_text,
     ROUND(DBMS_RANDOM.VALUE(1,100),2) AS random_number
 FROM dual;

Результат демонстрирует работу Oracle-совместимого SQL-диалекта и системных пакетов.

Для подключения к модулю Onyx из DBeaver укажите следующие параметры:

• Сервер: ВАШ_IP

• Порт: 1521

• База данных: qdbora

• Пользователь: SYSDBA

• Пароль: SYSDBA

В окне «Настройки драйвера» на вкладке «Библиотеки» удалите все существующие элементы списка и добавьте предоставленный компанией «Диасофт» JDBC-драйвер jdbc-42.7.0.jar.

После установки всех трех компонентов на одном сервере становятся доступны сразу три режима работы Digital Q.DataBase, воспроизводящие функциональность PostgreSQL, Microsoft SQL Server и Oracle Database. Это позволяет подключать существующие приложения через привычные протоколы и использовать уже имеющийся SQL-код без масштабного переписывания бизнес-логики.

При необходимости устанавливаем клиентскую часть:

Просмотр содержимого пакета через rpm -qpl.
Клиентская часть СУБД (наименование qdatabaseclient..) — содержит интерактивные sql-строки (psql, qclient) и Мастер переноса БД.

Установка клиентского пакета:
 sudo dnf install ./qdatabaseclient-18-18.2.26062501-redos8_x86_64.rpm

Мастер переноса и Мастер сравнения доступны как в виде графических приложений, так и в виде консольных утилит, запускаемых из командной строки с использованием YAML-конфигураций.

После установки сервисы становятся доступны на стандартных портах:

Перед установкой рекомендуется убедиться, что эти порты свободны:

sudo netstat -tulpn | grep -E ":(5432|1433|1521)\s"

Исполняемые файлы:

/opt/qdatabase-18/pearl
/opt/qdatabase-18/marble
/opt/qdatabase-18/onyx

Данные:

/var/lib/qdatabase-18/

Логи:

/var/log/qdatabase-18/

Клиентские утилиты:

/opt/qdb

После установки запускаются следующие сервисы:

• qdatabase-18 – модуль Pearl;

• qdatabase-18-marble – модуль Marble;

• qdatabase-18-onyx – модуль Onyx;

• qdbparse – сервис обработки Oracle-совместимых запросов.

Проверка состояния:

sudo systemctl status qdatabase-18
sudo systemctl status qdatabase-18-marble
sudo systemctl status qdatabase-18-onyx

По умолчанию создаётся база данных postgres.

Подключение:

psql -U postgres -d postgres

или

psql -U postgres -d postgres -h localhost -p 5432

tsql -H localhost -p 1433 -U qdbadmin -P qdbadmin -D master

Как и в Microsoft SQL Server, выполнение пакета команд осуществляется после команды:

go

qclient qdb://SYSDBA:SYSDBA@localhost:1521/qdbora

В реальных проектах возможности Digital Q.DataBase используются не только при работе через административные консоли и клиентские утилиты. Платформа позволяет запускать прикладные системы, которые ранее использовали Microsoft SQL Server или Oracle Database в качестве серверов данных.

Для пользователя приложения процесс работы остается привычным: используются те же механизмы подключения, а основная бизнес-логика продолжает выполняться на стороне базы данных.

Именно поэтому совместимость с существующими диалектами SQL и протоколами взаимодействия играет важную роль при миграции корпоративных информационных систем.

Пример работы с 1С

Пример работы с БОСС-Кадровик

Пример подключения из автоматизированной системы управления транспортным комплексом

Вместо заключения

После установки всех трех модулей Digital Q.DataBase на одном сервере организация получает единую платформу данных, способную воспроизводить функциональность PostgreSQL, Microsoft SQL Server и Oracle Database. Это позволяет запускать существующие приложения с минимальными изменениями, сокращать сроки миграции и снижать объем переработки прикладного кода.
 
Помимо рассмотренных в статье возможностей, в версии 18.2 были существенно доработаны механизмы совместимости с Microsoft SQL Server и Oracle Database, улучшены средства миграции данных и появились новые инструменты для построения отчетности.