IT999in1

Эта страница только для чтения. Вы можете посмотреть её исходный текст, но не можете его изменить. Сообщите администратору, если считаете, что это неправильно.
===== FAQ доп информация, которая не рассматривалась в практикуме: =====

==== Для удобства отображения в psql редактируем содержание файла подсказки .psqlrc (~/.psqlrc) ====

Рекомендуется также настроить подсказку командного интерпретатора СУБД и вывести информацию по серверу, порту подключения, БД и пользователе.
Настраиваем вид подсказки в файле .psqlrc в домашнем каталоге пользователя postgres при подключении к СУБД. 
переходим под пользователя postgres
<code>
sudo su - postgres
</code>
Редактируем конфигурационный файл
<code>
nano ~/.psqlrc
</code>
Добавляем в файл .psqlrc строку
пример цветной промпт
<code>
\set PROMPT1 '%[%033[0;90m%][%p]%[%033[0m%] %[%033[0;31m%]%n%[%033[0m%]@%[%033[0;34m%]%m%[%033[0m%]:%[%033[0;32m%]%>%[%033[0m%] %[%033[0;36m%]%~%[%033[0m%] %[%033[0;33m%]%[%033[5m%]%x%[%033[0m%]%[%033[0m%]%R%# '
\set PROMPT2 '%[%033[0;90m%][%l]%[%033[0m%] %[%033[0;31m%]%n%[%033[0m%]@%[%033[0;34m%]%m%[%033[0m%]:%[%033[0;32m%]%>%[%033[0m%] %[%033[0;36m%]%~%[%033[0m%] %[%033[0;33m%]%[%033[5m%]%x%[%033[0m%]%[%033[0m%]%R%# '
</code>
Сохраняем и вызываем psql для проверки
<code>
psql
</code>
если мы работаем из под другого пользователя в системе с правами sudo, то можно подключиться к БД по локальному соединению так
<code>
sudo -iu postgres psql
</code>
Пояснение для подсказки '%M:%> %n@%/%R%#%x ':
\set PROMPT1 '%M:%> %n@%/%R%#%x '

''%M имя хоста сервера баз данных отображается «[local]», если соединение осуществляется через сокет домена Unix'' \\
''%> прослушиваемый порт'' \\
''%n имя пользователя сеанса'' \\
''%/ текущая база данных'' \\
''%R находитесь ли вы в однострочном режиме (^) или отключены (!), но обычно ='' \\
''%# являетесь ли вы суперпользователем (#) или обычным пользователем (>)'' \\
''%x статус транзакции - обычно пусто, если только не в блоке транзакции (*)'' \\

Пример вывода командной строки с подсказкой для сервера СУБД с IP 10.2.0.11, работающем на порту 5432, для пользователя postgres и БД test
<code>
10.2.0.11:5432 postgres@test=#
</code>

==== Cписок команд psql которые часто используются. ====

''\l    ## список БД'' \\
''\dt   ## список таблиц'' \\
''\du   ## список пользователей'' \\
''\db   ## список табличных пространств'' \\
''\dn   ## список схемы'' \\

''\dx                                     ## список установленных расширений'' \\
''\dx+ pg_stat_statements                 ## Посмотрим содержимое расширения'' \\
''SELECT * FROM pg_available_extensions;  ## список доступных расширений'' \\

''\d table_name             ## структура таблицы'' \\
''\c db_name                ## подключиться к БД'' \\
''\password user            ## смена пароля УЗ в БД'' \\
''\d+ pg_stat_wal_receiver  ## вывести поля таблицы'' \\
''\x                        ## задать параметр вывода следующим select таблицы по вертикали в читаемом виде, чтобы отключить также \x'' \\
''select tantor_version();  ## посмотреть версию тантор'' \\

эти переменные также можно указать в ''.psqlrc''

''\pset pager on           ## вкл постраничный пейджер, окно вывода команд с ожиданием в конце (end)'' \\
''\pset pager off          ## выкл постраничный пейджер'' \\
''\pset pager              ## статус постраничный пейджер'' \\
''\pset linestyle unicode  ## вывод таблиц будет отображаться линиями, вместо тире'' \\
''\pset border 2'' \\
''export PAGER='less -SXF'  ## переменная окружения ОС, сменить утилиту вывода страницы в psql для пейджер.'' \\

==== Доп утилиты в ОС для работы с postgres, которые начинаются на pg* ====

[[https://docs.tantorlabs.ru/tdb/ru/17_5/se/reference-client.html]]
<code>
sudo su - postgres
</code>
</code>
psql
pg_ctl        --help
pg_basebackup --help
pg_dumpall    --help
pg_dump       --help
pg_upgrade    --help
pg_isready    --help
</code>
''vacuumlo'' - (к вакуумированию (VACUUM) не имеет отношение) Это удобная для периодического запуска утилита удаления (вычистки) осиротевших больших объектов из баз данных кластера. Автоматизировать удаление осиротевших больших объектов можно разными способами (например, триггерами), эта утилита один из них. 
Расширение "lo" содержит функцию lo_manage() для использования в триггерах, предотвращающих появление осиротевших больших объектов.

''pg_config --sharedir'' - директория с файлами расширения
<code>
ls -la /opt/tantor/db/16/share/postgresql
</code>

----
Если psql не запускается под пользователем postgres (bash: psql: команда не найдена),
значит в переменной окружения path отсутствует путь до /opt/tantor/db/16/bin
----

редактируем переменную окружения
<code>
nano ~/.bashrc
</code>
добавляем и сохраняем
<code>
export PATH=/opt/tantor/db/16/bin:$PATH
</code>
Перезапускаем оболочку
<code>
exec bash
</code>
Проверяем подключение, пример
<code>
psql -p 5432 -h localhost -U postgres
</code>

>!!! При необходимости, если есть отдельно требования заказчика.
Настройки правил подключения к БД.
Документация по настройке pg_hba.conf:
[[https://docs.tantorlabs.ru/tdb/ru/16_6/se/auth-pg-hba-conf.html#pg-hba-conf]]
<code>
sudo nano /var/lib/postgresql/tantor-be-16/data/pg_hba.conf
</code>


> !!! При необходимости, если есть отдельно требования заказчика.
> По умолчанию в параметрах конфигурации в файле postgresql.conf сервера СУБД не настроен вывод системных журналов СУБД в отдельных каталог и нет прямой ссылки на каталог данных.
> Рекомендуется включить возможность вывода системных журналов отдельный каталог и указать прямую ссылку на каталог данных.
<code>
sudo nano /var/lib/postgresql/tantor-be-16/data/postgresql.conf
</code>
Укажем путь сохранения log файлов
<code>
logging_collector = on;
log_directory = '/var/lib/postgresql/tantor-be-16/data/log/'
</code>
Применение параметров без перезагрузки сервера СУБД с проверкой
<code>
sudo -iu postgres psql
SELECT pg_reload_conf();
SHOW logging_collector;
</code>
посмотреть лог БД, пример:
<code>
less /var/lib/postgresql/tantor-be-16/data/log/postgresql-2024-05-04_194815.log
</code>

> !!! не забудьте скорректировать скрипт Ротация логов.


При проверке системных журналов ОС
<code>
sudo journalctl -u tantor-be-server-16.service
</code>
Утилита сообщает, что журналы СУБД Tantor далее будут выводится в подкаталог log, каталога с данными БД. Далее, в нашем примере, процесс запуска СУБД Tantor
Можно посмотреть в каталоге ''/var/lib/postgresql/tantor-be-16/data/log'' в содержании самого нового файла ''postgresql-<дата>.log''

==== Сетевые настройки слушателя и порта инстанса СУБД. ====
<code>
sudo nano /var/lib/postgresql/tantor-be-16/data/postgresql.conf
</code>
ищем и выставляем параметры
<code>
listen_addresses = '*'
</code>
или можно указать прямо через запятую несколько IP сетевых интерфейсов на одном хосте.
<code>
listen_addresses = 'localhost, <ip>'

port = 5433
</code>
перезагружаем и проверяем
<code>
sudo systemctl restart tantor-be-server-16
sudo ss -tulnp | grep postgres
</code>
подключаемся к СУБД по новому порту
<code>
sudo -iu postgres psql -p 5433 -h 10.2.0.11 -U postgres
</code>

> !!! При необходимости, если есть отдельно требования заказчика.
> Можно перенести каталог с данными экземпларя СУБД на отдельный другой католог или точку монтирования (диск) в ОС


Останавливаем службу СУБД
<code>
sudo -i
systemctl stop tantor-be-server-16.service
</code>
Редактируем в ''postgresql.conf'' ссылку на новый каталог данных
<code>
nano /var/lib/postgresql/tantor-be-16/data/postgresql.conf
</code>
Прямая ссылка на новый каталог данных, мы просто меняем путь и сохраняем.
<code>
data_directory = '/new/data/directory'
</code>
Переносим data каталог через команду mv или копируем через cp -R в новый каталог
<code>
cp -R /var/lib/postgresql/tantor-be-16/data /new/data/directory
</code>
Назначаем права на новый каталог
<code>
sudo chown -R postgres:postgres /new/data/directory
</code>
Меняем путь в службе
<code>
sudo nano /lib/systemd/system/tantor-be-server-16.service

Environment=PGDATA=/new/data/directory
</code>
Запускаем экземпляр
<code>
sudo systemctl daemon-reload
sudo systemctl start tantor-be-server-16.service
</code>

----

> Пакеты в ОС можно устанавливать через команды 
<code>
sudo dpkg -i **.deb \\
<code>
>Нужно будет также установить все зависимости руками. \\

> При этом инициализация инстанса СУБД не будет производиться автоматически.

> Если нужно создать инстанс СУБД или пересоздать чистую конфигурацию в другой каталог, инициализация СУБД Tantor производится под пользователем postgres следующим образом: \\

----

Переходим в УЗ postgres

<code>
sudo su - postgres
</code>

Инициализация нового экземпляра, каталог должен быть пустым
<code>
/opt/tantor/db/16/bin/initdb -D /var/lib/postgresql/tantor-be-16/data2 --data-checksums
</code>

Правим порт, например 5433, если нужно, смотри комментарий ниже.
<code>
nano /var/lib/postgresql/tantor-be-16/data2/postgresql.conf
</code>

----

> !!! Если планируется запускать параллельно несколько экземпляров, то порты конфигурации СУБД в postgresql.conf должны быть разные,
> В продуктивных системах это не рекомендуется, так как нагрузка CPU и RAM между процессами может делиться неравномерно, но рамках тестирования допустимо.

----

Для параллельного запуска экземпляров одной и той же версии сборки СУБД создадим отдельный новый файл службы под root.
<code>
sudo -i
cp /lib/systemd/system/tantor-be-server-16.service /lib/systemd/system/tantor-be-server-16-data2.service
nano /lib/systemd/system/tantor-be-server-16-data2.service
</code>
Редактируем новый файл службы, корректируем путь до нового каталога с данными и сохраняем
<code>
Environment=PGDATA=/var/lib/postgresql/tantor-be-16/data2
</code>
Запустим новую службу
<code>
systemctl daemon-reload
systemctl enable --now tantor-be-server-16-data2
systemctl status tantor-be-server-16-data2.service
</code>

==== Ручной запуск инстанса СУБД без службы. ====

<code>
sudo su - postgres

/opt/tantor/db/16/bin/pg_ctl start -D /var/lib/postgresql/tantor-be-16/data2
</code>
Останавливаем
<code>
/opt/tantor/db/16/bin/pg_ct stop -D /var/lib/postgresql/tantor-be-16/data2
</code>
посмотреть все возможности pg_ctl
<code>
/opt/tantor/db/16/bin/pg_ct --help
</code>


> !!! Если планируется установка нескольких версий сборок пакетов СУБД
> Например Tantor 15, Tantor 16 версий, то путь до pg_ctl должен быть соответствующий версии.
> Службы для разных версий СУБД после установки пакетов будут разные, создавать отдельно не нужно.


==== Обновление СУБД tantor по мажорной версии на, пример с 15 на 16. ====


> **Вариант 1** Возможен только между одинаковыми сборками СУБД.
> ''se15 -> se16'' \\
> ''be15 -> be16'' \\
> ''se1c 15 -> se1c 16'' 

> В противном случае при проверке будут ошибки, и тогда **Вариант 2**, обновление СУБД можно выполнить только через восстановление из ''бекапа pg_dumpall''.


делаем логический бекап БД, ''pg_basebackup'' сюда не подойдет, так как ''pg_basebackup'' создаёт полную копию каталога данных.
<code>
pg_dumpall -U postgres > backup.sql
</code>
Установите пакет новой версии PostgreSQL c инициализацией новой БД процесс описан в начале файла. 
инициализацию можно выполнить руками если вы просто установили пакет.
<code>
/opt/tantor/db/16/bin/initdb -D /var/lib/postgresql/tantor-se-16/data --no-data-checksums
</code>
обновите права на подкаталоги
<code>
chown -R postgres:postgres /var/lib/postgresql
</code>
останавливаем все СУБД (рекомендуется для больших баз)
<code>
systemctl stop tantor-*
</code>
Проверьте совместимость кластеров
<code>
su - postgres
</code>
<code>
/opt/tantor/db/16/bin/pg_upgrade \
--old-datadir /var/lib/postgresql/tantor-be-15/data \
--new-datadir /var/lib/postgresql/tantor-be-16/data \
--old-bindir /opt/tantor/db/15/bin \
--new-bindir /opt/tantor/db/16/bin \
--check     ## добавьте -v для полного вывода
</code>
=== Вариант 1 Обновление СУБД через утилиту pg_upgrade. ===

Процесс скопирует данные из старого кластера в новый и настроит его для работы
<code>
/opt/tantor/db/16/bin/pg_upgrade \
--old-datadir /var/lib/postgresql/tantor-be-15/data \
--new-datadir /var/lib/postgresql/tantor-be-16/data \
--old-bindir /opt/tantor/db/15/bin \
--new-bindir /opt/tantor/db/16/bin
</code>
Если обновление успешно, можно удалить старую версию. будет сообщение:
''Не забудьте проверить postgresql.auto.conf, postgresql.conf и pg_hba.conf на новой инсталяции, если конфигурация дефолтная, перенесите со старой в новую.''

''Обновление завершено''


> Статистика оптимизатора утилитой pg_upgrade не переносится.
> Запустив новый сервер, имеет смысл выполнить:
> ''/opt/tantor/db/16/bin/vacuumdb --all --analyze-in-stages''
> При запуске этого скрипта будут удалены файлы данных старого кластера:
> ''./delete_old_cluster.sh''


Перенесите настройки из старого postgresql.conf и pg_hba.conf в новый кластер, если они отличаются.

запускаем кластер
<code>
/opt/tantor/db/16/bin/pg_ctl -D /var/lib/postgresql/tantor-be-16/data start
</code>
обновляем статистику
<code>
/opt/tantor/db/16/bin/vacuumdb --all --analyze-in-stages
</code>
подключаемся к бд и проверяем
<code>
psql
select tantor_version();
SELECT version();
\l
\q
</code>
удаляем старый кластер
<code>
./delete_old_cluster.sh
</code>
или вручную
<code>
rm -rf /var/lib/postgresql/tantor-<старая_версия>
</code>
удаляем старые пакеты
<code>
apt remove tantor-<старая_версия>
</code>
=== Вариант 2: pg_dump + pg_restore (если pg_upgrade недоступен из-за ошибо совместимости) ===

Перенесите настройки из ''старого postgresql.conf'' и ''pg_hba.conf'' в новый кластер
пример:
<code>
cd /var/lib/postgresql/tantor-be-15/data
cp postgresql.conf postgresql.auto.conf pg_hba.conf /var/lib/postgresql/tantor-be-16/data
</code>
Запустите кластер новую версию СУБД
<code>
/opt/tantor/db/16/bin/pg_ctl -D /var/lib/postgresql/tantor-be-16/data start
</code>
Восстановите данные:

> Если в бэкапе есть ошибки (например, из-за различий в версиях),добавьте флаг ''--no-sync'' для игнорирования мелких проблем.
<code>
psql -U postgres -f backup.sql
</code>
проверяем что все базы на месте, подключаемся к бд и проверяем
<code>
psql
select tantor_version();
SELECT version();
\l
\q
</code>
Если обновление успешно, можно удалить старую версию.
<code>
apt remove tantor-<старая_версия>
rm -rf /var/lib/postgresql/tantor-<старая_версия>
</code>
==== Если нужно перенастроить переменные платформы /opt/tantor/eco/platform.env ====
например: после установки внести настройки почты
переходим в каталог
<code>
cd /opt/tantor/eco/
</code>
останавливаем докеры
<code>
sudo docker-compose --env-file=platform.env down
</code>
правим файл c переменными и сохраняем
<code>
nano platform.env
EMAIL_PORT=
EMAIL_USERNAME=
EMAIL_HOST=
EMAIL_PASSWORD=
</code>
поднимаем контейнеры с новыми параметрами
<code>
docker-compose --env-file platform.env up -d
</code>
проверяем платформу через браузер.


===== удаление платформы =====
<code>
sudo docker stop $(docker ps -aq)
sudo docker rm $(docker ps -aq)
sudo docker container prune
docker system prune -a
sudo docker rmi $(docker images -q)
sudo rm -rf /opt/tantor
</code>

==== удаление СУБД и агента ====
<code>
sudo apt purge tantor-be-server-16
sudo rm -rf /opt/tantor/
sudo rm -rf /var/lib/postgresql/tantor-be-16/
</code>
<code>
sudo apt purge pmaagent
sudo rm -rf /var/lib/pma/
</code>