====== Миграция с Zabbix на Glaber в RedOS 7.3 ======

Предполагается, что веб-сервер и MySQL настроены


===== Подготовка =====

Скопировать файл конфигурации (Для Glaber не подойдет)

<code>
cp /etc/zabbix/web/zabbix.conf.php ~/
</code>

Остановить Zabbix-сервер

<code>
systemctl stop zabbix-server.service
</code>

Удалить все пакеты Zabbix

<code>
dnf remove zabbix-*
</code>


===== Настройка selinux =====

<code>
nano /etc/selinux/config
</code>

Заменить

>SELINUX=enforcing

на

>SELINUX=permissive

Выполнить

<code>
setenforce 0
</code>


===== Установка ClickHouse =====

Добавляем репозиторий

<code>
dnf config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo
</code>

Устанавливаем пакеты

<code>
dnf install clickhouse-server clickhouse-client
</code>

Автозапуск и запуск

<code>
systemctl enable clickhouse-server
systemctl start clickhouse-server
</code>


===== Импорт схемы БД в ClickHouse =====

Схема:

  * [[https://gitlab.com/mikler/glaber/-/blob/master/database/clickhouse/history.sql]]

Создаем файл history.sql с содержанием:

<code>
CREATE DATABASE glaber;
CREATE TABLE glaber.history_dbl (   day Date,  
                                itemid UInt64,  
                                clock DateTime,  
                                hostname String,
                                itemname String,
                                ns UInt32, 
                                value Float64
                            ) ENGINE = MergeTree()
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock) 
TTL day + INTERVAL 6 MONTH;

--                            
CREATE TABLE glaber.history_uint (   day Date,  
                                itemid UInt64,  
                                clock DateTime,  
                                hostname String,
                                itemname String,
                                ns UInt32, 
                                value UInt64  
                            ) ENGINE = MergeTree()
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock) 
TTL day + INTERVAL 6 MONTH;

CREATE TABLE glaber.history_str (   day Date,  
                                itemid UInt64,  
                                clock DateTime,  
                                hostname String,
                                itemname String,
                                ns UInt32, 
                                value String  
                            ) ENGINE = MergeTree()
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock) 
TTL day + INTERVAL 6 MONTH;

--
CREATE TABLE glaber.history_log (   day Date,  
                                itemid UInt64,  
                                clock DateTime,  
                                logeventid UInt64,
                                source  String,
                                severity Int16,
                                hostname String,
                                itemname String,
                                ns UInt32, 
                                value String
                            ) ENGINE = MergeTree()
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock) 
TTL day + INTERVAL 6 MONTH;

--
CREATE TABLE glaber.trends_dbl
(
    day Date,
    itemid UInt64,
    clock DateTime,
    value_min Float64,
    value_max Float64,
    value_avg Float64,
    count UInt32,
    hostname String,
    itemname String
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock)
TTL day + toIntervalMonth(24)
SETTINGS index_granularity = 8192;

--
CREATE TABLE glaber.trends_uint
(
    day Date,
    itemid UInt64,
    clock DateTime,
    value_min UInt64,  
    value_max UInt64,
    value_avg UInt64,
    count UInt32,
    hostname String,
    itemname String
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(day)
ORDER BY (itemid, clock)
TTL day + toIntervalMonth(24)
SETTINGS index_granularity = 8192;

-- some stats guide
-- https://gist.github.com/sanchezzzhak/511fd140e8809857f8f1d84ddb937015
-- to submit all CREATE TABLE queries at once, run "clickhouse-client" with the "--multiquery" param
</code>

Импортируем

<code>
clickhouse-client --multiquery < history.sql
</code>

Входим в клиент БД

<code>
clickhouse-client
</code>

Смотрим список БД, должна появиться glaber

<code>
SHOW DATABASES
</code>

Выход из клиента БД

<code>
q
</code>


===== Настройка ClickHouse =====

Источник:

  * [[https://docs.glaber.io/ru/setup/ubuntu/]]

Задаём ограничение времени хранения логов

<code>
nano /etc/clickhouse-server/config.d/query_log.xml
</code>

<code>
<yandex>
    <query_log replace="1">
    <database>system</database>

    <table>query_log</table>
        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        <engine>
          ENGINE = MergeTree
          PARTITION BY event_date
          ORDER BY (event_time)
          TTL event_date + interval 90 day
          SETTINGS ttl_only_drop_parts=1
        </engine>
    </query_log>
</yandex>
</code>

Отключаем thread log

<code>
nano /etc/clickhouse-server/config.d/disable_query_thread_log.xml
</code>

<code>
<yandex>
    <query_thread_log remove="1"/>
</yandex>
</code>

Отключаем встроенные метрики Clickhouse, если хотим мониторить его параметры внешним мониторингом

<code>
nano /etc/clickhouse-server/config.d/disable_metric_logs.xml
</code>

<code>
<yandex>
  <metric_log remove="1" />
  <asynchronous_metric_log remove="1" />
</yandex>
</code>

Отключаем part_log

<code>
nano /etc/clickhouse-server/config.d/part_log.xml
</code>

<code>
<yandex>
    <part_log remove="1" />
</yandex>
</code>

Включаем log queries (в новых версиях Clickhouse включен по-умолчанию)

<code>
nano /etc/clickhouse-server/users.d/log_queries.xml
</code>

<code>
<yandex>
  <profiles>
    <default>
      <log_queries>1</log_queries>
    </default>
  </profiles>
</yandex>
</code>

Запись данных на диск сразу в отсортированном виде

<code>
nano /etc/clickhouse-server/users.d/enable_on_disk_operations.xml
</code>

<code>
<yandex>
  <profiles>
    <default>
      <max_bytes_before_external_group_by>2000000000</max_bytes_before_external_group_by>
      <max_bytes_before_external_sort>2000000000</max_bytes_before_external_sort>
     </default>
  </profiles>
</yandex>
</code>

Перезапуск ClickHouse сервера

<code>
systemctl restart clickhouse-server
</code>

Проверить статус ClickHouse сервера

<code>
systemctl status clickhouse-server
</code>


===== Миграция истории из MySQL в ClickHouse =====

Источники:

  * [[https://docs.glaber.io/ru/setup/zabbix_history_migration/]]
  * [[https://clickhouse.com/docs/en/engines/table-engines/integrations]]

Миграцию можно выполнить через выполнение SQL команд на ClickHouse сервере, используя утилиту clickhouse-client

Мигрировать необходимо 6 основных таблиц: \\
четыре таблицы истории:
  * history
  * history_uint
  * history_str
  * history_text
две таблицы трендов
  * trends
  * trends_uint

В Glaber, в ClickHouse, и текстовые и строковые данные хранятся в единой таблице history_str

В последовательности SQL команд исправьте данные для подключения к серверу MySQL: имя пользователя и пароль, название базы и именование схемы. \\
Пример: FROM mysql('127.0.0.1:3306', 'zabbix', 'history', 'user', 'password')

Входим в клиент БД

<code>
clickhouse-client
</code>

Поочередно запускаем команды, можно копировать

<code>
INSERT INTO glaber.history_dbl SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    '',
    '',
    ns,
    value
FROM mysql('host:port', 'database', 'history', 'user', 'password', 'schema')
</code>

<code>
INSERT INTO glaber.history_uint SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    '',
    '',
    ns,
    value
FROM mysql('host:port', 'database', 'history_uint', 'user', 'password', 'schema')
</code>

<code>
INSERT INTO glaber.history_str SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    '',
    '',
    ns,
    value
FROM mysql('localhost:5432', 'zabbix', 'history_str', 'zabbix', 'zabbix')
</code>

<code>
INSERT INTO glaber.history_str SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    '',
    '',
    ns,
    value
FROM mysql('host:port', 'database', 'history_text', 'user', 'password', 'schema')
</code>

<code>
INSERT INTO glaber.history_log SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    logeventid,
    source,
    severity,
    '',
    '',
    ns,
    value
FROM mysql('host:port', 'database', 'history_log', 'user', 'password', 'schema')
</code>

<code>
INSERT INTO glaber.trends_dbl SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    value_min,
    value_max,
    value_avg,
    num,
    '',
    ''
FROM mysql('host:port', 'database', 'trends', 'user', 'password', 'schema')
</code>

<code>
INSERT INTO glaber.trends_uint SELECT
    toDate(clock) AS day,
    itemid,
    clock,
    value_min,
    value_max,
    value_avg,
    num,
    '',
    ''
FROM mysql('host:port', 'database', 'trends_uint', 'user', 'password', 'schema')
</code>

Выход из клиента БД

<code>
q
</code>


===== Настройка Glaber =====

Скачать пакеты

Репозитории:

  * [[https://glaber.io/repo/redos/7/RPMS/noarch/]]
  * [[https://glaber.io/repo/redos/7/RPMS/x86_64/]]

<code>
wget https://glaber.io/repo/redos/7/RPMS/x86_64/glaber-server-mysql-3.4.194-1.el7.x86_64.rpm
wget https://glaber.io/repo/redos/7/RPMS/x86_64/glaber-workers-1.0.31-1.el7.x86_64.rpm
wget https://glaber.io/repo/redos/7/RPMS/noarch/glaber-web-3.4.194-1.el7.noarch.rpm
wget https://glaber.io/repo/redos/7/RPMS/noarch/glaber-web-deps-3.4.194-1.el7.noarch.rpm
wget https://glaber.io/repo/redos/7/RPMS/noarch/glaber-web-mysql-3.4.194-1.el7.noarch.rpm
wget https://glaber.io/repo/redos/7/RPMS/noarch/glaber-apache-conf-3.4.194-1.el7.noarch.rpm
</code>

Установка пакетов

<code>
dnf install glaber-server-mysql-3.4.194-1.el7.x86_64.rpm
dnf install glaber-workers-1.0.31-1.el7.x86_64.rpm
dnf install glaber-web-3.4.194-1.el7.noarch.rpm
dnf install glaber-web-deps-3.4.194-1.el7.noarch.rpm
dnf install glaber-web-mysql-3.4.194-1.el7.noarch.rpm
dnf install glaber-apache-conf-3.4.194-1.el7.noarch.rpm
</code>

Настройка БД

<code>
nano /etc/zabbix/zabbix_server.conf
</code>

Отредактировать:

<code>
DBName=zabbix
DBUser=user
DBPassword=password

HistoryModule=clickhouse;{"url":"http://127.0.0.1:8123", "username":"default", "password":"", "dbname":"glaber",  "disable_reads":100, "timeout":10 }

CacheSize=256M
</code>

Запуск и автозагрузка Glaber-сервера

<code>
systemctl start zabbix-server
systemctl enable zabbix-server
</code>


===== Настройка веб-интерфейса =====

Скопировать шаблон настройки

<code>
cp /usr/share/zabbix/conf/zabbix.conf.php.example /usr/share/zabbix/conf/zabbix.conf.php
</code>

Отредактировать zabbix.conf.php

<code>
nano /usr/share/zabbix/conf/zabbix.conf.php
</code>

<code>
$DB['TYPE']                             = 'MYSQL';
$DB['SERVER']                   = 'localhost';
$DB['PORT']                             = '0';
$DB['DATABASE']                 = 'zabbix';
$DB['USER']                             = 'user';
$DB['PASSWORD']                 = 'password';

$ZBX_SERVER_NAME                = 'Zabbix Server Name';
</code>

Веб-интерфейс будет доступен по адресу:

%%http://<server>/zabbix/%%


===== Настройка selinux =====

<code>
setsebool -P httpd_can_network_connect on
setsebool -P httpd_can_network_connect_db on
</code>

<code>
nano /etc/selinux/config
</code>

Заменить

> SELINUX=permissive

на

> SELINUX=enforcing


===== Установка Zabbix-агента =====

Установка

<code>
dnf install zabbix-agent
</code>

Настройка если требуется

<code>
nano /etc/zabbix/zabbix_agentd.conf
</code>

Старт и автозапуск

<code>
systemctl start zabbix-agent
systemctl enable zabbix-agent
</code>


===== Источники =====

  * [[https://redos.red-soft.ru/base/redos-7_3/7_3-administation/7_3-monitoring/7_3-zabbix/7_3-zabbix62-mysql/?nocache=1730203664375]]
  * [[https://docs.glaber.io/ru/setup/ubuntu/]]