Zabbix4.2新功能实践1-时间序列数据库TimescaleDB

2021-02-03 11:12:02 浏览数 (1)

4月2号万众期待的Zabbix4.2终于发布了！新版本提供了很多特性，接下来几期主要介绍Zabbix4.2的一些新特性的使用。本次主要介绍TimescaleDB。

TimescaleDB介绍

TimescaleDB是基于PostgreSQL的时序数据库插件，完全继承了PostgreSQL的功能，对于复杂查询，各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型…..)的支持非常丰富，非常适合工业化的时序数据库场景需求。具有以下特点：

  1. 基于时序优化
  2. 自动分片（按时间、空间自动分片(chunk)）
  3. 全SQL接口
  4. 支持垂直于横向扩展
  5. 支持时间维度、空间维度自动分区。空间维度指属性字段（例如传感器ID，用户ID等）
  6. 支持多个SERVER，多个CHUNK的并行查询。分区在TimescaleDB中被称为chunk。
  7. 自动调整CHUNK的大小
  8. 内部写优化（批量提交、内存索引、事务支持、数据倒灌）。 内存索引，因为chunk size比较适中，所以索引基本上都不会被交换出去，写性能比较好。 数据倒灌，因为有些传感器的数据可能写入延迟，导致需要写以前的chunk，timescaleDB允许这样的事情发生(可配置)。
  9. 复杂查询优化（根据查询条件自动选择chunk，最近值获取优化(最小化的扫描,类似递归收敛)，limit子句pushdown到不同的server,chunks，并行的聚合操作）
  10. 利用已有的PostgreSQL特性（支持GIS，JOIN等），方便的管理（流复制、PITR）
  11. 支持自动的按时间保留策略（自动删除过旧数据）

看介绍是很适合监控数据的存储。之前对于监控数据的存储，建议进行分区表操作，进行管理。Zabbix4.2支持TimescaleDB应该说是一个好消息，至于具体性能提升，还有待测试.

TimescaleDB安装

TimescaleDB基于PostgreSQL，因此我们需要先安装PostgreSQL，由于之前很少用，因此这里简单描述以下安装过程 基本环境：

操作系统

Centos7.6.1810 x86_64

PostgreSQL版本

11.2

安装方式

yum

由于为测试环境，避免麻烦关闭防火墙，禁用seLinux，并启动chrony时间同步服务。 添加PostgreSQL的yum源

代码语言：javascript复制
yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-centos11-11-2.noarch.rpm

添加TimescaleDB的yum源

代码语言：javascript复制
cat > /etc/yum.repos.d/timescale_timescaledb.repo <<EOL
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/$basearchrepo_gpgcheck=1gpgcheck=0enabled=1gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300EOL

安装包

代码语言：javascript复制
yum update -y
yum install -y timescaledb-postgresql-11

初始化数据库

代码语言：javascript复制
postgresql-11-setup initdb

启动PostgreSQL

代码语言：javascript复制
systemctl start postgresql-11systemctl enable postgresql-11

启动之后，使用以下命令初始化postgresql配置文件

代码语言：javascript复制
timescaledb-tune

初学者建议一切按照推荐数值，全部按Y同意即可完成配置。由于我的Zabbix Server和PostgreSQL为不同机器，因此需要开启PostgreSQL远程连接（默认关闭） 修改PostgreSQL默认配置文件/var/lib/pgsql/11/data/postgresql.conf 修改listen地址为所有地址(即*)，默认监听127.0.0.1

代码语言：javascript复制
listen_addresses = '*'

修改客户端认证配置文件:/var/lib/pgsql/11/data/pg_hba.conf 添加如下

代码语言：javascript复制
host    all   all    0.0.0.0/0    md5

配置好之后，重启PostgreSQL使配置生效

代码语言：javascript复制
systemctl restart postgresql-11

至此TimescaleDB配置安装完成

Zabbix使用TimescaleDB

目前只有Zabbix Server支持TimescaleDB，Zabbix Proxy不支持TimescaleDB。 配置成功TimescaleDB之后，建立Zabbix相关用户，并导入Zabbix数据库

代码语言：javascript复制
sudo -u postgres psql
create user zabbix with password 'zabbixpwd123';
create database zabbix owner zabbix;
grant all privileges on database zabbix to zabbix;

以上命令建立名为zabbix的用户，密码为zabbixpwd123，并建立了zabbix数据库，并授权于所有权限给zabbix用户。 下载zabbix4.2源码，并解压,进入postgresql目录

代码语言：javascript复制
tar zxvf zabbix-4.2.0.tar.gzcd zabbix-4.2.0/database/postgresql/

以此按照顺序，导入数据库

代码语言：javascript复制
echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql zabbix
cat schema.sql | sudo -u zabbix psql zabbix
cat images.sql | sudo -u zabbix psql zabbix
cat data.sql | sudo -u zabbix psql zabbix
cat timescaledb.sql | sudo -u zabbix psql zabbix

开启成功TimescaleDb

与平常不同，这里开启了TimescaleDB插件支持，并使用timescaledb.sql为历史和趋势数据创建了hypertable表.hypertable表是timescaledb抽象的 一张表,让用户操作 hypertable 就像 操作 postgres的普通表一样，在内部,timescaledb自动将hypertable 分割成块, timescaledb 会自动操作和管理 hypertable 的分区表，对于用户来说是透明的.create_hypertable有两个参数,第一个参数是表名，第二个参数 是分区列,一般为 TIMESTAMPTZ类型.这里看到为历史数据的clock列。

代码语言：javascript复制
SELECT create_hypertable('history', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_log', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_text', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_str', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
UPDATE config SET db_extension='timescaledb',hk_history_global=1,hk_trends_global=1;

完成之后，在Zabbix Server里配置相关数据库连接参数即可，与支持postgresql的配置一致。

基本测试

使用TimescaleDB之后，使用我之前一篇blog基于kubernetes平台的Zabbix压力测试 的方法增加到5k Nvps

并关联Template App Zabbix Server Stress 1k active模版，观察机器情况 Zabbix Server

TimescaleDB

总结

本次主要介绍了Zabbix使用TimescaleDB，安装配置比较简单，至于性能是否有大的提升，还需要后续进行测试和验证。

数据库 sql zabbix postgresql

0 人点赞