在公司搭建系统级别的监控,由于ELK对流量监控存在局限——现有的工具只记录了累计的流量,而无法计算每时每刻的流量。所以决定最后用zabbix来对网络做监控和报警,下面会从零开始记录zabbix搭建过程中的所有步骤,希望可以给你带来帮助。
安装前准备工作
安装必要的软件,禁用SELINUX,安装必备软件
代码语言:javascript复制$ sudo setenforce 0
$ sudo sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
$ sudo yum install epel-release.noarch wget vim gcc gcc-c lsof chrony tree nmap unzip rsync -y
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7
LAMP环境搭建
安装
代码语言:javascript复制$ sudo yum install -y httpd mariadb mariadb-server mariadb-client php php-mysql
启动mysql,设置开机启动,修改mysql密码,注意下面的yourpassword要替换为你自己的密码
代码语言:javascript复制$ sudo systemctl start mariadb.service
$ sudo systemctl enable mariadb.service #设置开机启动
$ sudo mysqladmin -u root -p password yourpassword
安装zabbix服务
代码语言:javascript复制$ sudo rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
$ sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-ZABBIX
$ sudo yum install -y zabbix-server-mysql zabbix-web-mysql zabbix-get zabbix-agent
创建zabbix数据库
代码语言:javascript复制$ mysql -uroot -p
MariaDB [(none)]> CREATE DATABASE zabbix DEFAULT CHARACTER SET utf8 COLLATE utf8_bin;
MariaDB [(none)]> quit
导入数据
代码语言:javascript复制$ cd /usr/share/doc/zabbix-server-mysql-3.0.11/
$ zcat create.sql.gz | mysql -uroot -p zabbix
修改zabbix配置
注意:下面的yourpasswd请替换为你自己的数据库密码
代码语言:javascript复制$ sudo vim /etc/zabbix/zabbix_server.conf
DBHost=localhost
DBName=zabbix
DBUser=root
DBPassword=yourpasswd
修改时区
代码语言:javascript复制sudo vim /etc/httpd/conf.d/zabbix.conf
php_value date.timezone Asia/Chongqing
修改zabbix登录密码(可选)
代码语言:javascript复制-bash-4.2$ mysql -uroot -p
Enter password:
Welcome to the MariaDB monitor. Commands end with ; or g.
Your MariaDB connection id is 326
Server version: 5.5.56-MariaDB MariaDB Server
Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.
Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.
MariaDB [(none)]> use zabbix
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
MariaDB [zabbix]> select userid, alias, name, passwd from users;
-------- ------- -------- ----------------------------------
| userid | alias | name | passwd |
-------- ------- -------- ----------------------------------
| 1 | Admin | Zabbix | 5fce1b3e34b520afeffb37ce08c7cd66 |
| 2 | guest | | d41d8cd98f00b204e9800998ecf8427e |
-------- ------- -------- ----------------------------------
2 rows in set (0.00 sec)
MariaDB [zabbix]> update users set passwd=md5('newpassword') where userid='1';
Query OK, 1 row affected (0.00 sec)
Rows matched: 1 Changed: 1 Warnings: 0
启动
代码语言:javascript复制$ sudo systemctl start httpd
$ sudo systemctl start zabbix-server
$ sudo systemctl start zabbix-agent
设置开机启动
代码语言:javascript复制$ sudo systemctl enable httpd
$ sudo systemctl enable zabbix-server
$ sudo systemctl enable zabbix-agent
通过http://hostname/zabbix访问zabbix的安装页面,填写安装信息,完成安装。完成安装后,初始登录账户密码为Admin/zabbix。
安装zabbix-agent
zabbix-server安装好了,下面需要“接入”其他机器,将它们纳入到zabbix-server的管理,下面是安装步骤
代码语言:javascript复制$ sudo rpm -ivh http://repo.zabbix.com/zabbix/3.0/rhel/7/x86_64/zabbix-release-3.0-1.el7.noarch.rpm
$ sudo yum install -y zabbix-agent
配置zabbix-agent
代码语言:javascript复制$ grep -Ev "^$|#" /etc/zabbix/zabbix_agentd.conf
# zabbix-server
Server=192.168.8.4
# 这里选择主动连接zabbix-server的方式
ServerActive=192.168.8.4
# 本机的hostname
Hostname=192.168.8.5
启动zabbix-agent
代码语言:javascript复制$ sudo systemctl start zabbix-agent.service
$ sudo systemctl enable zabbix-agent.service
下面在zabbix-server页面上添加这个机器
按下图填写即可
接着绑定模板
最后点击Update,你就可以在Host目录中看到所有被监控的机器列表
注意:如果zabbix-agent需要被其他机器调用,例如通过zabbix_get获得监控信息,需要在防火墙设置“放开10050端口”
监控网络流量
假设我们要监控机器192.168.8.5网卡em1上的出入口流量,我们可以先在zabbix服务器上用zabbix_get命令来测试一下,下面代码测试的是输入流量,注意这里的输出是一个累积的流量
监控网络流量的流程为:
1、创建模板
2、创建监控项
创建应用:Configuration->Templates->Create application
创建监控项:Configuration->Templates->network traffic on em1->Items->Create Item
上图是入口流量的监控项设置,出口流量监控项network traffic out em1可以一样设置,成功后你看到的是
3、创建Triggers
Triggers是触发报警的设置,同样我们点击Configuration->Templates->network traffic on em1->Triggers->Create trigger来创建Triggers
注意在设置Expression时,我们可以利用zabbix提供给我们的模板
于是,入口流量的触发值就设置好了,每秒流量超过1048576时就会触发报警,同理我们可以设置出口流量的触发值,成功后,我们看到的是
4、创建Graphs
接着,我们再来创建Graphs,Graphs可以以图形化的方式展示流量信息,点击Configuration->Templates->network traffic on em1->Graphs->Create graph,创建Graphs的最大好处是我们可以把这些Graphs组合起来形成Screens监控面板,例如下面这样
下面是创建Graphs的表单
5、绑定Template
至此,我们模板就创建完毕了,最后一步需要把主机和模板关联起来,点击Configuration->Hosts->Templates->Select创建关联,然后点击Add
此时,通过Monitoring->Latest data可以看到网卡上的最新数据,同时可以通过Monitoring->Graphs来查看图形化的数据
自定义script报警
当系统出现异常时,我们需要立即发现,并通过邮件或App的方式通知给维护的同学,这样整个系统才会掌控在我们手中,Zabbix要做到这一点,需要配置以下3个选项(zabbix虽然很强大,但配置和UI有点繁琐,这是我不喜欢它的地方):
1、Media types
2、Events
3、User Media
Media types
Media types是当产生事件时,以什么方式进行通知,这里采用的是Script方式,这种方式的灵活性最大,通过这种方式,我们可以把报警发送到任何支持Webhook的App上,例如钉钉
Script这种方式的原理是:我们把可执行的脚本放在zabbix的指定目录下,当事件发生时,zabbix会自动调用该脚本,可以在/etc/zabbix/zabbix_server.conf中找到指定目录的路径
AlertScriptsPath=/usr/lib/zabbix/alertscripts
Media types设置如下,意思是在/usr/lib/zabbix/alertscripts下存在一个脚本dingding.py,当事件发生时,zabbix会调用该脚本,同时会传入该脚本3个参数,这3个参数分别是事件的接收人、事件的主题、事件的内容
dingding.py这个脚本如下,我们先实现一个简单的版本,也就是把这3个参数输出到日志中
#!/usr/bin/python
import logging, sys
if __name__ == "__main__":
logger = logging.getLogger()
handler = logging.FileHandler("/var/log/zabbix/dingding_alert.log")
formatter = logging.Formatter('%(asctime)s %(name)-s %(levelname)-s %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)
if len(sys.argv) == 4:
send_to = sys.argv[1]
subject = sys.argv[2]
content = sys.argv[3]
logger.debug("send_to: %s" % send_to)
logger.debug("subject: %s" % subject)
logger.debug("content: %s" % content)
else:
logger.error("usage: ./dingding.py $send_to $subject $content")
设置脚本的权限
$ sudo chown zabbix.zabbix dingding.py
$ sudo chmod x dingding.py
Events
事件是当某个条件发生时,zabbix所创建的报警对象。在zabbix中,事件发生时和事件恢复时都可以触发事件,下面我们来创建一个事件,
可以看到,这里的事件主题和事件消息都是系统默认生成的,其中包括时间产生时的必要信息,同时我把允许事件恢复时通知(Recovery message)打了勾,Conditions标签页的内容保持不变,然后我们再来修改Operations标签里的内容
这里的意思是:事件的持续时间是1个小时(3600s),每隔2分钟(120s)产生一个事件,一共产生10个事件,产生事件时,发送给Zabbix administrators用户组中的Admin用户,最后事件会使用我们刚刚创建的dingding这种Media type
User Meida
事件和Media type创建好后,下面还需要把它们和指定用户关联起来,点击Administration->Users->Media->Add,修改后,点击Update
通过以上步骤,我们已经把zabbix的监控和报警建立起来了,并实操创建了网卡的流量监控,现在我们把网络流量的阈值调到小,故意制造一个超出流量的事故,看一下报警是否生效,我们预期是发送10个报警,发送完毕后,我们再把阈值调到正常,看下是否会收到恢复消息。还记得之前写的那个脚本吗,它会把报警内容输出到日志文件中,现在我们检查下日志文件
很显然,结果符合我们的预期。