昨天运维的亲,来找我,要统计一个事情,具体的情况是这样,要判断某台机器中的的 priority 为 1 的数据在 900秒内,并且计数,如果这样的情况超过1 条,则报警, 并且还有一个情况,就算900秒内 priority的等于1 的只有1条,但priority 可能为 2 3 4 5 6 的只要有任意一条,就报警。
下面就是这样的一个语句,写的是没有问题的,这位同学之前是ORACLE 的DBA。问我有什么好的方法来改善目前数据查询性能不好的情况。
SELECT
s.DeviceReportedTime, #统计报告时间
s.Priority, #优先级,有6种,均是数字1-6
s.FromHost, #主机IP
s.Message #告警信息
FROM
SystemEvents s #假设有五千万数据,时间有索引
WHERE
s.FromHost = '10.50.131.1'
AND s.Priority = 1
AND s.DeviceReportedTime > DATE_SUB(NOW(), INTERVAL 900 SECOND)
AND EXISTS (
SELECT
1
FROM
SystemEvents se
WHERE
se.DeviceReportedTime > DATE_SUB(NOW(), INTERVAL 900 SECOND)
AND se.FromHost = '10.50.131.1'
HAVING
COUNT(1) >= 2
);
首先我们从逻辑上来,MYSQL 的从来都是要将复杂的事情,变得简单。
上面的报警逻辑只有两个总结
1 priority =1 的时候记录超过1条
2 priority = 1 的时候还有其他priority 的记录并行存在的情况也报警
简单用SQL 来表达就是
1 select count (*) from table where priority =1 (count(*) > 2)
2 select count(*) from table where priority <> 1 select count(*) from table where priority = 1 > 1
以上两种情况就会报警
如果通过SQL SERVER ORACLE PG 那用上面的语句类型来处理,是非常好的解决方法。
但MYSQL 则不是,MYSQL 编程或者提取数据的方式都是要 短 小 快的方式,这比较符合MYSQL的 数据库使用的场景。
因为是要在ZABBIX 中进行计算,最终给出的方案为
1 将上面的SQL 拆分
在ZABBIX 报警由一条 变为两条
报警
select count (*) from table where
FromHost = '10.50.131.1'
AND Priority = 1
AND DeviceReportedTime > DATE_SUB(NOW(), INTERVAL 900)
select count(*) from table
where
FromHost = '10.50.131.1'
AND Priority <> 1
AND DeviceReportedTime > DATE_SUB(NOW(), INTERVAL 900)
在通过脚本,判断 两条语句如果 语句1 > 1 报警
语句 1 在 = 1 情况下 语句2 >1 就报警
语句1 = 0 则不报警
将上面的复杂的SQL 变为语句 脚本的方式来处理
这也是 MYSQL 在使用中的一个思路,千万别把MYSQL 当 ORALCE 时候用 ,任何的 长SQL 都往上堆,那绝对是在给未来 找 麻烦。