一. 前言
现在大多数的公司都会使用ELK组合
来对日志数据的收集、存储和提供查询服务。ElasticSearch
Logstash
Kibana
。
查询数据库,如果是MySQL
,那么就需要使用MySQL
的语法;同样的,在Kibana
上查询数据,也需要使用Kibana
的语法,而Kibana
的查询语法叫做Kibana Query Language
,简称KQL
。
二. KQL简单介绍
KQL(Kibana Query Language),也就是在Kibana上面进行查询时使用的语法。
Kibana
中也可以使用Lucene
的查询语法,但是这里就不介绍了,可以参考https://www.elastic.co/guide/en/kibana/7.7/lucene-query.html
三. 使用索引匹配查询
在Kibana
中进行查询的时候,建议使用指定索引查询,这样的效率更高,而不建议使用全局查找的方式。
比如查找response
为200
的日志,那么就写为response:200
,这样去查找中response
值包含200
这个词的文档对象;
如果没有指定response
为200
,那么只是单纯的查找200
,那么可能会返回金额为200
的文档对象(假设有金额字段),查询的效率不高,同时也会返回一些不需要的数据;
四. Kibana查询语法
实例1
代码语言:javascript复制response:200
上面这个表达式,会查询出response
字段中包含200
的文档对象,注意是包含,包含的是200
这一个词,比如下面几种情况都会被查询出来
200
hello world 200
hello 200 world
需要注意的是1200
或者2001
,是不能被查出来的。
如果要查询1200
或者2001
,这种模糊匹配的,可以使用通配符,比如 response:*200
或者 response:200*
实例2
代码语言:javascript复制message:"hello world yes"
上面这个表达式,是针对message
字段进行搜索,在搜索的时候不会区分大小写,也就是说,Hello world YES
也是会被搜索出来的;
需要注意,上面的"hello world yes"
使用了引号,这样的话,这3个单词会被作为一个词进行查询,不会再进行分词,也就是说匹配的时候只会匹配hello world yes
这样的顺序匹配,而不会匹配出helllo yes world
;
实例3
代码语言:javascript复制message:hello world
上面这个表达式,针对message
字段进行搜索,搜索message
中包含hello
,或者包含world
,或者两者都包含的情况;
需要注意的是,不区分大小写,也不会保证顺序,也就是说,下面几种情况都会被匹配
代码语言:javascript复制hello
world
Hello
World
hello world
Hello world
hello yes World
yes world
world yes
实例4
代码语言:javascript复制name:jane or addr:beijing
上面这个查询条件,会查询name
字段包含jane
,或者addr
字段包含beijing
的记录,或者两者都匹配;
需要注意的是,or
表示 “或”
,不区分大小写;
实例5
代码语言:javascript复制name:jane and addr:beijing
上面这个条件,会查询name
字段包含jane
,且addr
字段包含beijing
的记录。
实例6
代码语言:javascript复制name:jane and addr:beijing or job:teacher
上面这个查询条件中,出现了and
和or
,需要记住的是,KQL
中,and
的优先级高于or
;
所以上面的查询条件,会查询name
包含jane
,且addr
包含beijing
的记录,或者job
包含teacher
的记录,可以使用括号来让上面的查询条件更好理解:
(name:jane and addr:beijing) or job:teacher
实例7
代码语言:javascript复制name:jane and (addr:beijing or job:teacher)
上面这个表达式,主要是想表明,可以使用括号来控制匹配的优先级。
实例8
代码语言:javascript复制response:(200 or 404)
上面这个表达式,会查询response
包含200
,或者response
包含404
,或者包含200
和404
的记录(不保证顺序、不区分大小写);
同时可以使用and
来表示 “且”
的关系。
实例9
代码语言:javascript复制not response:200
上面这个查询条件,会查询出response
字段中不包含200
的记录。
实例10
代码语言:javascript复制response:200 and not yes
上面这个查询条件,会查询response
包含200
,并且整条记录不包含yes
的数据记录;
实例11
代码语言:javascript复制response:(200 and not yes)
上面这个查询条件,会查询response
包含200
,且response
不包含yes
的记录。
实例12
代码语言:javascript复制response:*
上面这个查询条件,会返回所有包含response
字段的文档对象。
实例13
代码语言:javascript复制machine*:hello
上面这个查询条件,会查询machine1
字段,machine2
字段...machinexyzabc
字段包含hello
的数据记录,这里只是想表达,对于搜索的字段列,也是可以使用通配符的。
五.总结
KQL
还是比较简单地,主要记住KQL
匹配时是不区分大小写的,可以使用括号改变匹配优先级;
另外一个要点就是,匹配是 包含,某个字段“包含”某个词,而不是某个字段的值为某个词。
原文链接:https://www.cnblogs.com/-beyond/p/14159002.html