Item | Comment |
|---|---|
(?m) | 打开多行模式的开关 |
^# | 以 # 字符顶头 |
s | 匹配一个或多个空字符 |
s* | 0个或多个空字符 |
%{USER:user} | 以 USER 模式进行正则匹配，结果放在user中 |
[[^]] ] | 以 [ 开头 以]结尾，内容是由一个或多个不是 ] 的字符填充而成 |
[(?:%{IP:clientip})?] | 以 [ 开头 以]结尾，内容可能有，也可能无，如果有并且匹配 IP 的正则模式，结果放在clientip中 |
%{NUMBER:id:int} | 以 NUMBER 模式进行正则匹配，为整数型，结果放在id中 |
n | 匹配换行符 |
%{NUMBER:query_time:float} | 以 NUMBER 模式进行正则匹配，为浮点型，结果放在query_time中 |
(?:uses %{USER:usedatabase};s*n)? | 这个匹配可能有，也可能无，如果有，就是以use开头，若干空字符，以 USER 模式进行正则匹配，结果放在usedatabase中，然后紧接着 ; ，后面是0个或多个空字符，然后是换行，注意：如果有是整体有，如果无，是整体无 |
b | 代表字单词边界不占位置，只用来指示位置 |
.* | 尽可能多的任意匹配 |
(?<query>(?<action>w )b.*) | 整体匹配，存到query中，以一个或多个字符开头组成的单词，结果存到action中 |
(?:n#s Time)? | 内容可能有，也可能无，如果有，是接在一个换行之后，以 # 开头，隔着一个或多个空字符，然后是Time |
.*$ | 任意匹配直到结尾 |
cat logstash-multiline.conf/opt/logstash/bin/logstash -f logstash-multiline.conf -t/opt/logstash/bin/logstash -f logstash-multiline.conf
附 这里预定义了一些正则表达式如：USER、IP、NUMBER
USERNAME [a-zA-Z0-9._-]IP (?:%{IPV6}|%{IPV4})
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]d|1dd|[1-9]?d)(.(25[0-5]|2[0-4]d|1dd|[1-9]?d)){3}))|:)))(%. )?
IPV4 (?<![0-9])(?:(?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5])[.](?:[0-1]?[0-9]{1,2}|2[0-4][0-9]|25[0-5]))(?![0-9])
NUMBER (?:%{BASE10NUM})
BASE10NUM (?<![0-9. -])(?>[ -]?(?:(?:[0-9] (?:.[0-9] )?)|(?:.[0-9] )))
原文地址
