ELK stack:elasticsearch logstash kibana logstash 需要安装java yum安装
image.png
命令行方式:logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' 配置文件:logstash.conf input{ stdin{} } output{ stdout{ codec=>rubydebug{} } elasticsearch{ embedded=>true } } //logstash -f logstash.conf
-t 解析语法 -l 记录到日志 -w 5 用5个线程运行 -v 输出调试日志
插件安装: p'lugin install xx plugin update xx
/dev/null 2>&1
file(FileWatch) 插件的配置: path 路径 discover_interval 几秒检查,默认15秒 exclude start_position begining :默认是tail -F,需要设置成begining *表示递归所有子目录== //
tcp/udp插件 syslog插件: syslog{ port => '514' } TCP插件和filter插件实现syslog效果
image.png
collected插件 -- logstash数据流方向:input|decode|filter|encode|output nginx作为logstash输入流
image.png
multiline插件
image.png
logstash-filter-date插件
image.png
joda时间格式
image.png
时间转换
image.png
grok正则插件
image.png
geoip插件:IP归属地查询
image.png
image.png
logstash-filter-kv 插件,处理key-value日志
logstash-filter-metrics 插件;
image.png
logstash-filter-mutate:类型转换、字符串处理、字段处理
image.png
image.png
image.png
image.png
split 插件
image.png
输出插件:elasticsearch
image.png
输出插件:发送email
image.png
调用系统命令
image.png
输出,保存到文件
image.png
发送告警到nagios里
image.png
标准输出
image.png
image.png
HDFS
image.png
image.png