Logstash的简单使用

2021-03-03 12:32:54 浏览数 (1)

开源日志分析系统logstash

1. MySQL和ES同步


  1. 编程式
    • 使用之前的elasticdump,手动变成生成json文件,编写shellscript导入ES。后续的数据新增使用PHP或kava客户端进行编程触发同步。
  2. 使用插件(没有什么特别好的插件)
    • 国人编写的go-mysql-elasticsearch(go开发)
    • 官方推荐基于logstash的插件logstash-input-jdbc
  3. 自己写
    • 采用阿里巴巴的一个开源项目canal,可以模拟mysql从服务器。封装了bin-log分析,我们可以自己开发一个客户端可以更好地控制数据同步。

2. 安装logstash


3. 配置文件使用


4. 把日志输出到elasticsearch中


0 人点赞