开源日志分析系统logstash
1. MySQL和ES同步
- 编程式
- 使用之前的elasticdump，手动变成生成json文件，编写shellscript导入ES。后续的数据新增使用PHP或kava客户端进行编程触发同步。
- 使用插件（没有什么特别好的插件）
- 国人编写的go-mysql-elasticsearch（go开发）
- 官方推荐基于logstash的插件logstash-input-jdbc
- 自己写
- 采用阿里巴巴的一个开源项目canal，可以模拟mysql从服务器。封装了bin-log分析，我们可以自己开发一个客户端可以更好地控制数据同步。
