开源日志分析系统logstash
1. MySQL和ES同步
- 编程式
- 使用之前的elasticdump,手动变成生成json文件,编写shellscript导入ES。后续的数据新增使用PHP或kava客户端进行编程触发同步。
- 使用插件(没有什么特别好的插件)
- 国人编写的go-mysql-elasticsearch(go开发)
- 官方推荐基于logstash的插件logstash-input-jdbc
- 自己写
- 采用阿里巴巴的一个开源项目canal,可以模拟mysql从服务器。封装了bin-log分析,我们可以自己开发一个客户端可以更好地控制数据同步。