需求背景:
勇敢的打工人,新年前最后一天班,接到线上需求。最近把mysql大量数据迁移进入elasticsearch,一切正常,但出现一个bug,当系统停机发布时候,mysql数据库更改的数据,不会被系统监听到,导致数据不一致。
于是 勇敢的打工人 开始排查。
流程梳理分析原因:
查看代码后梳理流程:
1、代码是通过引入shyiko包来监听mysql的binlog日志,只监听关注的两张表。BinaryLogClient类包含mysql的各种信息。
2、既然是监听binlog所以必须保证binlog日志是开启状态,通过命令可以看到是开启状态。
3、 根据不同的策略处理增删查改。
4、重点偏移量来了,是从事件里的header获取到binlogFilename,binlogPosition。
5、每次监听到binlog日志变动,就会更新redis偏移量值,当下次初始化的时候,会从redis获取里面的偏移量值。
排查后发现,代码里并没有获取到binlogFilename,导致每次初始化没有从redis中获取到数据,于是把binlogFilename判断去掉,用position来完成功能。