QDecoder —> o2k
由于“QDecoder”不能完全表达其实现从Oracle到kafka的数据传输能力,我们决定给她改名为o2k,中文您可以发音为“奥利给”:)
QDecoder社区版发布后,受到广大用户的热爱,相关使用场景和测试案例仍在不断扩展中。经部分用户建议,原命名与从Oracle解析日志传输到kafka供下游定义的功能联系不够紧密。
经讨论后决定,改名为o2k,取oracle to kafka之意,更清晰地表达了功能和用途。中文的发音经某位大佬提醒,严(随)肃(性)的确定为“奥利给”,表明o2k真的很“给力”。
在此我们要特别感谢快手上"双叶湖雷哥"发明这个词,“朝阳冬泳怪鸽”让这个词流行起来:)
目前,github和docker hub上我们已经更新为新的名字,后续的代码、文档和镜像更新都会基于这两个地址:
github:
https://github.com/woqutech/o2k
docker hub:
https://hub.docker.com/r/woqutech/o2k
安装试用,仍然是一键式的,欢迎随时试用:
代码语言:javascript复制docker run -it --name=o2k -p 9191:9191 -p 9092:9092 --pull always registry.cn-hangzhou.aliyuncs.com/woqutech/o2k
具体的安装演示视频如下
增加o2k-monitor可视化监控
随着o2k的正式启用,我们利用prometheus和grafana打包了对o2k的监控,当然也是一键式的:
代码语言:javascript复制docker run -it --pull always --name o2k-monitor --link o2k -p 3000:3000 registry.cn-hangzhou.aliyuncs.com/woqutech/o2k-monitor
跑起来以后,日志会输出在屏幕上,运行正常的话,可以 【ctrl p q】 退出docker
此时连接localhost:3000可以看到登录界面,输入用户名密码:o2k/woqutech就可以登录监控:
登录后,可以看到:
- o2k的三个进程的状态,其中parser1解析rac1节点的日志,parser2解析rac2节点的日志,assembler合并两个RAC的日志输出binlog。
- 三个进程的内存使用情况
- parser每秒解析的日志量
- assembler每秒处理的消息量和输出binlog的大小
以及:
- o2k各个组件的复制延迟(秒)
- 三个进程每秒处理的事务数
- 两个RAC节点每秒解析行数
- o2k每秒处理的总行数以及insert、update、delete的行数
o2k(奥利给)是沃趣科技自主研发,基于Oracle redo日志进行二进制解析工具,解析的结果以canal的protobuf的形式直接写入到kafka或者socket。
目前,o2k已经在多家证券和银行上线使用,稳定运行,得到诸多客户的肯定与认可。