DataX 开发之MySql同步到Phoenix5.x

2021-05-11 10:48:51 浏览数 (1)

reader部分参数请参考MysqlReader 插件文档 writer部分参数请参考HBase20xsqlwriter插件文档

这里不说怎么同步数据,官方文档有说明。这里重点说采坑的部分

错误1

截屏2021-05-08 15.45.34.png

原因是下载的DataX/plugin/writer 文件下面没有编译Phoenix插件 下载DataX源码,自己编译:DataX源码

代码语言:javascript复制
(1)、下载DataX源码:
$ git clone git@github.com:alibaba/DataX.git

(2)、通过maven打包:
$ cd  {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功,日志显示如下:

[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48 08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,结构如下:

$ cd  {DataX_source_code_home}
$ ls ./target/datax/datax/
bin     conf        job     lib     log     log_perf    plugin      script

把编译后生成的hbase20xsqlwriter拷贝到DataX/plugin/writer/文件夹下面,重新执行job就可以了

错误2

截屏2021-05-08 16.51.40.png

报这个错误是因为Phoenix设置schema,但是writer的参数里面没有加schema,加上就好了。

代码语言:javascript复制
schema
描述:表所在的schema
必选:否
默认值:无

0 人点赞