reader部分参数请参考MysqlReader 插件文档 writer部分参数请参考HBase20xsqlwriter插件文档
这里不说怎么同步数据,官方文档有说明。这里重点说采坑的部分
错误1
截屏2021-05-08 15.45.34.png
原因是下载的DataX/plugin/writer 文件下面没有编译Phoenix插件 下载DataX源码,自己编译:DataX源码
代码语言:javascript复制(1)、下载DataX源码:
$ git clone git@github.com:alibaba/DataX.git
(2)、通过maven打包:
$ cd {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true
打包成功,日志显示如下:
[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48 08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------
打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ,结构如下:
$ cd {DataX_source_code_home}
$ ls ./target/datax/datax/
bin conf job lib log log_perf plugin script
把编译后生成的hbase20xsqlwriter拷贝到DataX/plugin/writer/文件夹下面,重新执行job就可以了
错误2
截屏2021-05-08 16.51.40.png
报这个错误是因为Phoenix设置schema,但是writer的参数里面没有加schema,加上就好了。
代码语言:javascript复制schema
描述:表所在的schema
必选:否
默认值:无