一、背景
DATAX 从hive同步数据到pg报错
二、报错内容
Description:[不支持的数据库类型. 请注意查看 DataX 已经支持的数据库类型以及数据库版本.]. - 您的配置文件中的列配置信息有误. 因为DataX 不支持数据库写入这种字段类型. 字段名:[xx], 字段类型:[1111], 字段Java类型:[jsonb]. 请修改表中该字段的类型或者不同步该字段.
三、定位原因
从报错信息中可知是source端出了问题,赶紧检查了一下表结构字段类型,发现hive端该字段类型为STRING,pg端字段类型为jsonb,正常不应该出现问题的啊。可能是字段内容中包含什么中文或特殊字符导致的。
四、解决方案
在字段上拼接空串就能解决了
代码语言:javascript复制select case when 字段名 is not null then concat(字段名,'')
else 字段名
end
执行成功