从Oracle批量导出CSV导入到HIVE中(含去掉引号)

2022-05-07 14:02:11 浏览数 (1)

以往很多系统经常用的是oracle数据库,在大数据环境下,许多应用都是去IOE的,那么其中老旧数据的迁移或者测试就是其中一块。

然而利用sqoop进行数据迁移,在很多场景下并不适合,比如说某些读写分离的场景下,要求原始的oracle数据库与现有的大数据环境是物理隔离的,因此需要原始的数据导出工作。其中数据导出采用CSV有利于直接从oracle迁移到hive等大数据存储环境中。

oracle本身并不能很好地支持数据导出为CSV,特别是对某个大表中含有100万条以上记录数据的时候,导出CSV还是挺受限的。因此写了个简单的CSV导出的存储过程。

由于第一回写存储过程的时候,并没有考虑到导入到HIVE中的问题,在原始过程中添加了引号。而有引号的CSV数据导致HIVE中将出现错误。

UTL_FILE.PUT( L_OUTPUT, L_SEPARATOR || '"' || L_DESCTBL(I).COL_NAME || '"' );

仔细检查原来的存储过程,只需要在上面语句中把引号去掉就可以。。

生成CSV后,再写一个注入HIVE的SQL语句,通过hive -f "*.sql"语句实现数据的注入。特别是下班之后,让数据导出和注入,第二天上班就OK了。

0 人点赞