背景:
执行任务完成后,经常会发现hdfs生成了多个文件
设置以下参数防止hive生成2个文件:
set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging;
处理方法:在hive-site.xml中添加以下参数。
代码语言:javascript复制<property>
<name>hive.exec.stagingdir</name>
<value>/tmp/hive/.hive-staging</value>
</property>
这个参数默认是<value.hive-staging</value> 会在输出目标目录下先建立一个sessionid目录用于临时存放执行结果。
hive最后在mv的时候,原目录是目标目录的子目录,原目录下的每个文件进行copy操作,如果文件大于默认值(32MB),则会进行distcp操作。如果copy操作,那么数据经过客户端读写一次,如果distcp那么会提交一个任务,不论哪种速度都会非常慢。
hive的MV策略如下:
1.原文件是非hdfs文件,copyFromLocal
2.原文件是hdfs文件
2.1 Encrypted模式
copy操作,如果文件大于默认值(32MB),则会进行distcp操作。
2.2 非Encrypted模式
(1)原目录是目标目录的子目录,原目录下的每个文件进行copy操作,如果文件大于默认值(32MB),则会进行distcp操作。
(2)其他情况,进行mv操作。