【踩坑实录】-hive参数产生2个文件问题

2022-11-13 13:10:22 浏览数 (1)

背景:

执行任务完成后,经常会发现hdfs生成了多个文件

设置以下参数防止hive生成2个文件:

set hive.exec.stagingdir=/tmp/hive-staging/.hive-staging;

处理方法:在hive-site.xml中添加以下参数。

代码语言:javascript复制
<property>        



     <name>hive.exec.stagingdir</name>        



   <value>/tmp/hive/.hive-staging</value>    



</property>

这个参数默认是<value.hive-staging</value>  会在输出目标目录下先建立一个sessionid目录用于临时存放执行结果。

hive最后在mv的时候,原目录是目标目录的子目录,原目录下的每个文件进行copy操作,如果文件大于默认值(32MB),则会进行distcp操作。如果copy操作,那么数据经过客户端读写一次,如果distcp那么会提交一个任务,不论哪种速度都会非常慢。

hive的MV策略如下:

  1.原文件是非hdfs文件,copyFromLocal

   2.原文件是hdfs文件

          2.1   Encrypted模式

                copy操作,如果文件大于默认值(32MB),则会进行distcp操作。

         2.2  非Encrypted模式

            (1)原目录是目标目录的子目录,原目录下的每个文件进行copy操作,如果文件大于默认值(32MB),则会进行distcp操作。

            (2)其他情况,进行mv操作。

0 人点赞