请教一下，这个是cdp测试过程中，我这边想把hive命令默认client改为原来的hive cli，修改了use_beeline_for_hive_cli为false后,命令输入hive报了java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning,我尝试过将tez的jar包复制到hive 的lib目录下和修改hive-site.xml中的hive.server2.active.passive.ha.enable为false,但是都不行，你这边有啥修改的建议不
这个没有建议，我们的产品里给你禁用掉就是不让你用的，其实。还不如回到beeline你觉得哪里不方便或者挡住你使用了，我来给你解决。
在beeline使用insert overwrite directory的时候没有用到执行用户的权限，这样的话，在旧的脚本使用hive执行insert overwrite directory是没问题的，但是切换到beeline后，可能会报错
你们的集群是没有使用ldap也没有kerberos是吧？
生产上没有用，探查、生产测试用到了ldap
如果HS2启用了ldap登录认证的话，不会有你说的这个问题，因为敲beeline需要登录。或者beeline命令带参数直接登录
现在是这样得情况，在客户端模式 下 hive -e "INSERT OVERWRITE LOCAL DIRECTORY " 落到本地的文件 什么用户开的hive 落到本地的文件权限是什么用户的 。但是beeline模式下 是一直是hive 用户的文件权限。有没方法是落在本地的文件 是那个用户的文件权限呢
这个CLI和beeline是有问题，不过主要不是你这个问题，这两天测试了一下。生成的文件目录是-rw-r--r-- 1 hive hive，别的用户也能读到啊，你们是觉得有什么问题？
因为程序会进行删除合并文件
，目前只有读权限…关键一大部分代码是这么写的
哦，你说这个。代码不用改，多一步自己去改权限好了？
Hive CLI writes to local host when INSERT OVERWRITE LOCAL DIRECTORY. But Beeline writes to HS2 local directory. For a user migrating from CLI to Beeline, it might be a big chance.
其实一般人是关心这个问题
额，可能我这边airflow和hiveserver2部署在一起所以没发现吧
Hive CLI的方式在CDH5/6的时候就已经建议不再使用，而是使用beeline的方式连接Hive。在CDP中则是完全取消了Hive CLI的方式，即使输入hive命令，系统也会直接连到beeline。主要原因是集群开启Sentry/Ranger后，防止用户绕过HS2直接访问HMS中的敏感数据，实际上在开启安全后，Sentry/Ranger后也不支持Hive CLI。参考：
https://docs.cloudera.com/documentation/enterprise/latest/topics/sg_sentry_overview.html#concept_q3l_5sw_jr__hiveclidisable生产中使用beeline连接HS2提交Hive SQL的方式也可以更好的利用多装几个HS2，然后前端通过HAProxy或F5起到负载均衡的作用。
我们在cdh5或者cdh6执行insert overwrite directory的时候，数据会写到执行命令所在节点的本地目录，再没有启用安全的情况下，目录以及文件的权限属组即为执行命令的用户，但到CDP时，因一般都会建议上安全Kerberos Ranger，在取消掉doas功能后底层都是使用hive用户，所以生成的文件也都是-rw-r--r-- 1 hive hive，其他用户也都有读取的权限。
但是生成的文件在beeline连接的HS2所在节点的本地，参考jira：
https://issues.apache.org/jira/browse/HIVE-11666在CDP环境中如果使用fayson用户执行类似insert overwrite local directory '/tmp/fayson1' select * from test_hbase;语句的时候，程序会在HDFS中首先创建同名的/tmp/fayson1目录，所以要对执行语句的用户在Ranger中赋权：
另外还需要保证本地目录/tmp对于执行用户fayson有所有权限，因为测试使用/tmp所以不用担心。
对于旧的Hive CLI与beeline表现模式不一样的地方，目前暂未有太好的办法，只能基于beeline进行改造旧的应用，有以下workaround供参考：
1.改用export和import导出到本地，但是只能对分区或者全表；
2.rsync从HS2节点同步到自己节点的机器；
3.把结果打印到stdout然后保存到本地。
4.先导出到hdfs后然后get到本地目录
参考：
https://my.cloudera.com/knowledge/ERROR-quotPermission-denied-user-xxx-does-not-have-WRITE?id=272389https://my.cloudera.com/knowledge/Beeline--INSERT-OVERWRITE-LOCAL-DIRECTORY-does-Not-Write-to?id=71345注：
因为每次执行该语句的时候都需要在HDFS中创建于本地目录同名的目录，可以尝试在导出的时候进行设置:
set hive.exec.stagingdir=/tmp/.hive-staging;未进行测试。
测试了是这样子的，打开doas，不要ranger也还是hive用户，估计这个语句因为连接HS2以后，是以启动HS2的用户来做的move操作，这个没办法了。回到你的场景，要不insert本地完了以后再本地目录的属组吧，要不就使用hive用户跑这个操作，反正你集群是没安全可言，用什么用户其实没所谓。另外使用beeline替换掉Hive CLI，是社区的行动，对应到很多jira，你可以参考：
HiveServer2Clients
https://cwiki.apache.org/confluence/display/Hive/HiveServer2 Clients Replacing the Implementation of Hive CLI Using Beeline
https://cwiki.apache.org/confluence/display/Hive/Replacing the Implementation of Hive CLI Using Beeline Replacing the implementation of Hive CLI using Beeline
https://issues.apache.org/jira/browse/HIVE-10511升级后还是做一下转变吧。就是不要到Hive3了还尝试把老的CLI再调出来，没有意义了。
如果打开doas应该是你执行命令用户的属组
我这边CDP好像是没开启安全的，kerberos是没有用的。落到本地文件依旧是只有hive有权限...
我说doas。。。我知道你没安全
那个默认开启了 我这边关了 也是 一样
你这里是要打开
以前是打开的状态 不行 是不是我这边应用启动 可不可以用hive 用户呢 ？ 现在底层数据的用户都是hive吗？
测试了是这样子的，打开doas，不要ranger也还是hive用户，估计这个语句因为连接HS2以后，是以启动HS2的用户来做的move操作，这个没办法了。回到你的场景，要不insert本地完了以后再本地目录的属组吧，要不就使用hive用户跑这个操作，反正你集群是没安全可言，用什么用户其实没所谓。另外使用beeline替换掉Hive CLI，是社区的行动，对应到很多jira，你可以参考：
HiveServer2 Clientshttps://cwiki.apache.org/confluence/display/Hive/HiveServer2 ClientsReplacing the Implementation of Hive CLI Using Beelinehttps://cwiki.apache.org/confluence/display/Hive/Replacing the Implementation of Hive CLI Using BeelineReplacing the implementation of Hive CLI using Beelinehttps://issues.apache.org/jira/browse/HIVE-10511升级后还是做一下转变吧。就是不要到Hive3了还尝试把老的CLI再调出来，没有意义了。
嗯，现在确实只能考虑这样子了。insert 到hdfs上，在从hdfs调回本地，此时本地文件权限应该启动用户吧。这应该不会变的，但是用户是没权限删除hdfs文件对吧。airflow目前是考虑集群外部署的，即使用insert local 本地的话，也是落到hs2上的
如果开启了doas应该还是提交命令的用户，其他用户没权删除。但是一般是禁用掉，所以还是hive。但你可以get会本地。测试了，用insert overwrite directory语句生成的目录和文件都是hive:hive，其他用户有读取权限，无法删除，你可以get到本地。
嗯嗯，一般这种操作都是临时文件，这么看来hdfs上文件还得另外进程去定期删除，或者airflow用hive用户启动
除了airflow用hive用户启动外，还可以将你使用的用户加入到高权用户组也行。比如加到hive。如果开启了安全kerberos后，就跟启动用户没关系了，脚本里直接kinit hive用户好了。
这个出来权限不是755吗？还是775。收到，谢谢
hive:hive 755
这样来看，airflow应用是只能用hive启动了。现在集群上的数据是Hadoop用户权限，旧数据迁移到新集群时候会不会有权限问题呢？
迁数据的时候可以保留用户属组和权限，不过如果开安全的话，建议重新整理多租户包括的安全问题，然后重新设置。比如目录的ACL管理或者表的权限，调整过后就跟旧集群不一样了
明白了，谢谢
