0857-7.1.6-如何查看DAS中执行的Hive On Tez作业的日志

2021-07-28 15:31:38 浏览数 (1)

1.文档编写目的

使用DAS查看日之前,需要先知道DAS如何安装,参考《0853-7.1.6-如何在CDP集群上安装DAS》,本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。

  • 测试环境

1.集群是Cloudera Enterprise 7.3.1和Cloudera Runtime 7.1.6

2.系统均为RedHat 7.6

3.集群已启用 Kerberos

4.OpenLDAP 2.4.44-23.el7_9

2.安装Kerberos Windows客户端

为了能访问安全环境下的yarn页面,需要安装kerberos客户端。然后没有启用kerberos可以跳过此步骤。

下载地址http://web.mit.edu/kerberos/dist/#kfw-4.1

然后安装

一直下一步,选“Typical”,“No”。

安装完了Kerberos客户端会自动的在path里面加上了自己的目录,但是如果windows本地安装了Oracle JDK ,该JDK里面也带了一些 kinit, klist 等命令,所以需要把 Kberberos的环境变量调整得靠前一点,如图所示:

打开cmd或者powershell,如果是下图则为正确。

设置host,使Windows能通过host访问集群。

文件路径:C:WindowsSystem32driversetchosts

修改krb5.conf的配置

文件路径:C:ProgramDataMITKerberos5krb5.ini

将Kerberos KDC所在主机的/etc/krb5.conf文件有选择的粘贴到windows的krb5.ini里面

代码语言:javascript复制
[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 default_realm = MACRO.COM

[realms]
MACRO.COM = {
 kdc = hadoop99.macro.com
 admin_server = hadoop99.macro.com
}

[domain_realm]
.hadoop99.macro.com = MACRO.COM
hadoop99.macro.com = MACRO.COM

2.1配置浏览器

目前只实现如何配置火狐Firefox浏览器,在火狐浏览器上访问Hadoop的Web UI。

谷歌 mac-os-x参考:

https://superuser.com/questions/488095/google-chrome-on-mac-os-x-with-kerberos

打开浏览器,在地址栏输入about:config,如图所示:

点击我了解此风险继续,在搜索栏内,搜索network.negotiate-auth.trusted-uris,双击将其值修改为集群节点ip或主机名,注意:这里如果修改为主机名的话,到时候访问的话,就以主机名访问,ip的话会失效,不起作用。

搜索network.auth.use-sspi,将值改为false。

2.2Kerberos认证

我们可以双击打开我们的Kerberos客户端,点击Get Ticket。认证Kerberos主体,输入密码

也可以用cmd或者powershell。

3.获取作业application_id

进入DAS,执行作业或者找到历史作业。

找到需要查找的作业,点进详细信息。找到并复制application_id

4.查看日志

任务是在YARN里面跑的,所以去yarn的UI查看日志。访问地址是:http://cdp3.macro.com:8088/ui2/#/yarn-app/application_1623833159885_0004/logs

将地址和application_id替换即可。

选择需要查看的attempt、container、和日志类型即可查看日志。

另外还有一种方式是在集群节点中用yarn命令查看:

代码语言:javascript复制
yarn logs -applicationId application_1623833159885_0004

还有一种方法是在yarn-site.xml中配置

代码语言:javascript复制
<property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/app-logs</value>
</property>

然后,日志文件会保存在HDFS的/app-logs/hdfs/logs/application_id目录下。

0 人点赞