1.文档编写目的
使用DAS查看日之前,需要先知道DAS如何安装,参考《0853-7.1.6-如何在CDP集群上安装DAS》,本篇文章主要介绍如何查看DAS中执行的Hive On Tez作业的日志。
- 测试环境
1.集群是Cloudera Enterprise 7.3.1和Cloudera Runtime 7.1.6
2.系统均为RedHat 7.6
3.集群已启用 Kerberos
4.OpenLDAP 2.4.44-23.el7_9
2.安装Kerberos Windows客户端
为了能访问安全环境下的yarn页面,需要安装kerberos客户端。然后没有启用kerberos可以跳过此步骤。
下载地址http://web.mit.edu/kerberos/dist/#kfw-4.1
然后安装
一直下一步,选“Typical”,“No”。
安装完了Kerberos客户端会自动的在path里面加上了自己的目录,但是如果windows本地安装了Oracle JDK ,该JDK里面也带了一些 kinit, klist 等命令,所以需要把 Kberberos的环境变量调整得靠前一点,如图所示:
打开cmd或者powershell,如果是下图则为正确。
设置host,使Windows能通过host访问集群。
文件路径:C:WindowsSystem32driversetchosts
修改krb5.conf的配置
文件路径:C:ProgramDataMITKerberos5krb5.ini
将Kerberos KDC所在主机的/etc/krb5.conf文件有选择的粘贴到windows的krb5.ini里面
代码语言:javascript复制[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
default_realm = MACRO.COM
[realms]
MACRO.COM = {
kdc = hadoop99.macro.com
admin_server = hadoop99.macro.com
}
[domain_realm]
.hadoop99.macro.com = MACRO.COM
hadoop99.macro.com = MACRO.COM
2.1配置浏览器
目前只实现如何配置火狐Firefox浏览器,在火狐浏览器上访问Hadoop的Web UI。
谷歌 mac-os-x参考:
https://superuser.com/questions/488095/google-chrome-on-mac-os-x-with-kerberos
打开浏览器,在地址栏输入about:config,如图所示:
点击我了解此风险继续,在搜索栏内,搜索network.negotiate-auth.trusted-uris,双击将其值修改为集群节点ip或主机名,注意:这里如果修改为主机名的话,到时候访问的话,就以主机名访问,ip的话会失效,不起作用。
搜索network.auth.use-sspi,将值改为false。
2.2Kerberos认证
我们可以双击打开我们的Kerberos客户端,点击Get Ticket。认证Kerberos主体,输入密码
也可以用cmd或者powershell。
3.获取作业application_id
进入DAS,执行作业或者找到历史作业。
找到需要查找的作业,点进详细信息。找到并复制application_id
4.查看日志
任务是在YARN里面跑的,所以去yarn的UI查看日志。访问地址是:http://cdp3.macro.com:8088/ui2/#/yarn-app/application_1623833159885_0004/logs
将地址和application_id替换即可。
选择需要查看的attempt、container、和日志类型即可查看日志。
另外还有一种方式是在集群节点中用yarn命令查看:
代码语言:javascript复制yarn logs -applicationId application_1623833159885_0004
还有一种方法是在yarn-site.xml中配置
代码语言:javascript复制<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property>
然后,日志文件会保存在HDFS的/app-logs/hdfs/logs/application_id目录下。