hue介绍系列01

2023-06-29 14:28:58 浏览数 (2)

Hue介绍

Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。 

Hue作用 

1,访问HDFS和文件浏览 

2,通过web调试和开发hive以及数据结果展示 

3,查询solr和结果展示,报表生成 

4,通过web调试和开发impala交互式SQL Query 

5,spark调试和开发 

6,Pig开发和调试 

7,oozie任务的开发,监控,和工作流协调调度 

8,Hbase数据查询和修改,数据展示 

9,Hive的元数据(metastore)查询 

10,MapReduce任务进度查看,日志追踪 

11,创建和提交MapReduce,Streaming,Java job任务 

12,Sqoop2的开发和调试 

13,Zookeeper的浏览和编辑 

14,数据库(MySQL,PostGres,SQlite,Oracle)的查询和展示 

安装:

如果用的Cloudera的cdh平台,那么安装很快,因为hue出自该公司,后来贡献给apache基金组织

我用的是ambari,版本对应不标准,直接下载包,安装很容易报错,更新python与ambari自带的python形成冲突。

这样的话,我用的ambari继承的hue。

直接yum install hue

注意由于权限问题,需要在core-site.xml中自定义配置:

hadoop.proxyuser.hue.hosts=*

hadoop.proxyuser.hue.groups=*

如果集群是NAMENODE HA,则需要安装httpfs,webhdfs不能自动感知切hdfs-site.xml里面配的高可用信息.

yum install hadoop-httpfs

ln -s /usr/hdp/current/hadoop-httpfs/etc/rc.d/init.d/hadoop-httpfs /etc/init.d/hadoop-httpfs

core-site.xml里面添加自定义属性(hdp)

<property>

 <name>hadoop.proxyuser.httpfs.groups</name>

 <value>*</value>

</property>

<property>

 <name>hadoop.proxyuser.httpfs.hosts</name>

 <value>*</value>

</property>

然后在hue.ini中配置如下:

 webhdfs_url=http://hostnamefqdn:14000/webhdfs/v1/

0 人点赞