每一个成功人士的背后,必定曾经做出过勇敢而又孤独的决定。
放弃不难,但坚持很酷~
HUE版本:3.12.0 Spark版本:1.6.3 Ambari版本:2.6.1.0 HDP版本:2.6.4 前言 通过浏览器访问
ip:8888
登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue
登陆。
一、背景
访问ip:8888/about/#step2
,点击下载Oozie Editor/Dashboard
,可以下载应用程序示例。如下图所示:
下载完成之后,访问workflow编辑器
,会看到spark
的程序示例。在这对该示例如何执行进行讲解。如下两图所示:
二、业务场景
通过启动Spark Java
程序复制文件到HDFS
文件系统中。
三、上传jar包
点击spark示例程序
,点击“工作区”,如下图所示:
将本地/usr/hdp/2.6.4.0-91/spark/lib
目录下的jar包上传到上述工作区的lib文件夹内,执行命令:
sudo -u hdfs hadoop fs -put /usr/hdp/2.6.4.0-91/spark/lib/* /user/hue/oozie/workspaces/workflows/spark-scala/lib/
执行结果如图所示:
四、检查Workflow配置
点击“编辑”,出现如下图所示,其中jar/py
名称是oozie-examples.jar
,main class
(主类)是org.apache.oozie.example.SparkFileCopy
,参数为:${input}
,${output}
。在这里,我们保持默认配置。如下图所示:
点击“设置”,可以更改Workflow
设置,其中变量input
的值就是我们要复制的文件路径。在这里,我们保持默认配置,如下图所示:
五、执行Workflow
点击“执行”按钮,选择output
输出路径,这里我选择输出到该示例的工作区: /user/hue/oozie/workspaces/workflows/spark-scala/output
,点击“提交”。
备注:输出路径会自动生成,不能选择已有文件。
六、查看结果
打开/user/hue/oozie/workspaces/workflows/spark-scala/output
,会生成三个文件,如下图所示:
七、总结
在HUE
上通过oozie
调用Spark
工作流:
- 本篇文章是使用的
HUE
官方自带的Spark
示例,我们需要提前下载。 - 上传
Spark
相关jar
包到该Spark Workflow
的工作区 - 检查
Workflow
配置 - 选择输入输出参数,执行
Workflow