快速学习-Azkaban实战

2020-02-18 21:50:47 浏览数 (1)

三 Azkaban 实战

Azkaban 内置的任务类型支持 command、java

3.1 单一 job 案例

  1. 案例实操
    1. 创建 job 描述文件
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim first.job
#first.job
type=command
command=echo 'this is my first job'
  1. 将 job 资源文件打包成 zip 文件
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ zip first.zip first.job
 adding: first.job (deflated 15%)
[atguigu@hadoop102 jobs]$ ll
总用量 8
-rw-rw-r--. 1 atguigu atguigu 60 10 月 18 17:42 first.job -rw-rw-r--. 1 atguigu atguigu 219 10 月 18 17:43 first.zip

注意： 目前，Azkaban 上传的工作流文件只支持 xxx.zip 文件。zip 应包含 xxx.job 运行作业所需的文件和任何文件（文件名后缀必须以.job 结尾，否则无法识别）。作业名称在项目中必须是唯一的。

  1. 通过 azkaban 的 web 管理平台创建 project 并上传 job 的 zip 包首先创建 project

上传 zip 包

  1. 启动执行该 job

点击执行工作流

点击继续

  1. Job 执行成功
  1. 点击查看 job 日志

3.2 邮件通知配置案例

  1. 修改配置文件 修改 server 的 conf 下的 azkaban.properties 文件
  1. 在网页上进行配置

3.3 多 job 工作流案例

  1. 创建有依赖关系的多个 job 描述 第一个 job：start.job
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim start.job
#start.job
type=command
command=touch /opt/module/kangkang.txt

第二个 job：step1.job 依赖 start.job

代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim step1.job
#step1.job
type=command
dependencies=start
command=echo "this is step1 job"

第三个 job：step2.job 依赖 start.job

代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim step2.job
#step2.job
type=command
dependencies=start
command=echo "this is step2 job"

第四个 job：finish.job 依赖 step1.job 和 step2.job

代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim finish.job
#finish.job
type=command
dependencies=step1,step2
command=echo "this is finish job"
  1. 将所有 job 资源文件打到一个 zip 包中
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ zip jobs.zip start.job step1.job step2.job 
finish.job
updating: start.job (deflated 16%)
 adding: step1.job (deflated 12%)
 adding: step2.job (deflated 12%)
 adding: finish.job (deflated 14%)
  1. 在 azkaban 的 web 管理界面创建工程并上传 zip 包
  1. 启动工作流 flow
  1. 查看结果

思考： 将 student.txt 文件上传到 hdfs，根据所传文件创建外部表，再将表中查询到的结果写入到本地文件

3.4 Java 操作任务

使用 Azkaban 调度 java 程序

  1. 编写 java 程序
代码语言：javascript复制
public class AzkabanTest {
    public void run() throws IOException {
        // 根据需求编写具体代码
        FileOutputStream fos = new
                FileOutputStream("/opt/module/azkaban/output.txt");
        fos.write("this is a java progress".getBytes());
        fos.close();
    }

    public static void main(String[] args) throws IOException {
        AzkabanTest azkabanTest = new AzkabanTest();
        azkabanTest.run();
    }
}
  1. 将 java 程序打成 jar 包，创建 lib 目录，将 jar 放入 lib 内
代码语言：javascript复制
[atguigu@hadoop102 azkaban]$ mkdir lib
[atguigu@hadoop102 azkaban]$ cd lib/
[atguigu@hadoop102 lib]$ ll
总用量 4 -rw-rw-r--. 1 atguigu atguigu 3355 10 月 18 20:55 azkaban-0.0.1-
SNAPSHOT.jar
  1. 编写 job 文件
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim azkabanJava.job
#azkabanJava.job
type=javaprocess
java.class=com.atguigu.azkaban.AzkabanTest
classpath=/opt/module/azkaban/lib/*
  1. 将 job 文件打成 zip 包
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ zip azkabanJava.zip azkabanJava.job 
 adding: azkabanJava.job (deflated 19%)
  1. 通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包，启动执行该 job
代码语言：javascript复制
[atguigu@hadoop102 azkaban]$ pwd
/opt/module/azkaban
[atguigu@hadoop102 azkaban]$ ll
总用量 24
drwxrwxr-x. 2 atguigu atguigu 4096 10 月 17 17:14 azkaban-2.5.0
drwxrwxr-x. 10 atguigu atguigu 4096 10 月 18 17:17 executor
drwxrwxr-x. 2 atguigu atguigu 4096 10 月 18 20:35 jobs
drwxrwxr-x. 2 atguigu atguigu 4096 10 月 18 20:54 lib
-rw-rw-r--. 1 atguigu atguigu 23 10 月 18 20:55 output
drwxrwxr-x. 9 atguigu atguigu 4096 10 月 18 17:17 server
[atguigu@hadoop102 azkaban]$ cat output 
this is a java progress

3.5 HDFS 操作任务

  1. 创建 job 描述文件
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim fs.job
#hdfs job
type=command
command=/opt/module/hadoop-2.7.2/bin/hadoop fs -mkdir /azkaban
  1. 将 job 资源文件打包成 zip 文件
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ zip fs.zip fs.job 
 adding: fs.job (deflated 12%)
  1. 通过 azkaban 的 web 管理平台创建 project 并上传 job 压缩包
  2. 启动执行该 job
  3. 查看结果

3.6 MapReduce 任务

MapReduce 任务依然可以使用 Azkaban 进行调度

  1. 创建 job 描述文件，及 mr 程序 jar 包
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim mapreduce.job
#mapreduce job
type=command
command=/opt/module/hadoop-2.7.2/bin/hadoop jar /opt/module/hadoop-
2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar 
wordcount /wordcount/input /wordcount/output
  1. 将所有 job 资源文件打到一个 zip 包中
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ zip mapreduce.zip mapreduce.job 
 adding: mapreduce.job (deflated 43%)
  1. 在 azkaban 的 web 管理界面创建工程并上传 zip 包
  2. 启动 job
  3. 查看结果

3.7 Hive 脚本任务

  1. 创建 job 描述文件和 hive 脚本
    1. Hive 脚本：student.sql
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim student.sql
use default;
drop table student;
create table student(id int, name string)
row format delimited fields terminated by 't';
load data local inpath '/opt/module/datas/student.txt' into table 
student;
insert overwrite local directory '/opt/module/datas/student'
row format delimited fields terminated by 't'
select * from student;
  1. Job 描述文件：hive.job
代码语言：javascript复制
[atguigu@hadoop102 jobs]$ vim hive.job
#hive job
type=command
command=/opt/module/hive/bin/hive -f 
/opt/module/azkaban/jobs/student.sql
  1. 将所有 job 资源文件打到一个 zip 包中
  2. 在 azkaban 的 web 管理界面创建工程并上传 zip 包
  3. 启动 job
  4. 查看结果
代码语言：javascript复制
[atguigu@hadoop102 student]$ cat /opt/module/datas/student/000000_0 
1001 yangyang
1002 huihui
1003 banzhang
1004 pengpeng
网站 java jar mapreduce hive

0 人点赞