分布式ETL工具Sqoop实践

2023-10-16 14:15:40 浏览数 (1)

Mysql数据准备

1、在node02节点登录Mysql。

代码语言：javascript复制
mysql -uroot -proot

2、新建数据库testdb。

代码语言：javascript复制
create database testdb;

3、新建数据表ts。

代码语言：javascript复制
use testdb;
create table ts(id int, name varchar(10), age int, sex char(1));

4、向表中插入数据。

代码语言：javascript复制
insert into ts values(10001,'张三',18,'m');
insert into ts values(10002,'李四',20,'m');
insert into ts values(10003,'王小姐',18,'w');

Sqoop基本使用

1、查看MySQL中的所有数据库。

代码语言：javascript复制
sqoop list-databases --connect jdbc:mysql://node02:3306/ --username root --password root

2、在/root目录下新建sqoop_file目录用于存放作业配置文件。

代码语言：javascript复制
mkdir /root/sqoop

3、在/root/sqoop_file目录编写配置文件list_dbs.conf，减少重复参数配置。

代码语言：javascript复制
vim list_dbs.conf
# 添加以下内容
list-databases
--connect
jdbc:mysql://node02:3306/
--username
root
--password
root

4、使用配置文件启动sqoop作业。

代码语言：javascript复制
sqoop --options-file list_dbs.conf

5、查看testdb中所有表，使用非明文方式，手动输入密码。

代码语言：javascript复制
sqoop list-tables 
   --connect jdbc:mysql://node02:3306/testdb 
   --username root 
   -P

6、在Mysql中执行SQL并将结果展示在控制台。

代码语言：javascript复制
sqoop eval 
  --connect jdbc:mysql://node02:3306/testdb 
  --query "SELECT * FROM ts LIMIT 10" 
  --username root 
  -P

7、将testdb.ts表中所有数据全量导入到hdfs的/tmp/sqoop/testdb/ts目录中。

代码语言：javascript复制
sqoop import 
   --connect jdbc:mysql://node02:3306/testdb 
   --username root 
   --query "select * from ts where $CONDITIONS" 
   --target-dir /tmp/sqoop/testdb/ts 
   --fields-terminated-by "," 
   --hive-drop-import-delims 
   --split-by id 
   -m 1
   -P

8、查看最终结果。

代码语言：javascript复制
hadoop fs -ls /tmp/sqoop/testdb/ts
hadoop fs -cat /tmp/sqoop/testdb/ts/part-m-00000

9、在MySQL中新增一条数据。

代码语言：javascript复制
insert into ts values(10004,'张飞',28,'m');

9、使用append增量方式将新增数据导入到/tmp/sqoop/testdb/ts/目录中。

代码语言：javascript复制
sqoop import 
   --connect jdbc:mysql://node02:3306/testdb 
   --username root 
   --password root 
   --query "select * from ts where $CONDITIONS" 
   --target-dir /tmp/sqoop/testdb/ts/ 
   --split-by id 
   -m 1  
   --incremental append 
   --check-column id 
   --last-value 10003

11、查看导入结果。

代码语言：javascript复制
hadoop fs -ls /tmp/sqoop/testdb/ts
hadoop fs -cat /tmp/sqoop/testdb/ts/part-m-00001

Sqoop Job操作

将sqoop任务编写为sqoop job，能够减少每次作业执行前，进行的参数配置工作。

  1. 将增量导入任务制作为sqoop job。
代码语言：javascript复制
sqoop job --create im_ts 
   -- import 
   --connect jdbc:mysql://node02:3306/testdb 
   --username root 
   --password root 
   --query "select * from ts where $CONDITIONS" 
   --target-dir /tmp/sqoop/testdb/ts/ 
   --split-by id 
   -m 1  
   --incremental append 
   --check-column id 
   --last-value 10004
  1. 查看所有作业。
代码语言：javascript复制
sqoop job --list
  1. 查看指定作业的详细信息。
代码语言：javascript复制
sqoop job --show im_ts
  1. 在MySQL中新增数据。
代码语言：javascript复制
insert into ts values(10005,'赵子龙',27,'m');
  1. 运行作业，增量导入数据，这里需要手动输入数据库密码，Sqoop job默认不保存。
代码语言：javascript复制
sqoop job --exec im_ts
  1. 查看导入结果。
代码语言：javascript复制
hadoop fs -cat /tmp/sqoop/testdb/ts/part-m-00002
  1. 再次在MySQL中新增数据。
代码语言：javascript复制
insert into ts values(10006,'悟空',5000,'m');
  1. 运行作业，此时不需要手动修改--last-value，作业会自动根据上次的结果进行更新。
代码语言：javascript复制
sqoop job --exec im_ts
  1. 修改$SQOOP_HOME/conf/sqoop-site.xml配置文件，可以使sqoop job自动保存密码。
代码语言：javascript复制
  <property>
    <name>sqoop.metastore.client.record.password</name>
    <value>true</value>
    <description>If true, allow saved passwords in the metastore.
    </description>
  </property>
分布式 etl sqoop 工具 实践

0 人点赞