sqoop概述

2020-10-28 15:00:30 浏览数 (1)

Sqoop的简介

sqoop，即SQL To Hadop，目的是完成关系型数据库导入导出到Hadoop

Sqoop的原理是将命令翻译为mapreduce程序执行，MR没有Reduce阶段，只有Map阶段

Sqoop的安装

  1. 配置环境 可以在/etc/profile中配置，导出为全局变量或在sqoop-env.sh文件配置 注：需提前配置HADOOP_HOME,HIVE_HOME,HBASE_HOME,ZOOKEEPER_HOME
  2. 将连接mysql的驱动(参考Hive数据的存储以及在centos7下进行Mysql的安装)，拷贝到sqoop的lib目录
  3. 测试，如果没有配置环境变量，则进入sqoop安装目录下
代码语言：javascript复制
bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

导入(import)

  • import 命令是从 RDMS(关系系数据库) 将数据迁移到 HDFS

导入到HDFS

代表在shell窗口中换行

  • 命令详解：
代码语言：javascript复制
bin/sqoop import 
// 连接的url
--connect jdbc:mysql://hadoop102:3306/mydb 
// 用户名
--username root 
// 密码
--password 123456 
// 要导哪个表的数据
--table staff 
// 将数据导入到hdfs的哪个路径
--target-dir /company 
// 如果目标目录存在就删除
--delete-target-dir 
// 导入到hdfs上时，mysql中的字段使用t作为分隔符
--fields-terminated-by "t" 
// 设置几个MapTask来运行
--num-mappers 2 
// 基于ID列，将数据切分为2片，只有在--num-mappers>1时才需要指定,选的列最好不要有null值，否则null
// 是无法被导入的！尽量选取主键列，数字列
--split-by id
// 只导入id和name 列
--columns id,name 
// 只导入复合过滤条件的行
--where 'id >= 10 and id <= 20' 
// 执行查询的SQL，讲查询的数据进行导入，如果使用了--query,不加再用--table,--where,--columns
// 只要使用--query ，必须添加$CONDITONS,这个条件会被Sqoop自动替换为一些表达式
--query "SQL"

导入到Hive

  • Sqoop导入到hive，也是先将数据导入到HDFS，再将HDFS的数据，load到hive表中，这个过程自动完成。
  • 命令详解：
代码语言：javascript复制
$ bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
--table staff 
--num-mappers 1 
//导入到hive
--hive-import 
//导入到hive表中字段的分隔符
--fields-terminated-by "t" 
// 是否以insert overwrite方式覆盖导入数据
--hive-overwrite 
// 要导入的hive表的名称，会自动帮助我们建表。建议还是在hive中手动建表，需要注意和mysql表的数据类型匹配
--hive-table staff_hive

导入到Hbase

  • 目前使用的sqoop1.4.6对应的是低版本的hbase,目前的1.3.0的hbase版本有点高！
  • 在执行导入时，sqoop是可以帮我们自动建表，在使用1.3.0hbase时，建表会失败！建议手动建表！
  • 命令详解：
代码语言：javascript复制
bin/sqoop import 
--connect jdbc:mysql://hadoop102:3306/mydb 
--username root 
--password 123456 
--table t_emp 
//如果表不存在，hbase自动建表
--hbase-create-table 
// 导入的表名
--hbase-table "t_emp" 
// mysql的哪一列作为rowkey
--hbase-row-key "id" 
//导入的列族名
--column-family "info" 
--num-mappers 1 
--split-by id

导出

  • 从HDFS将数据导出到mysql中
  • 命令详解
代码语言：javascript复制
bin/sqoop export 
--connect jdbc:mysql://hadoop102:3306/company 
--username root 
--password 123456 
//要导出的mysql的表名
--table staff2 
--num-mappers 1 
//导出的数据在hdfs上的路径
--export-dir /company 
// 导出时，基于哪一列判断数据重复
--update-key 
// 导出的数据的分隔符
--input-fields-terminated-by "t"
大数据 hbase hive TDSQLMySQL版 数据库

0 人点赞