Sqoop快速入门系列(1) | Sqoop的简单介绍及安装解析

2020-10-28 16:43:48 浏览数 (1)

1. Sqoop的简单介绍

  Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。   Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。

2. sqoop1与sqoop2架构对比

  • 1. sqoop1架构
  • sqoop2架构

3. Sqoop原理

  将导入或导出命令翻译成mapreduce程序来实现。   在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

4. Sqoop的安装过程

1. 上传并解压

  • 1. 上传文档
  • 2. 解压sqoop安装包到指定目录
代码语言：javascript复制
[bigdata@hadoop002 software]$ tar -zxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

// 修改文件夹名称
[bigdata@hadoop002 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2. 修改配置文件

Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。

  • 1. 重命名配置文件
代码语言：javascript复制
[bigdata@hadoop002 conf]$ mv sqoop-env-template.sh sqoop-env.sh
  • 2. 修改配置文件
代码语言：javascript复制
[bigdata@hadoop002 conf]$ vim sqoop-env.sh 


export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10
export ZOOCFGDIR=/opt/module/zookeeper-3.4.10
export HBASE_HOME=/opt/module/hbase

3. 拷贝JDBC驱动

拷贝jdbc驱动到sqoop的lib目录下

代码语言：javascript复制
// 声明： 驱动在/opt/software/mysql-libs/mysql-connector-java-5.1.27/

[bigdata@hadoop002 mysql-connector-java-5.1.27]$ cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

4. 验证Sqoop

  • 我们可以通过某一个command来验证sqoop配置是否正确
代码语言：javascript复制
[bigdata@hadoop002 sqoop]$ bin/sqoop help

5. 测试Sqoop是否能够成功连接数据库

代码语言：javascript复制
[bigdata@hadoop002 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop002:3306 --username root --password 199712

  本次的分享就到这里了

hadoop mapreduce 大数据 python 数据库

0 人点赞