sqoop简介及安装配置

2023-02-25 15:18:32 浏览数 (2)

概述

sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。

导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统;

导出数据:从Hadoop的文件系统中导出数据到关系数据库

工作机制

将导入或导出命令翻译成mapreduce程序来实现

在翻译出的mapreduce中主要是对inputformat和outputformat进行定制

sqoop实战及原理

sqoop安装

安装sqoop的前提是已经具备java和hadoop的环境

下载并解压

修改配置文件

代码语言:javascript复制
$ cd $SQOOP_HOME/conf

$ mv sqoop-env-template.sh sqoop-env.sh

打开sqoop-env.sh并编辑下面几行:

代码语言:javascript复制
export HADOOP_COMMON_HOME=/soft/hadoop/ 

export HADOOP_MAPRED_HOME=/soft/hadoop/

export HIVE_HOME=/soft/hive

环境 /etc/profile

代码语言:javascript复制
export SQOOP_HOME=/soft/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

加入mysql的jdbc驱动包

代码语言:javascript复制
cp  ~/app/hive/lib/mysql-connector-java-5.1.28.jar   $SQOOP_HOME/lib/

验证启动

代码语言:javascript复制
$ cd $SQOOP_HOME/bin

$ sqoop-version

0 人点赞