sqoop之旅1-初识与安装

2021-03-02 16:07:49 浏览数 (1)

Sqoop学习之旅1-初识与安装

简介

sqoop是Apache旗下一款Hadoop和关系型数据服务器之间传送数据的的工具，其核心功能主要是两点：

  • 导入和迁入
  • 导出和迁出

导入数据：将mysql、oracle等数据库中的数据导入到Hadoop的HDFS、HIVE、HBASE等数据存储系统中

导出数据：从Hadoop的文件系统收纳柜到处数据到关系性数据库中

Sqoop本质上就是一个工具

Sqoop

Hive

迁移数据

执行计算

把sqoop的迁移命令转换成MR程序

将SQL语句转换成MR程序

下载和安装

下载sqoop

安装和配置环境变量
  1. 解压安装包
代码语言：javascript复制
>> tar zxf sqoop-1.4.7-bin__hadoop-2.6.0
# 进入安装目录
>> pwd
# /Users/piqianchao/Downloads/sqoop-1.4.7
  1. 添加环境变量
代码语言：javascript复制
sudo vim /etc/profile  # 一定要用sudo
export SQOOP_HOME=/Users/piqianchao/Downloads/sqoop-1.4.7   # 添加
export PATH=$SQOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH  # 添加到最开始部分
  1. 配置生效
代码语言：javascript复制
source /etc/profile
sqoop verion  # 检验版本
安装jar包

从网上下载相应的jar包，将其拷贝到sqoop的lib目录下

代码语言：javascript复制
tar -zxf mysql-connector-java-5.1.48.tar.gz
cp mysql-connector-java-5.1.48-bin.jar /Users/piqianchao/Downloads/sqoop-1.4.7/lib
hadoop jar 数据库 sql hive

0 人点赞