最新 最热

sqoop之旅2-基本使用

sqoop 基本使用sqoop的主要功能是导入和导出导入 读数据(row-by-row)并行化执行导入的结果可以是文本文件或者二进制序列化文件导出 并行化读取HDFS文件基本操作sqoop实质上是一个工具箱,使用的时候需要指定哪个工具和控...

2021-03-02
2

【项目实战】ETL 数据导入

数据已经在 MySQL 中生成,接下来就开始进行数据仓库的搭建环节。首先最重要的,也是首要的流程便是 ETL。这个阶段,因为是对结构化数据进行抽取,所以直接使用 Sqoop 工具即可。Sqoop 工具被安装到了 Node03 中,所以在 Node0...

2020-09-24
2

几张大数据思维导图

主要是Sqoop,Pig以及HBase

2019-08-15
1

Sqoop在导入的时候生成的MR代码教你怎么指定路径去存放

最近常用Sqoop导入一些数据到HDFS中。但是执行完成后,总是会在我执行sqoop命令的文件夹下生成一些MR代码。总是需要去手动清理。感觉比较困扰,然后就看Sqoop的文档。发现有一个配置可以指定生成MR代码的路径。如果能指...

2018-12-09
2