Hive快速入门系列(9) | Hive表中数据的加载与导出

2020-10-28 16:18:53 浏览数 (1)

  本次博主为大家带来的是Hive表中数据的加载与导出。希望能够帮助到大家。

一. Hive表中加载数据

1.1 直接向分区表中插入数据

代码语言：javascript复制
create table score3 like score;

insert into table score3 partition(month ='201807') values ('001','002','100');

1.2 通过查询插入数据

  • 1. 通过load方式加载数据
代码语言：javascript复制
(linux) load data local inpath ‘/export/servers/hivedatas/score.csv’ overwrite into table score partition(month=‘201806’);

(HDFS) load data inpath ‘/export/servers/hivedatas/score.csv’ overwrite into table score
partition(month=‘201806’);
  • 2. 通过查询方式加载数据
代码语言：javascript复制
create table score4 like score;
insert overwrite table score4 partition(month = '201806') select s_id,c_id,s_score from score;

关键字overwrite 必须要有

1.3 多插入模式

常用于实际生产环境当中，将一张表拆开成两部分或者多部分

  • 1. 给score表加载数据
代码语言：javascript复制
load data local inpath '/export/servers/hivedatas/score.csv' overwrite into table score partition(month='201806');
  • 2. 创建第一部分表：
代码语言：javascript复制
create table score_first( s_id string,c_id  string) partitioned by (month string) row format delimited fields terminated by 't' ;
  • 3. 创建第二部分表：
代码语言：javascript复制
create table score_second(c_id string,s_score int) partitioned by (month string) row format delimited fields terminated by 't';
  • 4. 分别给第一部分与第二部分表加载数据
代码语言：javascript复制
from score insert overwrite table score_first partition(month='201806') select s_id,c_id insert overwrite table score_second partition(month = '201806')  select c_id,s_score;

1.4 查询语句中创建表并加载数据（as select）

将查询的结果保存到一张表当中去

代码语言：javascript复制
create table score5 as select * from score;

1.5 创建表时通过location指定加载数据路径

  • 1. 创建表，并指定在hdfs上的位置
代码语言：javascript复制
create external table score6 (s_id string,c_id string,s_score int) row format delimited fields terminated by 't' location '/myscore6';
  • 2. 上传数据到hdfs上
代码语言：javascript复制
	hdfs dfs -mkdir -p /myscore6
	hdfs dfs -put score.csv /myscore6;
  • 3. 查询数据
代码语言：javascript复制
select * from score6;

二. Hive表中的数据导出（了解就行）

  将hive表中的数据导出到其他任意目录，例如linux本地磁盘，例如hdfs，例如mysql等等

2.1 insert导出

  • 1. 将查询的结果导出到本地
代码语言：javascript复制
insert overwrite local directory '/export/servers/exporthive' select * from score;
  • 2. 将查询的结果格式化导出到本地
代码语言：javascript复制
insert overwrite local directory '/export/servers/exporthive' row format delimited fields terminated by 't' collection items terminated by '#' select * from student;
  • 3. 将查询的结果导出到HDFS上(没有local)
代码语言：javascript复制
insert overwrite directory '/export/servers/exporthive' row format delimited fields terminated by 't' collection items terminated by '#' select * from score;

2.2 Hadoop命令导出到本地

代码语言：javascript复制
dfs -get /export/servers/exporthive/000000_0 /export/servers/exporthive/local.txt;

2.3 hive shell 命令导出

基本语法：（hive -f/-e 执行语句或者脚本 > file）

代码语言：javascript复制
bin/hive -e "select * from myhive.score;" > /export/servers/exporthive/score.txt

2.4 export导出到HDFS上(全表导出)

代码语言：javascript复制
export table score to '/export/exporthive/score';

三. 清空表数据

只能清空管理表，也就是内部表

代码语言：javascript复制
truncate table score6;

清空这个表会报错

本次的分享就到这里了

hive node.js 大数据

0 人点赞