hive学习笔记之五：分桶

2022-05-06 14:25:14 浏览数 (1)

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

《hive学习笔记》系列导航

  1. 基本数据类型
  2. 复杂数据类型
  3. 内部表和外部表
  4. 分区表
  5. 分桶
  6. HiveQL基础
  7. 内置函数
  8. Sqoop
  9. 基础UDF
  10. 用户自定义聚合函数(UDAF)
  11. UDTF

本篇概览

本文是《hive学习笔记》的第五篇，前文学习了分区表，很容易发现分区表的问题：

  1. 分区字段的每个值都会创建一个文件夹，值越多文件夹越多；
  2. 不合理的分区会导致有的文件夹下数据过多，有的过少； 此时可以考虑分桶的方式来分解数据集，分桶原理可以参考MR中的HashPartitioner，将指定字段的值做hash后，根据桶的数量确定该记录放在哪个桶中，另外，在join查询和数据取样时，分桶都能提升查询效率；
  3. 接下来开始实战；

配置

  1. 执行以下设置，使得hive根据桶的数量自动调整上一轮reducers数量：
代码语言：javascript复制
set hive.enforce.bucketing = true;
  1. 如果不执行上述设置，您需要自行设置mapred.reduce.tasks参数，以控制reducers数量，本文咱们配置为hive自动调整；

准备数据

接下来先准备外部表t13，往里面添加一些数据，将t13作为后面分桶表的数据源：

  1. 表名t13，只有四个字段：
代码语言：javascript复制
create external table t13 (name string, age int, province string, city string) 
row format delimited 
fields terminated by ',' 
location '/data/external_t13';
  1. 创建名为013.txt的文件，内容如下：
代码语言：javascript复制
tom,11,guangdong,guangzhou
jerry,12,guangdong,shenzhen
tony,13,shanxi,xian
john,14,shanxi,hanzhong
  1. 将013.txt中的四条记录载入t13：
代码语言：javascript复制
load data 
local inpath '/home/hadoop/temp/202010/25/013.txt' 
into table t13;

分桶

  1. 创建表t14，指定字段分桶，桶数量为16：
代码语言：javascript复制
create table t14 (name string, age int, province string, city string) 
clustered by (province, city) into 16 buckets
row format delimited 
fields terminated by ',';
  1. 从t13导入数据，注意语法是from t13开始，要用overwrite关键字：
代码语言：javascript复制
from t13
insert overwrite table t14 
select name, age, province, city;
  1. 导入过程如下图所示，可见reducer数量已被自动调整为桶数量：
  1. 导入后，查看hdfs，可见被分为16个文件，(和分区对比一下，分区是不同的文件夹)：

取样

执行以下语句，取样查看t14的数据：

代码语言：javascript复制
hive> select * from t14 tablesample(bucket 1 out of 2 on province, city);
OK
tom	11	guangdong	guangzhou
john	14	shanxi	hanzhong
Time taken: 0.114 seconds, Fetched: 2 row(s)
  • 至此，分桶操作就完成了，基础知识的实践已经完成，接下来开始一些进阶实践；
hive

0 人点赞