面试头条：HBASE 存储设计

先简单介绍下HBASE：

HBASE是一个数据库，可以提供数据的实时随机读写。

HBASE和其他关系型数据库不同，它是一个Nosql数据库（非关系型数据库）

1、Hbase的表模型与关系型数据库的表模型不同：

2、Hbase的表没有固定的字段定义；

3、Hbase的表中每行存储的都是一些key-value对

4、Hbase的表中有列族的划分，用户可以指定将哪些kv插入哪个列族

5、Hbase的表在物理存储上，是按照列族来分割的，不同列族的数据一定存储在不同的文件中

6、Hbase的表中的每一行都固定有一个行键(RowKey)，而且每一行的行键在表中不能重复

7、Hbase中的数据，包含行键，包含key，包含value，都是byte[ ]类型，hbase不负责为用户维护数据类型

8、HBASE对事务（transaction）的支持很差

HBASE和其他Nosql数据库相比较：

hbase的表数据存储在hdfs文件系统中。

从而，hbase具备如下特性：存储容量可以线性扩展；数据存储的安全性可靠性极高！

下面这张图是HBASE的表中的数据放到一行中的表信息。

HBASE数据模型：

Name Spase：

命名空间，类似于关系型数据库的database概念，每个命名空间下有多个表，HBASE两个自带的命名空间，分别是HBASE和default，HBASE中存放的内置的表，default表是用户默认使用的命名空间。

Table：

类似于关系型数据库中表的概念。不同的是，HBASE定义表时只需要声明列族即可，不需要声明具体的列。意味着往HBASE写入数据时，字段可以动态、按需指定。

Row：

HBASE表中的每行数据都由一个RowKey和多个Column组成，数据是按照RowKey的字典顺序存储的，并且查询数据时只能根据RowKey进行检索，所以Rowkey设计十分重要。

Column：

HBASE中的每个列都由列族和列进行限定。建表时只需指明列族，而列限定符无需预先定义。

Time Stamp：

用于标识数据的不同版本（version），每条数据写入时，系统会自动为其加上该字段，其值为写入HBASE的时间。

Cell：

由{rowkey，column Family：column Qualifier，time stamp}唯一确定的单元。cell中的数据时没有类型的，全部是字节码形式存储。

HBASE存储设计介绍

1、HRegion是HBASE存储数据的最小单元。一个Table可以有一个或多个Region，他们可以在一个相同的HRegionServer上，也可以分布在不同的HRegionServer上，一个HRegionServer可以有多个HRegion，他们分别属于不同的Table。HRegion由多个Store构成，每个Store对应了一个Table在这个HRegion中的一个Column Family，即每个Column Family就是一个集中的存储单元。

2、Store是HBase中存储的核心，它实现了读写HDFS功能，一个Store由一个MemStore 和0个或多个StoreFile组成。

3、MemStore是一个写缓存(In Memory Sorted Buffer)，所有数据会先写入WAL日志，后写入MemStore中，由MemStore根据一定的算法将数据Flush到地层HDFS文件中(HFile)，通常每个HRegion中的每个 Column Family有一个自己的MemStore。

4、HFile(StoreFile是HFile的简单封装，即StoreFile底层就是HFile) 用于存储HBase的数据(Cell/KeyValue)。在HFile中的数据是按RowKey、Column Family、Column排序，对相同的Cell(即这三个值都一样)，则按timestamp倒序排列。

5、WAL即Write Ahead Log，在早期版本中称为HLog，它是HDFS上的一个文件，如其名字所表示的，所有写操作都会先保证将数据写入这个Log文件后，才会真正更新MemStore，最后写入HFile中。WAL文件存储在/hbase/WALs/${HRegionServer_Name}的目录中

上面图中还有一个BlockCache：读缓存，每次新查询的数据会缓存在BlockCache中。

HBASE的LSM存储思想

LSM树（Log-Structured Merge Tree），它的核心思路就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，等达到指定的大小限制后将这些修改操作批量写入磁盘。

LSM简易模型

HBASE中的LSM存储思想

1) 客户端在写入数据的是为了提升数据写入性能，Hbase首先会将数据写入到Level 0内存中；

2) 为了防止数据丢失，以及内存资源紧张，Hbase会对Level 0内存中的数据flush到磁盘；

3) 随着flush次数的增多，Level 1会产生很多的小文件，小文件过多不利于管理及数据的检索；

4) Hbase会对Level 1的小文件做合并，合并成大的文件；

FLUSH详述

①　每一次Put/Delete请求都是先写入到MemStore中，当MemStore满后会Flush成一个新的StoreFile(底层实现是HFile)，即一个HStore(Column Family)可以有0个或多个StoreFile(HFile)。

②　当一个HRegion中的所有MemStore的大小总和超过了hbase.hregion.memstore.flush.size的大小，默认128MB。此时当前的HRegion中所有的MemStore会Flush到HDFS中。

③当全局MemStore的大小超过了hbase.regionserver.global.memstore.upperLimit的大小，默认40％的内存使用量。此时当前HRegionServer中所有HRegion中的MemStore都会Flush到HDFS中，Flush顺序是MemStore大小的倒序，直到总体的MemStore使用量低于hbase.regionserver.global.memstore.lowerLimit，默认38%的内存使用量。

④　当前HRegionServer中WAL的大小超过了

hbase.regionserver.hlog.blocksize * hbase.regionserver.max.logs

的数量，当前HRegionServer中所有HRegion中的MemStore都会Flush到HDFS中，

Flush使用时间顺序，最早的MemStore先Flush直到WAL的数量少于

hbase.regionserver.hlog.blocksize * hbase.regionserver.max.logs

这里说这两个相乘的默认大小是2GB，查代码，hbase.regionserver.max.logs默认值是32，而hbase.regionserver.hlog.blocksize默认是32MB。但不管怎么样，因为这个大小超过限制引起的Flush不是一件好事，可能引起长时间的延迟

HBASE Region解析

什么是Region？

Hbase存储数据的最小单元，每个region会存储在确定的RegionServer上，即不会出现一个Region出现在两个RegionServer上。

HBASE表数据会在水平方向上被切分成N个Region;

Region有哪些特点?

Region是HBASE分布式存储的和负载均衡的最小单元；默认是10G