一. HBase的数据读取流程
如果上图过程不是很懂，下面博主再制作一幅图供大家理解
- 1.Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；
- 2.根据namespace、表名和rowkey在meta表中找到对应的region信息；
- 3.找到这个region对应的regionserver；
- 4.查找对应的region；
- 5.先从MemStore找数据，如果没有，再到BlockCache里面读；
- 6.BlockCache还没有，再到StoreFile上读(为了读取的效率)；
- 7.
如果是从StoreFile里面读取的数据，不是直接返回给客户端，而是先写入BlockCache，再返回给客户端。
二. RegionServer 架构
- 1.StoreFile
保存实际数据的物理文件，StoreFile以Hfile的形式存储在HDFS上。每个Store会有一个或多个StoreFile（HFile），数据在每个StoreFile中都是有序的。
- 2.MemStore
写缓存，由于HFile中的数据要求是有序的，所以数据是先存储在MemStore中，排好序后，等到达刷写时机才会刷写到HFile，每次刷写都会形成一个新的HFile。
- 3.WAL
由于数据要经MemStore排序后才能刷写到HFile，但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入MemStore中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
- 4.BlockCache
读缓存，每次查询出的数据会缓存在BlockCache中，方便下次查询。
二. HBase的数据的写入流程
如果上图过程不是很懂，下面博主再制作一幅图供大家理解
- 1.Client向HregionServer发送写请求；
- 2.HregionServer将数据写到HLog（write ahead log）。为了数据的持久化和恢复；
- 3.HregionServer将数据写到内存（MemStore）；
- 4.反馈Client写成功。
三. 数据Flush过程
- 1.当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
- 2.并将数据存储到HDFS中；
- 3.在HLog中做标记点。
四. 数据合并过程
- 1.当数据块达到4块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；
- 2.当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
- 3.当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.；
- 4.注意：HLog会同步到HDFS。
本次的分享就到这里了
