HBase架构和原理(图形化通俗易懂)

文章目录

• 组件模块说明
• HBase 架构简单理解
  • Region Server
  • Master
  • Zookeeper
  • HDFS
• HBase详细架构

组件模块说明

Region：table在行的方向上横向分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元。类似于关系型数据库的表概念。

HBase 架构简单理解

Region Server

Region Server 为 Region 的管理者，RegionServer维护Master分配给它的Region， 其实现类为 HRegionServer。Region里面为Store，存储实际的数据。一开始数据存在内存，到一定时机，存储到磁盘，即Storefile。对数据的增删改查，类似于管理关系型数据库的DML。

主要作用如下: 对于数据的操作： get, put(增和改), delete 对于 Region 的操作： splitRegion(Region拆分)、 compactRegion(Region合并)。

Master

Master 是所有 Region Server 的管理者，以及管理Region给谁维护，其实现类为 HMaster。类似于管理关系型数据库的DDL。

主要作用如下： 对于表的操作： create, delete, alter 对于 RegionServer的操作：分配 regions到每个 RegionServer，监控每个 RegionServer的状态，负载均衡和故障转移。

Zookeeper

HBase 通过 Zookeeper 来做 Master 的高可用、 RegionServer 的监控、存储Hbase元数据(如哪个表存储在哪个RegionServer上)以及集群配置的维护等工作。

HDFS

HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

HBase详细架构

1. StoreFile 每一个region由一个或多个store组成，至少是一个store，hbase为每个列族建一个store，如果有几个列族，也就有几个Store。 保存实际数据的物理文件， StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile（HFile），数据在每个 StoreFile 中都是有序的。
2. HFile HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件。StoreFile底层是以HFile的格式保存。
3. MemStore 写缓存， 由于 HFile 中的数据要求是有序的， 所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 HFile，每次刷写都会形成一个新的 HFile。
4. HLog(WAL log) 用来做灾难恢复使用，HLog记录数据的所有变更，一旦region server 宕机，就可以从log中进行恢复。 由于数据要经 MemStore 排序后才能刷写到 HFile， 但把数据保存在内存中会有很高的概率导致数据丢失，为了解决这个问题，数据会先写在一个叫做 Write-Ahead logfile 的文件中，然后再写入 MemStore 中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
5. HRegion 即Region，HRegion为类的名称。一个Region Server维护多个Region。
6. Zookeeper client客户端先请求到zk，再请求到RegionServer，zk分担HMaster给客户端请求表操作的功能。