之前的系列文章当中,已经为大家介绍了大数据存储当中的MongoDB、Redis等数据库,今天接着来讲Hbase。Hbase在大数据存储当中,与Hadoop生态紧密相关,也是Hadoop生态当中必学的重要组件。下面我们从基础入门开始,来讲讲Hbase。
支持大数据处理的第一代框架,以Hadoop为主流代表,而基于Hadoop,产生了比较完善的大数据技术生态,发展至今已有二十多个组件。这其中,Hbase主要在大数据存储环节,发挥着重要作用。
Hbase简介
HBase,根据官方给出的定义,是面向列的非关系型分布式数据库,在Hadoop体系当中,基于分布式文件系统HDFS来工作。
Hbase的原型,来自于谷歌的BigTable,采用Java语言编程,实现了BigTable论文提到的一些压缩算法、内存操作和布隆过滤器等,这使得Hbase在海量数据存储、高性能读写场景当中,具备相当的优势。
Hbase特性
- 基于列式存储模型,实现数据高度压缩,节省存储成本;
- 采用LSM机制而不是B( )树,更加适合海量数据实时写入;
- 高可靠,数据存储为多个副本(默认是3副本),且具备自动故障转移功能;
- 高扩展,支持分片扩展能力(基于Region),可实现自动、数据均衡;
- 强一致性读写,数据的读写都针对主Region上进行,属于CP型系统;
- 易操作,HBase提供了Java API、RestAPI/Thrift API等接口
- 查询优化,采用Block Cache和布隆过滤器来支持海量数据的快速查找。
Hbase整体架构
Hbase集群架构,通常涉及到HBase Master、Region Server、Zookeeper、HDFS等几个配合。
一个Hbase集群,由一个Master和几个Region Server组成。其中,Master负责维护表结构信息;实际的数据存储在Region Server上,最终Region Server保存的表数据会直接存储在HDFS上。
HBase Master
HBase Master作为管理节点,通常在集群当中会设置有一个主Master,一个备Master,主Master和备Master的管理,由Zookeeper实现。
Master的职责,包括:
- 管理监控所有的Region Server,负责Region Server故障转移;
- 负责表的相关操作(create、modify、remove、enable、disable),列族的相关操作(add、modify、remove),还有Region的move、assign、unassign;
- 平衡集群负载并定期检查并清理hbase:meta表。
Region Server
Region Server,主要负责服务和管理Region。在分布式集群中,Region Server与DataNode通常按1:1比例安装,从而实现利用HDFS中的短路径读取(Short Circuit),来降低延时。
Region Server的职责,包括:
- 数据的读取和写入,比如:get,put,delete,next等;
- Region的拆分和压缩;
- 检查拆分并处理轻微压缩;
- 检查主要的压缩;
- 定期刷新MemStore到StoreFiles中的内存中写入;
- 定期检查RegionServer的WAL。
Zookeeper
在集群环境当中,Zookeeper总是扮演着“管家”的角色,而Hbase的Region Server非常依赖Zookeeper服务,ZooKeeper管理HBase所有Region Server的信息,包括具体的数据段存放在哪个Region Server上。
具体来说,ZooKeeper存储着hbase:meta信息。hbase:meta表记录着HBase中所有Region的相关信息。
HDFS
在Hadoop集群环境下,Hbase是运行于HDFS上的,所以对于HDFS的架构也建议要有比较清晰的了解和认知。尤其是在存储文件,处理故障转移和复制块的方面,HDFS当中的NameNode和DataNode,可以联动起来学习。
关于Java大数据,Hbase分布式存储入门,以上就为大家做了简单的介绍了。Hbase在大数据技术生态体系当中,重要性不言而喻,学习当中也应当给予相应的重视。