文章目录
- HBase基本介绍
- 简介
- HBase使用场景
- HBase与Hadoop的关系
- HDFS
- HBase
- RDBMS与HBase的对比
- 关系型数据库
- HBase
- HBase特征简要
- 海量存储
- 列式存储（列族存储）
- 极易扩展
- 高并发
- 稀疏
- HBase的基础架构
- Client
- Zookeeper
- HMaster
- RegionServer
- HBase的复杂架构
- Client
- Zookeeper
- HMaster
- RegionServer
- Region
- Write-Ahead logs
- Store
- MemStore
- StoreFile（HFile）
HBase基本介绍
简介
HBase 是 bigtable 的开源 Java 版本。是建立在 hdfs 之上，提供高可靠性、高性能、列存储、可伸缩、实时读写 nosql 的 数据库系统 。 它介于 nosql 和 RDBMS 之间，仅能通过主键（row key）和主键的 range 来检索数据，仅支持单行事务（可通过hive支持来实现多表join等复杂操作）。 HBase 主要用来存储结构化和半结构化的松散数据。 HBase查询数据功能很简单，不支持 join 等复杂操作，不支持复杂的事务（行级的事务。 HBase中支持的数据类型：byte[]。 HBase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。 HBase中的表一般有这样的特点：
- 大：一个表可以有上十亿行，上百万列。
- 面向列：面向列（族）的存储和权限控制，列（族）独立检索。
- 稀疏：对于为空（null）的列，并不占用存储空间。因此，表可以设计的非常稀疏 传统数据表
HBase中的表
HBase使用场景
海量数据、精确查询、快速返回 海量数据：指的是数据量的背景 精确查询：业务场景 快速返回：是业务对时效性的要求
HBase与Hadoop的关系
HDFS
- 海量数据存储，适合一次性扫描大量数据。
- 适合一次写入多次读取
- 不适合频繁更新的数据
HBase
- 不适合一次性扫描大量数据。适合一次扫描少量数据
- 适合多次写入多次读取
- 支持数据更新
- 支持删除数据
RDBMS与HBase的对比
关系型数据库
结构：
- 数据库以表的形式存在
- 支持FAT、NTFS、EXT、文件系统
- 使用Commit log存储日志
- 参考系统是坐标系统
- 使用主键（PK）
- 支持分区
- 使用行、列、单元格 功能：
- 支持向上扩展
- 使用SQL查询
- 面向行，即每一行都是一个连续单元
- 数据总量依赖于服务器配置
- 具有ACID支持
- 适合结构化数据
- 传统关系型数据库一般都是中心化的
- 支持事务
- 支持Join
HBase
结构：
- 数据库以region的形式存在
- 支持HDFS文件系统
- 使用WAL（Write-Ahead Logs）存储日志
- 参考系统是Zookeeper
- 使用行键（row key）
- 支持分片
- 使用行、列、列族和单元格 功能：
- 支持向外扩展
- 使用API和MapReduce来访问HBase表数据
- 面向列，即每一列都是一个连续的单元
- 数据总量不依赖具体某台机器，而取决于机器数量
- HBase不支持ACID（Atomicity、Consistency、Isolation、Durability原子性、一致性、隔离性、耐久性）
- 适合结构化数据和非结构化数据
- 一般都是分布式的
- HBase不支持事务
- 不支持SQL
- 不支持Join
HBase特征简要
海量存储
HBase适合存储PB级别的海量数据，并且能够在几十到百毫秒内返回数据。
列式存储（列族存储）
Hbase是根据列族来存储数据的。列族理论上可以很多，但实际上建议不要超过6个。
极易扩展
Hbase的扩展性主要体现在两个方面，一个是基于上层处理能力（RegionServer）的扩展，一个是基于存储的扩展（HDFS）。
高并发
主要是在并发的情况下，Hbase的单个IO延迟下降并不多。能获得高并发、低延迟的服务。
稀疏
在列数据为空的情况下，是不会占用存储空间的。
HBase的基础架构
Client
功能： 访问数据的入口，包含访问hbase的API接口,维护着一些cache来加快对hbase的访问
Zookeeper
功能：
- zookeeper的选举机制保证任何时候，集群中只有一个master
- 实时监控Region Server的状态，将Region server的上线和下线信息实时通知给Master
- 存储Hbase的schema,
- 存贮所有Region的寻址入口
HMaster
功能：
- 为 RegionServer 分配 region
- 负责 RegionServer 的负载均衡
- 发现失效的 RegionServer并重新分配 region
- 处理schema(元数据)更新请求 说明：Hmaster短时间下线，hbase集群依然可用，长时间不行
RegionServer
功能：
- RegionServer维护master 分配给它的Region，处理对这些region的IO请求
- RegionServer负责切分在运行过程中变得过大的 region
HBase的复杂架构
组件：
Client
Zookeeper
HMaster
RegionServer
Region
Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。
Write-Ahead logs
HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。
Store
HFile存储在Store中，一个Store对应HBase表中的一个列族。
MemStore
顾名思义，就是内存存储，位于内存中，用来保存当前的数据操作，所以当数据保存在WAL中之后，RegsionServer会在内存中存储键值对。
StoreFile（HFile）
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。
