HBase
数据模型
Row Key
字典顺序
最多存储64k的字节数据
Time Stamp
按照时间倒序排列
默认为64位整型数据
可以制定版本的保留条数，默认为1，即当前版本数据
colum family列族&&qualifier列
列族在建表时给出
列族成员动态加入
权限，调优都是在列族层面
列族成员分为几个文件分布在一个列族的文件夹中
cell
由行和列交叉决定
有版本
存储无类型全部是用字节码储存
HLog
记录操作，也能记录数据方便数据丢失后恢复
调优
表的设计
预先多创建空的region
rowkey设计
· 越小越好
· 根据实际的业务需求来设计
· 尽量保证散列性
不要定义太多列族
先写入缓存中
合并major compaction
· 把自动执行改为手动执行
写表操作
多个客户端并发进行写操作
有多个相同格式数据的写入应该批量进行
读表操作
多个客户端并发进行读操作
批量读数据
缓存查找的结果
根据业务调整Memstore和BlockCache的大小比例
架构
client
访问HBase
维护cache，加快对HBase的访问
zookeeper
用于HBase的协调服务，保证有一个Master运行
存储寻址入口
监控RegionServer的上线和下线信息，实时通知Master
存储schema和table的元数据信息
Master
为RegionServer分配Region
为RegionServer进行负载均衡
发现RegionServer失效，重新分配其上的Region
管理table的增删改操作
RegionServer
维护Region，处理对Region的IO请求
负责切分在运行过程中，变得过大的Region
Region
每个Region保存表中一段连续的数据
每个表开始只有一个Region，随着数据的增加产生分裂
随着Region的不断分裂，会分布在其他的RegionServer中
Memstore和storefile
一个storefile代表一个列族
先将数据写入Memstore中，超过阈值产生溢写，写入单独storefile文件中
storefile数量超过阈值会进行合并
· minor compaction
• 小而少的文件合并
• 效率高
· major compaction
• 所有storefile合并成一个文件
• 默认24小时触发一次
storefile的大小和数量超过一定阈值后，会分裂Region,负载到其他的Region Server中
BlockCache
· RegionServer内存的一部分
· 客户端查数据是先查Memstore，再查BlockCache，最后再storefile
