对比使用Phoenix组件和原生Hbase查询的时间性能
之前对于使用Phoenix查询Hbase大表数据一直卡死,于是搁置了好久,昨晚终于尝试了一下,完美搞定,本节文章来使用4种方法对比Hbase查询性能。
查询数据量为1.8亿 。
1.基本理论
HBase是一个分布式的基于列存储的非关系型数据库。
HBase不是关系型数据库,而是一个在hdfs上开发的面向列的分布式数据库,不支持sql。
HBase统计使用count。查询按照rowkey查询,适合存储结果,不适合做sum、count、表连接等复杂查询,而SQL则适合多表连接,查询组合等。
现有工具有很多Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要记录Phoenix。
phoenix,由saleforce.com开源的一个项目,后又捐给了Apache。它相当于一个Java中间件,帮助开发者,像使用jdbc访问关系型数据库一些,访问NoSql数据库HBase。
phoenix,操作的表及数据,存储在hbase上。phoenix只是需要和Hbase进行表关联起来。然后再用工具进行一些读或写操作。
其实,可以把Phoenix只看成一种代替HBase的语法的一个工具。
2.查询方式
第一种:原生Hbase查询时间
代码语言:javascript复制count 'mysql_data'
Hbase查询时间为3856秒大约1小时7分钟
第二种:Hbase查询优化
代码语言:javascript复制count 'mysql_data', INTERVAL => 10000000
每隔一千万查询一次:
间隔查询3372.5740秒,大约耗时:56分钟。
第三种:协处理器
首先需要配置:hbase-site.xml
代码语言:javascript复制<property>
<name>hbase.coprocessor.user.region.classes</name>
<value>org.apache.hadoop.hbase.coprocessor.AggregateImplementation</value>
</property>
耗时:1874188毫秒=1874.188s秒,大约31分钟。
第四种:Phoenix查询时间
需要设置Phoenix中的hbase-site.xml时间配置:
代码语言:javascript复制<property>
<name>phoenix.query.timeoutMs</name>
<value>3600000</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>3600000</value>
</property>
<property>
<name>hbase.client.scanner.timeout.period</name>
<value>3600000</value>
</property>
Phoenix查询时间为2015.033秒,大约33分钟左右。
3.总结
综上可得出,速度快慢:协处理器>Phoenix查询>间隔count>普通count>全表scan。
最后,欢迎大家订阅我的chat,更多细节会在chat中分享,本节chat可以提供源码进行实践!!!