hbase python安装部署及操作
本文总结下最近在用python spark hbase安装操作中的一些问题。
- hbase安装
- hbase配置
- spark配置hbase
- hbase配置python
hbase安装 hbase配置
安装流程可借鉴此处，同理spark安装也可借鉴此处 具体参考：http://dblab.xmu.edu.cn/blog/install-hbase/
spark配置hbase
把HBase的lib目录下的一些jar文件拷贝到Spark目录中（直接拷贝到spark目录即可），这些都是编程时需要引入的jar包，需要拷贝的jar文件包括：所有hbase开头的jar文件、guava-12.0.1.jar、htrace-core-3.1.0-incubating.jar和protobuf-java-2.5.0.jar（共42个包） 具体参考：http://dblab.xmu.edu.cn/blog/1715-2/
hbase配置python
用python操作hbase时需要用到happybase库 python happybase 1.pip install happybase 直接安装即可 2.测试安装 python -c ‘import happybase’，不报错就是正常的或直接导入happybase包不报错 3.安装thrift，thrift为一个语言编译器，在python去操作hbase是需要将语言重新编译为hbase底层支持的c ，具体可看https://www.cnblogs.com/enternal/p/5275455.html 4.要在hbase主节点上启动thrift server hbase thrift -p 9090 start 启动完成为就为启动成功，此页面一直保持，不要关闭，关闭则服务也关闭，在生产环境中可自行配置为后台启动
此时即可用python操作hbase，或者可直接参考happybase提供的官方API文档 http://happybase.readthedocs.io/en/latest/user.html#establishing-a-connection 具体参考：http://blog.csdn.net/lizhe_dashuju/article/details/53931749
后续研究用pyspark来操作hbase
