文档编写目的
在一些业务场景中需要将Hive的数据导入到HBase中,通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。
- 测试环境
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0
创建Hive与HBase关联表
2.1 创建同步关联表
1.在Hive的命令行执行如下SQL创建Hive与HBase关联表
代码语言:javascript复制CREATE TABLE hive_hbase_table(
key int,
name String,
age String
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age")
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");
2.在HBase Shell命令行查看
3.删除hive_hbase_table表
再次登录HBase Shell查看hbase_table表已不存在被删除
可以看到通过上述命令创建Hive与HBase关联表,如果HBase表不存在时会自动创建,但通过Hive将表删除时也同时会删除与之关联的HBase表。
2.2 创建外部关联表
1.在HBase上创建一个hbase_hive表
代码语言:javascript复制hbase(main):003:0> create 'hbase_table','cf1'
hbase(main):004:0> list
2.在Hive上执行如下SQL创建Hive与HBase关联的外部表
代码语言:javascript复制CREATE EXTERNAL TABLE hive_hbase_table(
key int,
name String,
age String
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age")
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");
3.在Hive上执行drop操作,HBase表不会被同步删除
HBase表依然存在不会被同步删除
可以看到通过创建Hive与HB 从vase的外部关联表,在删除Hive表的时候并不会同步的将HBase表删除。
Hive表导数到HBase表
1.准备一个hive的测试表,这里测试表的字段与之前创建的Hive与HBase关联表字段一致,为了能够方便的将数据导入到HBase表中
代码语言:javascript复制hive> create table hive_data (key int,name String,age string);
hive> insert into hive_data values(1,"za","13");
hive> insert into hive_data values(2,"ff","44");
hive> select * from hive_data;
查看hive_data表的数据,插入数据成功。准备完毕。
2.通过如下SQL语句将hive表的数据导入到Hive与HBase的关联表中,从而实现Hive数据写入HBase
代码语言:javascript复制hive> insert into table hive_hbase_table select * from hive_data;
hive> select * from hive_hbase_table;
然后在HBase中查看表hbase_table的数据,也同步了过来,数据与hive表中的数据一致,导入成功。
代码语言:javascript复制hbase(main):014:0> scan 'hbase_table'
通过如上方式可以方便的将Hive表的数据写入到HBase表中,为线上业务提供数据服务。
总结
1.未使用EXTERNAL关键字创建Hive与HBase关联表时,如果HBase表不存在会自动创建,且删除Hive表的同时也会删除HBase表。
2.使用EXTERNAL关键字创建Hive与HBase关联表时,HBase表必须存在,且删除Hive表是不会删除HBase表。
3.通过Hive创建与HBase关联的表后,可以方便的使用SQL语句方便的向HBase表中写入数据。