0693-6.2.0-如何将Hive数据导入HBase

2019-09-03 16:47:37 浏览数 (1)

文档编写目的

在一些业务场景中需要将Hive的数据导入到HBase中,通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。

  • 测试环境

1.Redhat7.2

2.采用root用户操作

3.CM/CDH6.2.0

创建Hive与HBase关联表

2.1 创建同步关联表

1.在Hive的命令行执行如下SQL创建Hive与HBase关联表

代码语言:javascript复制
CREATE TABLE hive_hbase_table(
    key int, 
    name String,
    age String
) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") 
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");

2.在HBase Shell命令行查看

3.删除hive_hbase_table表

再次登录HBase Shell查看hbase_table表已不存在被删除

可以看到通过上述命令创建Hive与HBase关联表,如果HBase表不存在时会自动创建,但通过Hive将表删除时也同时会删除与之关联的HBase表。

2.2 创建外部关联表

1.在HBase上创建一个hbase_hive表

代码语言:javascript复制
hbase(main):003:0> create 'hbase_table','cf1'
hbase(main):004:0> list

2.在Hive上执行如下SQL创建Hive与HBase关联的外部表

代码语言:javascript复制
CREATE EXTERNAL TABLE hive_hbase_table(
    key int, 
    name String,
    age String
) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") 
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");

3.在Hive上执行drop操作,HBase表不会被同步删除

HBase表依然存在不会被同步删除

可以看到通过创建Hive与HB 从vase的外部关联表,在删除Hive表的时候并不会同步的将HBase表删除。

Hive表导数到HBase表

1.准备一个hive的测试表,这里测试表的字段与之前创建的Hive与HBase关联表字段一致,为了能够方便的将数据导入到HBase表中

代码语言:javascript复制
hive> create table hive_data (key int,name String,age string);
hive> insert into hive_data values(1,"za","13");
hive> insert into hive_data values(2,"ff","44");
hive> select * from hive_data;

查看hive_data表的数据,插入数据成功。准备完毕。

2.通过如下SQL语句将hive表的数据导入到Hive与HBase的关联表中,从而实现Hive数据写入HBase

代码语言:javascript复制
hive> insert into table hive_hbase_table select * from hive_data;
hive> select * from hive_hbase_table;

然后在HBase中查看表hbase_table的数据,也同步了过来,数据与hive表中的数据一致,导入成功。

代码语言:javascript复制
hbase(main):014:0> scan 'hbase_table'

通过如上方式可以方便的将Hive表的数据写入到HBase表中,为线上业务提供数据服务。

总结

1.未使用EXTERNAL关键字创建Hive与HBase关联表时,如果HBase表不存在会自动创建,且删除Hive表的同时也会删除HBase表。

2.使用EXTERNAL关键字创建Hive与HBase关联表时,HBase表必须存在,且删除Hive表是不会删除HBase表。

3.通过Hive创建与HBase关联的表后,可以方便的使用SQL语句方便的向HBase表中写入数据。

0 人点赞