0791-5.13.1-Hive视图执行show create table被截断异常分析

2020-07-24 16:36:26 浏览数 (1)

作者:Eric Lin (林晨辉), Cloudera高级售后技术支持工程师。

异常重现

当对Hive的VIEW执行SHOW CREATE TABLE时,结果输出只有部分,会被截断,这个表现在Hue,Beeline以及Hive CLI中都会存在,如下所示。

1.通过Hue

2.通过Beeline

代码语言:javascript复制
0: jdbc:hive2://localhost:10000/default> SHOW CREATE TABLE test_view;
 ------------------------------------ -- 
|           createtab_stmt           |
 ------------------------------------ -- 
| CREATE VIEW `test_view` AS SELECT  |
|                                    |
| FROM `default`.`sample_07`         |
 ------------------------------------ -- 

3.通过Hive CLI

代码语言:javascript复制
hive> SHOW CREATE TABLE test_view;
OK
CREATE VIEW `test_view` AS SELECT

FROM `default`.`sample_07`

故障解决

经过对各种CDH版本的研究和测试后,发现问题是由VIEW的create语句中带有“ t”字符引起的,并且仅在5.13.1之前的CDH版本中存在。输出结果会删除“t”后的所有字符。从CDH5.13.1开始,Hive在保存元数据信息到数据库MySQL之前,会删掉空格,所以不会出现该问题。但是在低版本的CDH中如果已经出现了该问题,仅升级CDH是不能解决的,因为Metastore中的数据不会更改。要解决该问题,需要更新Hive元数据库中的信息,具体操作如下:

1.停止Hive服务,这样阻止了对Hive元数据库的后续操作;

2.使用mysqldump命令将整个MySQL数据库dump成文本文件;

3.使用文本编辑器将TBLS表中所有“tab”替换为空格;

4.直接drop掉MySQL中旧的Hive元数据库;

5.使用修改好的dump文件加载到新创建的Hive元数据库中;

6.重启服务然后检查是否问题修复;

最好现在DEV/TEST环境中进行测试,然后再到生产系统中进行变更,以降低对生产系统的影响。

参考:

代码语言:javascript复制
https://www.ericlin.me/2017/12/show-create-table-output-truncated-for-view-in-hive/

0 人点赞