大家好，又见面了，我是你们的朋友全栈君。
hive升级过程中异常记录-java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable
常规ClassCastException问题梳理-来源网络
代码语言：javascript复制Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow问题原因通常是：表的inputformat 和 outputformat 是 orc，而序列化serde不是orc
参看表结构命令：desc formatted 表名;
修改命令如下：ALTER TABLE 表名 SET FILEFORMAT ORC;
以后创建orc表的时候 指定orc的方式如下：
代码语言：javascript复制STORED AS ORC
tblproperties ('orc.compress'='SNAPPY');Refer:https://www.cnblogs.com/xjh713/p/10137880.html
hive迁移过程中出现的ClassCastException问题-排查
代码语言：javascript复制Diagnostic Messages for this Task:
Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing writable {175101, null, null, null, null, null, null, null, null, null, null, null, null, null, null, null}
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:157)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:465)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:349)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168)
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing writable {175101, null, null, null, null, null, null, null, null, null, null, null, null, null, null, null}
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:492)
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:148)
... 8 more
Caused by: java.lang.ClassCastException: org.apache.hadoop.hive.ql.io.orc.OrcStruct cannot be cast to org.apache.hadoop.io.BinaryComparable
at org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe.doDeserialize(LazySimpleSerDe.java:151)
at org.apache.hadoop.hive.serde2.AbstractEncodingAwareSerDe.deserialize(AbstractEncodingAwareSerDe.java:76)
at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.readRow(MapOperator.java:125)
at org.apache.hadoop.hive.ql.exec.MapOperator$MapOpCtx.access$200(MapOperator.java:89)
at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:483)
... 9 more
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask表现：
代码语言：javascript复制1. select 分区表各分区数据都正常；
2. join 分区表各分区，有的分区成功，有的分区报上面的异常；
3. 查看表的serde 确实是orc模式；
4. 查看分区serde 不是orc模式 --- 报错的主要原因；查看分区格式命令： desc formatted dw.user_first_fee_smb partition(log_date="2021-02-19");
根据测试，如果想把该分区的serde修改为orc模式，可以在 cli客户端使用 insert overwrite 模式
代码语言：javascript复制insert overwrite table dw.user_first_fee_smb partition(log_date) select * from dw.user_first_fee_smb where log_date="2021-02-19";但是有哪些表的那些分区需要修改呢，到hive的元数据库查询如下：
代码语言：javascript复制select LOCATION,PART_NAME,t.TBL_NAME,INPUT_FORMAT,SLIB
from PARTITIONS a, SERDES b,SDS c ,TBLS t
where a.SD_ID=c.SD_ID and c.SERDE_ID=b.SERDE_ID and t.TBL_ID=a.TBL_ID
and OUTPUT_FORMAT='org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat' and SLIB<>'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
;然后把这些表的这些分区，重新创建或 insert overwrite一下就ok了。
分析
表最开始创建 没有使用STORED AS ORC 模式，而 serde又没有指定，后续修改了表的格式为ALTER TABLE 表名 SET FILEFORMAT ORC;
但是已经存在的分区，并没有跟随而被修改。所以导致了分区和表的 serde不一致的情况。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
