oozie中运行mapreduce node-action时的常见异常解决方法

2022-06-29 21:16:11 浏览数 (1)

在第一次使用oozie来管理mapreduce工作流时,出现了如下异常:

java.io.IOException: Type mismatch in key from map: expected org.apache.Hadoop.io.LongWritable, recieved org.apache.hadoop.io.Text

at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:872)

at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:499)以上错误,相信是大家在刚开始使用hadoop的时候都会遇到的错误,出错是因为输出格式的数据类型不匹配。

hadoopOutputCollector对象默认的存放数据的格式为<LongWritable,Text>,但在本例中,key传入的实际值为Text类型,所以会报错,现在需要设置其输出格式,改为<Text,LongWritable>类型。以前写的mapreduce是从main方法里进行驱动和运行的,在main方法里面设置了如下参数:

conf.setOutputKeyClass(Text.class);

conf.setOutputValueClass(IntWritable.class);

以上参数是设置输出格式(及key和value类型)。但在oozie中,直接配置的是map类,无法从main方法运行,所以必须指定输出格式,有如下两种方法:

1.在map类里面加入静态代码块(在类初始化的时候就会执行)

 static{   JobConf conf = new JobConf();   conf.setOutputKeyClass(Text.class);   conf.setOutputValueClass(IntWritable.class);  }

2.在oozie的workflow.xml中进行配置,参考如下:

<property>         <name>mapred.output.key.class</name>       <value>org.apache.hadoop.io.Text</value> </property> <property>         <name>mapred.output.value.class</name>         <value>org.apache.hadoop.io.IntWritable</value>  </property>

注,要在lib目录下把hadoop-core-0.20.2-cdh3u6.jar包放进去

0 人点赞