MapReuce的Combineer
概念
每一个 map 都可能会产生大量的本地输出，Combiner 的作用就是对 map 端的输出先做一次合并，以减少在 map 和 reduce 节点之间的数据传输量，以提高网络IO 性能，是 MapReduce 的一种优化手段之一
1、combiner 是 MR 程序中 Mapper 和 Reducer 之外的一种组件
2、combiner 组件的父类就是 Reducer
3、combiner 和 reducer 的区别在于运行的位置
- Combiner 是在每一个 maptask 所在的节点运行
- Reducer 是接收全局所有 Mapper 的输出结果
4、combiner 的意义就是对每一个 maptask 的输出进行局部汇总，以减小网络传输量
实现步骤
在这里以单词统计为例,实现Combiner
1、自定义一个 combiner 继承 Reducer，重写 reduce 方法
代码语言：javascript复制public class MyCombiner extends Reducer<Text,LongWritable,Text,LongWritable> {
/*
key : hello
values: <1,1,1,1>
*/
@Override
protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
long count = 0;
//1:遍历集合，将集合中的数字相加，得到 V3
for (LongWritable value : values) {
count = value.get();
}
//2:将K3和V3写入上下文中
context.write(key, new LongWritable(count));
}
}2、在 job 中设置 job.setCombinerClass(CustomCombiner.class)
代码语言：javascript复制job.setCombinerClass(MyCombiner.class);combiner 能够应用的前提是不能影响最终的业务逻辑，而且，combiner 的输出 kv 应该跟 reducer 的输入 kv 类型要对应起来
3、对使用Combiner之前和之后的日志进行对比
通过对比发现，使用Combiner之后，Reduce输入的键值对数量降低了，提供了网络传输效率。
