MapReduce是一个分布式并行计算框架
代码语言:javascript复制 是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。
一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。
MapReduce核心思想
分而治之,先分后和(只有一个模型)
Map负责数据拆分 map: [k1,v1] → [(k2,v2)]
Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]
是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。
一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。
分而治之,先分后和(只有一个模型)
Map负责数据拆分 map: [k1,v1] → [(k2,v2)]
Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]