什么是MapReduce

2021-04-15 15:08:31 浏览数 (1)

MapReduce是一个分布式并行计算框架

代码语言:javascript复制
   是指实现某项任务或某项工作从开始到结束的计算过程或流的结构。

一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。

MapReduce核心思想

分而治之,先分后和(只有一个模型)

Map负责数据拆分 map: [k1,v1] → [(k2,v2)]

Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]

0 人点赞