【云计算】MapReduce工作原理 - 详解图
- 1. MapReduce的工作原理如下图所示
- 2.分析
- 2.1整体分析
- 2.2举例分析
1. MapReduce的工作原理如下图所示
此文介绍Google引爆大数据时代的三篇论文之一MapReduce
Google大数据处理的3篇核心论文 《The Google File System》：http://research.google.com/archive/gfs.html 《MapReduce: Simplified Data Processing on Large Clusters》：http://research.google.com/archive/mapreduce.html 《Bigtable: A Distributed Storage System for Structured Data》：http://research.google.com/archive/bigtable.html
2.分析
2.1整体分析
Map有映射的意思，reduce则为减少
针对MapReduce整个过程简单概括是将一个大数据计算任务通过分片成子任务，再将子任务映射到map工作处理，在通过中间过程的处理输出给reduce，reduce再将处理结果汇总。有大到小处理，再将小处理结果整合， 这也正是分治思想的本质。
由于过程仅依靠语言分析不够清晰，对此我绘制如下图进行分析说明。
2.2举例分析
这里采用词频分析进行数据在每个模块变化进行分析
如需原图可私嚯，貌似放上去不是辣么清楚(ㄒoㄒ)~
