文章目录
- 10. 请说下 MR 中 Map Task 的工作机制
- 11. 请说下 MR 中 Reduce Task 的工作机制
- 9.内存角度介绍Map的输出到Reduce的输入的过程。
10. 请说下 MR 中 Map Task 的工作机制
11. 请说下 MR 中 Reduce Task 的工作机制
另一版本:
9.内存角度介绍Map的输出到Reduce的输入的过程。
Map的输出到内存 Map将数据传入环形缓冲区，默认100MB 可修改，环形缓冲区中的数据到达一定的阈值时，默认0.8 可修改，进行溢写生成好多临时文件，多个临时文件到达10个（可以调整）merge合并成一个大文件。 Reduce数据读取 reduce会主动去发起拷贝线程到maptask获取属于自己的数据，数据会进入ReduceTask中的环形缓冲区，当缓冲区中的数据量到达 一定阈值进行溢写，多个临时文件merge合并成一个大文件，最后输入到Reduce。
