在没有 MapReduce 编程模型的时候，做分布式系统的大数据量计算都是针对某一问题的开发特定的编程模型，写过代码的都知道这种的开发模式肯定推广不开来，后续的开发和维护都特别麻烦，但是当时也没人想着要弄一个通用的编程...

Hadoop 是一个开源的分布式计算和存储框架，由 Apache 基金会开发和维护。

在学习了 MapReduce 的使用之后，我们已经可以处理 Word Count 这类统计和检索任务，但是客观上 MapReduce 可以做的事情还有很多。

在学习了之前的 MapReduce 概念之后，我们应该已经知道什么是 Map 和 Reduce，并了解了他们的工作方式。

本章着重介绍 Hadoop 中的概念和组成部分，属于理论章节。如果你比较着急可以跳过。但作者不建议跳过，因为它与后面的章节息息相关。

Hadoop 生态圈中的其它项目可以参考 Hadoop-related projects

但是，再生成动态分区的时候，会失败，所以必须将其单独设置为非严格模式！！！ 设置方式：

高阶函数指的是能接收一个或多个函数作为参数的函数，python中有一些内置的高阶函数，在某些场合使用可以提高代码的效率。

函数式编程是一种编程范式，主要是利用函数把运算过程封装起来，通过组合各种函数来计算结果。 举个例子，要把字符串 functional programming is great 变成每个单词首字母大写，可以这样实现：...

在综合各个因素后，就是大量复杂的、管道式的Map/Reduce/Filter操作。