我们为什么需要MapReduce？

我们为什么需要MapReduce？

我们为什么不能使用数据库来对大量磁盘上的大规模数据进行批量分析呢？我们为什么要使用MapReduce？ 这些问题的答案来自磁盘的另一个发展趋势： 寻址时间的提高远远慢于传输速率的提高。寻址是将磁头移动到特定磁盘位置进行读写操作的过程。它是导致磁盘操作延迟的主要原因，因而传输速率取决于磁盘的带宽。 　　如果数据的访问模式中包含大量的磁盘寻址，那么读取大量数据集所化的时间势必会更长（相较于流式数据读取模式），流式读取主要取决于传输速率。另一方面，如果数据库系统只更新一小部分记录，那么传统的B树更有优势。但数据库系统更新大部分数据时，B树的效率比MapReduce低得多，因为需要使用“排序/合并”来重建数据库。 　　许多情况下，可以将MapReduce视为关系型数据库管理系统的补充。两个系统之间的差异如下表所示。MapReduce比较适合以批处理的方式处理需要分析整个数据集的问题，尤其是即席分析。RDBMS（关系型数据库管理系统）适用于“点查询”和更新，数据集被索引后，数据库系统能够提供低延迟的数据检索和快速的少量数据更新。MapReduce适合一次写入，多次读取数据的应用，而 关系型数据库更适合持续更新的数据集。 关系型数据库和MapReduce的比较