连接操作，也就是常说的join操作，是数据分析时经常用到的操作。 比如有两份数据data1和data2，进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。如果数据量比较大，在内存进行连接操会发生内存溢出...

原文地址：http://blog.csdn.net/chengyuqiang/article/details/73441493

原文地址：http://blog.csdn.net/chengyuqiang/article/details/73382034

一般而言，数据文件都会上传到HDFS上，也就是说HDFS上的文件作为MapReduce的输入。已知block块大小是128M（Hadoop 2.x默认的blockSize是128MB，Hadoop 1.x默认的blockSize是64MB）。MapReduce计算框架首先会用InputFormat的子...

《HADOOP权威指南 第3版 》教程中有个经典例子，既是温度统计。作者Tom White在书中写了程序和讲解了原理，认为读者们都会MapReduce程序的基本环境搭建部署，所以这里轻描淡写给带过了，对于初学者来说，这是一个“天坑”，程序...

我们知道，从单线程编程到多线程编程，程序结构复杂度增大了。类似的，从单机程序到分布式程序，程序结构的复杂度也增大了。这是问题的复杂环境决定的。 所以，很多初学者更接触分布式编程时，望而却步、知难而退了。可事实上，Ha...

如图所示，combine过程发生在map方法和reduce方法之间，它将中间结果进行了一次合并。

WordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析，我们可以了解MapReduce程序的基本结构和执行过程。

MapReduce最早来源于谷歌公司的一篇学术论文，是由Google公司研究提出的一种面向大规模数据处理的并行计算模型和方法，当时主要是为了解决其搜索引擎中大规模网页数据的并行化处理。但由于MapReduce可以普遍应用于很多大...

yarn-site.xml文件默认参数： http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml