MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾...

MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其...

1，%default file test.txt 中不要用引号，'' 和“”都不行。'file'不会被识别

http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html

用户在使用Mapreduce时默认以part-＊命名，MultipleOutputs可以将不同的键值对输出到用户自定义的不同的文件中。

大数据计算中经常会遇到矩阵乘法计算问题，所以Mapreduce实现矩阵乘法是重要的基础知识，下文我尽量用通俗的语言描述该算法。

之前写了一篇分析MapReduce实现矩阵乘法算法的文章：Mapreduce实现矩阵乘法的算法思路 http://www.linuxidc.com/Linux/2014-09/106646.htm

2、根据样本数据，估计出某个key的所有的记录数以及所占的总内存，pig.skewedjoin.reduce.memusage 控制reduce消耗内存比例，再计算出某个key所需要的reduce个数，以及reduce的总数。...

HDFS是一个具有高度容错性的分布式文件系统，适合部署在廉价的机器上，它具有以下几个特点：

由于项目中，需要统计每个业务组使用的计算机资源，如cpu，内存，io读写，网络流量。所以需要阅读源码查看Hadoop的默认counter。