今天发现测试环境的kerberos Hadoop的hive不能跑了，具体表现是select * limit这种不走mapred的job是ok的，走mapred的job就会报错，报的错比较奇怪（Unable to retrieve URL for Hadoop Task logs. Unable to find job ......

为什么数据需要存储在分布式的系统中哪，难道单一的计算机存储不了吗，难道现在的几个TB的硬盘装不下这些数据吗？事实上，确实装不下。比如，很多的电信通话记录就存储在很多台服务器的很多硬盘中。那么，要处理这么多数据，必须从...

partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。

本篇文章描述的是在1.2.1版本的基础上安装Hadoop加上0.94.16版本的hbase，呵呵！现在看来这些版本都有些过时了，写这篇稿子的时候hadoop刚出2.3.0版。如果你是新手或是刚踏入hadoop不妨看看我这篇文档，一步一步脚踏实地的来...

我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的事情，比如你需要对数据进行很多预处理或转换，以便能够适应MapReduce的处理模式,另一方面，编写MapReduce程序，发布及运行作业都将是一...

初接触Hadoop技术的朋友肯定会对它体系下寄生的个个开源项目糊涂了，我敢保证Hive,Pig,HBase这些开源技术会把你搞的有些糊涂，不要紧糊涂的不止你一个，如某个菜鸟的帖子的疑问，when to use Hbase and when to use Hive？.......

摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。

Hadoop伪分布式一般用于学习和测试.生产环境一般不使用.(如有错误,欢迎批评指正)

用途栏中,也可以把namenode,secondaryNamenode及jobTracker

二、安装lzo1、wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz2、tar -zxvf lzo-2.06.tar.gz3、mv lzo-2.06 lzo && cd lzo4、export CFLAGS=-m645、....