随着Hadoop技术的发展，从最初为Google、Facebook等公司解决大量数据的存储问题，到现在被越来越多企业用来处理大数据，Hadoop在企业数据领域影响深远。了解其常见的使用模式，可以极大地降低使用复杂性。...

HDFS 会对写入的所有数据计算校验和(checksum)，并在读取数据时验证校验和。针对指定字节的数目计算校验和。字节数默认是512 字节，可以通过io.bytes.per.checksum属性设置。通过CRC-32编码后为4字节。...

STARTUP_MSG: Starting DataNodeSTARTUP_MSG:  host = node-128-99/192.168.1.99STARTUP_MSG:  args = []STARTUP_MSG:  version = 1.1.2STARTUP_MSG:  build = htt...

Hadoop 2.2.0允许创建软连接并且允许MapReduce程序直接处理这些Symlink。为了允许在集群中创建symlink，需要在配置文件hdfs-site.xml中增加如下的配置项：

exportPIG_CLASSPATH=$HADOOP_INSTALL/conf/

因为Hadoop2在官网上预编译的包都是在32位下编译的，在64位系统上可能运行出问题，所以需要在64位系统上编译运行。

1. 不要使用最新的 Maven3.1.1，与Maven3.0.x存在兼容性问题，所以老是出现java.lang.NoClassDefFoundError: org/sonatype/aether/graph/DependencyFilter之类的错误。

这篇 http://www.linuxidc.com/Linux/2013-11/93077.htm  对细节部分介绍的很好，但我站在一个才接触hodoop的新手的角度来看，有些东西讲的有点杂乱，不好理解。

大家好，又见面了，我是你们的朋友全栈君。大数据学习路线java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flume) 机器学习(R,......

准备至少3台机器（通过克隆虚拟机；配置好网络JDK 时间 hosts，保证节点间能互ping通）