我们这里假设是在配置ssh无密码登录子节点的情况，ssh无密码登录配置见  http://www.linuxidc.com/Linux/2015-01/112032.htm

由于没有那么多机器，就在自己的虚拟机上部署一套Hadoop集群，这被称作伪分布式集群，但是不管怎么样，这里主要记录部署hadoop的过程以及遇到的问题，然后再使用一个简单的程序测试环境。...

2、linux版本：[spark@S1PA11 ~]$ cat /etc/issueRed Hat Enterprise Linux Server release 5.4 (Tikanga)

出于对可扩展性和容错性等考虑，我们一般将SecondaryNameNode运行在一台非NameNode的机器上。

start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack

工欲善其事，必先利其器，啥都不说，Hadoop下载：http://archive.cloudera.com/cdh5/cdh/5/  选择好相应版本搞起，在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。（安装环境为自己在VMWare 10里面搭建的三台 Linux 虚...

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统...

Java.io.IOException: Cannot lock storage /usr/hadoop/tmp/dfs/name. The directory is already locked.

近日由于工作所需，需要使用到Pig来分析线上的搜索日志数据，本人本打算使用hive来分析的，但由于种种原因，没有用成，而Pig（pig0.12-cdh）本人一直没有接触过，所以只能临阵磨枪了，花了两天时间，大致看完了pig官网的文档，在看文档期间...

开发环境搭建参考    <Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境>： http://www.linuxidc.com/Linux/2014-12/111061.htm