Hadoop学习环境搭建好后,就要测试环境是否OK了,测试的方法很简单,只需要自己用hadoop自带的example jar进行测试一把即可,具体的测试方法如下:
1: su - grid 2: pwd /home/grid 3: 创建input目录,mkdir input ---> 然后进入input 目录 cd input 4: 通过输出重定向的方式,新增两个txt文件 echo "Hi,China">Text1.txt echo "Hi,Hadoop">Text2.txt 5: 查看txt文件,确认内容是否OK cat Text1.txt Hi,China 6:查看Hadoop HDFS里是否有东西 cd .. cd hadoop-1.2.1 bin/hadoop fs -ls 返回: ls: Cannot access .: No such file or directory 7: 把input目录下的文件拷贝到hadoop in目录下 bin/hadoop fs -put ../put ./in 提示错误: put: org.apache.hadoop.hdfs.server .namenode.SafeModeException: Cannot create directory /user/grid/in. Name node is in safe mode. 很显然,提示我们目前Hadoop处于安全模式下,处于安全模式下,我们是不能做任何操作的,不能拷贝文件,所以需要接触安全模式: bin/hadoop dfsadmin -safemode leave ,继续以上操作就哦了。 8:确认文件是否拷贝进去. bin/hadoop fs -ls 返回: 以上两个文件。 9:可以查看以上文件内容,确认是否OK. bin/hadoop fs -cat ./in/Text1.txt 返回:Hi,China 10:执行example jar 进行统计分析。 bin/hadoop jar hadoop-examples-1.2.1.jar wordcount in out 11:查看执行输出文件。 bin/hadoop fs -cat ./out/part-r-00000
返回: Hadoop 1 Hi 2 China 1 如果看上以上结果,就说明集群环境已经哦了,可以正常干活了。
试验过程的步骤,供大家参考:
免费下载地址在 http://linux.linuxidc.com/
用户名与密码都是www.linuxidc.com
具体下载目录在 /2014年资料/5月/13日/如何确认分布式Hadoop1.2.1集群环境是否运转正常
下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm