Hadoop环境的搭建过程中的问题(伪分布)

2022-06-30 21:33:35 浏览数 (1)

Hadoop搭建流程网上有很多,以下是我在搭建Hadoop伪分布式环境是遇到的一些比较菜鸟的问题。

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

1、执行bin/hadoopnamenode –format时提示没有配置JAVA_HOME

linux自带的SDK并不是Sun公司的SDK,而是开源的OpenSDK。为了保险,还是决定重新配置java环境,使用SUN jdk。

2、执行启动命令bin/start-all.sh后出现:JAVA_HOMEis not set

但是执行java -version后可以看到java版本信息,证明系统的jdk没有配置错误。

再次检查hadoop-env.sh中的配置。发现路径虽然改了,但是那个语句还在注释里(#),我忘记把注释去掉了。(摔!)

3、执行jps发现没有启动NameNode以及JobTracker

www.linuxidc.com@www.linuxidc.com:~/hadoop-0.20.2$jps

5457SecondaryNameNode

7491Jps

5672TaskTracker

5323DataNode

根据网友提示,可能是由于运行hadoop的用户对/data/hadoop/name1这个目录没有访问权限。因此,进入root中执行上述命令运行hadoop,结果显示完全正确,只是每次启动一个java程序都要输入密码很麻烦。根据ppt提示进行了免密码ssh设置

4、输入hadoop文件命令的时候总是提示hadoop命令未找到,发现应该输入bin/hadoop所有的hadoop命令由bin/ hadoop脚本调用。

PS:(与云计算无关)之前jdk8出来了,我就配置在自己的ubuntu上了。但是安装eclipse和Android studio的时候发现各种问题。于是我又配置了系统自带的OpenJDK。然后eclipse和android studio就恢复正常了。

0 人点赞