环境搭建的补充说明:
1.maven配置,vim settings.xml
/home/hadoop/maven_repository
2.Python安装时的注意事项、
(1)推荐源码安装
下载源码:
wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz
源码安装:
tar -xvf Python-3.6.8.tar.xz && cd Python-3.6.8
(2)安装依赖
sudo yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-
devel
(3)安装到指定目录
./configure --prefix=/opt/python3.6
make && make install
(4)配置环境变量
vim ~/.bash_profile
export PYTHON_HOME=/opt/python3.6
export PATH=$PYTHON_HOME/bin:$PATH
使环境变量生效:source ~/.bash_profile
HDFS操作
启动HDFS
首先,您必须格式化配置的HDFS文件系统,打开namenode(HDFS服务器),然后执行以下命令。
$./hadoop namenode -format
格式化HDFS后,启动分布式文件系统。以下命令将启动namenode以及数据节点作为集群。
$ ./start-dfs.sh
在HDFS中列出文件
hadoop fs -ls /
创建目录:hadoop fs -mkdir /test
文件上传:hadoop fs -put README.txt /test/
验证上传是否成功:hadoop fs -ls /test
sbin目录下执行:./start-yarn.sh
读取上传的文件内容:hadoop fs -text /test/README.txt (需要是事先启动yarn)
注意:windows浏览器中查看HDFS上传的文件,hadoop000:4568
windows环境下host主机域名配置路径:C:WindowsSystem32driversetc
【配置内容】
For example:
102.54.94.97 rhino.acme.com # source server
38.25.63.10 x.acme.com # x client host
127.0.0.1 localhost
127.0.0.1 hadoop000
localhost name resolution is handled within DNS
【小结】
这样一个 HDFS就正常跑起来了,有空时开启随时玩玩。