Hadoop - HDFS操作

2022-03-27 16:53:57 浏览数 (1)

环境搭建的补充说明:

1.maven配置,vim settings.xml

/home/hadoop/maven_repository

2.Python安装时的注意事项、

(1)推荐源码安装

下载源码:

wget https://www.python.org/ftp/python/3.6.8/Python-3.6.8.tar.xz

源码安装:

tar -xvf Python-3.6.8.tar.xz && cd Python-3.6.8

(2)安装依赖

sudo yum install -y openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-

devel

(3)安装到指定目录

./configure --prefix=/opt/python3.6

make && make install

(4)配置环境变量

vim ~/.bash_profile

export PYTHON_HOME=/opt/python3.6

export PATH=$PYTHON_HOME/bin:$PATH

使环境变量生效:source ~/.bash_profile

HDFS操作

启动HDFS

首先,您必须格式化配置的HDFS文件系统,打开namenode(HDFS服务器),然后执行以下命令。

$./hadoop namenode -format

格式化HDFS后,启动分布式文件系统。以下命令将启动namenode以及数据节点作为集群。

$ ./start-dfs.sh

在HDFS中列出文件

hadoop fs -ls /

创建目录:hadoop fs -mkdir /test

文件上传:hadoop fs -put README.txt /test/

验证上传是否成功:hadoop fs -ls /test

sbin目录下执行:./start-yarn.sh

读取上传的文件内容:hadoop fs -text /test/README.txt (需要是事先启动yarn)

注意:windows浏览器中查看HDFS上传的文件,hadoop000:4568

hdfs文件查看hdfs文件查看

windows环境下host主机域名配置路径:C:WindowsSystem32driversetc

配置内容

For example:

102.54.94.97 rhino.acme.com # source server

38.25.63.10 x.acme.com # x client host

127.0.0.1 localhost

127.0.0.1 hadoop000

localhost name resolution is handled within DNS

【小结】

这样一个 HDFS就正常跑起来了,有空时开启随时玩玩。

0 人点赞