hadoop-3.2.0------>入门五 伪分布式 WordCount实例

2020-12-07 14:42:39 浏览数 (1)

1、点击页面,查看文件夹

2、在根目录下创建文件夹(命令:bin/hdfs dfs -mkdir -p /user/root/input),创建完成之后我们可以看到页面上显示出我们所有的文件夹。

bin/hdfs dfs:固定写法

-mkdir:创建文件夹

-p:多级目录

/user/root/input:目录地址

3、查看我们所创建的文件夹,在hdfs中,(命令:bin/hdfs dfs -ls /)

4、将文件上传至hdfs我们所创建的文件夹中

命令:bin/hdfs dfs -put wcinput/wc.input /user/root/input bin/hdfs dfs:固定写法

-put:上传

wcinput/wc.input:文件路径及文件名

/user/root/input:上传至hdfs服务器中的文件夹路径

5、在页面中查看上传的文件

6、输入命令 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /user/root/input /user/root/output

bin/hadoop jar:执行一个jar文件

share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar :文件所在的目录 examples因为加s了肯定是多个案例

wordcount :因为examples是多个案例我们这里执行的是wordcount 案例

/user/root/input:输入文件夹

/user/root/output:输出文件夹,名字可以随意取,一般会以执行的文件名字 output命名

注意:这里的output文件夹不能存在,如果存在将会报错,在执行命令时会自动创建wcoutput 文件夹

7、去页面上查看有没有执行成功,从下图可以看到我们的output文件夹已经出现。

8、点进去可以看到有两个文件分别是_SUCCESS和part-r-00000。

9、可以点击part-r-00000文件名字进行下载,下载到本地,查看里面的内容。

10、同样我们也可以在linux系统中进行查看,命令(bin/hdfs dfs -cat /user/root/output/p*)

0 人点赞