HDFS Shell CLI客户端2

2021-07-15 11:07:54 浏览数 (1)

四、参数说明

HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。

可以通过hadoop fs -help命令来查看每个命令的详细用法。

代码语言:javascript复制
Usage: hadoop fs [generic options]
        [-appendToFile <localsrc> ... <dst>]

        [-cat [-ignoreCrc] <src> ...]

        ……

-appendToFile <localsrc> ... <dst> :
  
Appends the contents of all the given local files to the given dst file. The dst
  
file will be created if it does not exist. If <localSrc> is -, then the input is
  
read from stdin.
-cat [-ignoreCrc] <src> ... :
  Fetch all files that match the file pattern <src> and display their content on

  stdout.

shell客户端

HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。

Hadoop提供了文件系统的shell命令行客户端,使用方法如下:

代码语言:javascript复制
Usage: hdfs [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [COMMAND_OPTIONS]

示例:

代码语言:javascript复制
# 查看HDFS中/parent/child目录下的文件或者文件夹
hdfs dfs -ls  /parent/child  
  • l 所有HDFS命令都可以通过bin/hdfs脚本执行。
  • l 还有一个hadoop命令也可以执行文件系统操作,还可以用来提交作业,此处我们均使用hdfs,为了更好地区分和对hdfs更好的支持。

说明:

  • l 文件系统shell包括与Hadoop分布式文件系统(HDFS)以及Hadoop支持的其他文件系统(如本地FS,HFTP FS,S3 FS等)直接交互的各种类似shell的命令
  • l 所有FS shell命令都将路径URI作为参数。URI格式为scheme://authority/path。对于HDFS,该scheme是hdfs,对于本地FS,该scheme是file。scheme和authority是可选的。如果未指定,则使用配置中指定的默认方案

命令如下:

代码语言:javascript复制
# 查看指定目录下的文件
hdfs dfs -ls  hdfs://namenode:host/parent/child
# hdfs-site.xml中的fs.defaultFS中有配置
hdfs dfs -ls  /parent/child  

0 人点赞