HDFS Shell CLI客户端

2021-07-15 11:07:51 浏览数 (1)

一、HDFS Shell CLI客户端

命令行界面(英语:command-line interface,缩写:CLI)是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式。

Hadoop提供了文件系统的shell命令行客户端,使用方法如下:

代码语言:javascript复制
hdfs [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS]   
SUBCOMMAND:Admin Commands、Client Commands、Daemon Commands。

跟文件系统读写使用相关的命令是 hdfs dfs [generic options]

二、HDFS Shell CLI客户端——说明

HDFS Shell CLI支持操作多种文件系统,包括本地文件系统(file:///)、分布式文件系统(hdfs://nn:8020)等

操作的是什么文件系统取决于URL中的前缀协议。

如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统

代码语言:javascript复制
hdfs dfs -ls file:///  #操作本地文件系统
代码语言:javascript复制
hdfs dfs -ls hdfs://node1:8020/ #操作HDFS分布式文件系统

代码语言:javascript复制
hdfs dfs -ls /  #直接根目录,没有指定协议 将加载读取fs.defaultFS值

三、hadoop dfs、hdfs dfs、 hadoop fs 三者区别

  • hadoop dfs 只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated
  • hdfs dfs 只能操作HDFS文件系统相关(包括与Local FS间的操作),常用
  • hadoop fs 可操作任意文件系统,不仅仅是hdfs文件系统,使用范围更广

目前版本来看,官方最终推荐使用的是hadoop fs。当然hdfs dfs在市面上的使用也比较多。

0 人点赞