HDFS Shell命令(一)

2023-05-11 11:03:44 浏览数 (1)

HDFS Shell是Hadoop分布式文件系统(HDFS)提供的一种命令行工具,用于管理HDFS中的文件和目录。HDFS Shell提供了一系列命令,包括文件和目录的创建、删除、移动、复制、查看等操作,可以方便地进行HDFS管理。

一、HDFS Shell命令的基本用法

HDFS Shell命令的基本语法格式如下:

代码语言:javascript复制
hdfs dfs -command [option] [args...]

其中,hdfs dfs是HDFS Shell命令的前缀,-command是具体的命令名称,option和args是命令的选项和参数。下面是一些常用的HDFS Shell命令:

1.创建目录

创建HDFS目录的命令是mkdir,语法格式如下:

代码语言:javascript复制
hdfs dfs -mkdir [-p] [dir]

其中,-p选项表示创建目录时自动创建父目录,dir表示目录路径。例如,要在HDFS中创建一个名为/user/hadoop/test的目录,可以使用以下命令:

代码语言:javascript复制
hdfs dfs -mkdir /user/hadoop/test

2.上传文件

上传文件到HDFS的命令是put,语法格式如下:

代码语言:javascript复制
hdfs dfs -put [-f] [-p] [local_path] [hdfs_path]

其中,-f选项表示强制覆盖已有文件,-p选项表示上传后保留本地文件的权限和时间戳,local_path表示本地文件路径,hdfs_path表示HDFS文件路径。例如,要将本地文件/home/hadoop/data.txt上传到HDFS的/user/hadoop目录下,可以使用以下命令:

代码语言:javascript复制
hdfs dfs -put /home/hadoop/data.txt /user/hadoop

3.下载文件

从HDFS下载文件的命令是get,语法格式如下:

代码语言:javascript复制
hdfs dfs -get [-p] [hdfs_path] [local_path]

其中,-p选项表示下载后保留文件的权限和时间戳,hdfs_path表示HDFS文件路径,local_path表示本地文件路径。例如,要将HDFS的/user/hadoop/data.txt文件下载到本地的/home/hadoop目录下,可以使用以下命令:

代码语言:javascript复制
hdfs dfs -get /user/hadoop/data.txt /home/hadoop

4.删除文件或目录

删除HDFS文件或目录的命令是rm,语法格式如下:

代码语言:javascript复制
hdfs dfs -rm [-f] [-r] [hdfs_path]

其中,-f选项表示强制删除文件或目录,-r选项表示递归删除目录,hdfs_path表示HDFS文件或目录路径。例如,要删除HDFS的/user/hadoop/test目录及其下所有文件和子目录,可以使用以下命令:

代码语言:javascript复制
hdfs dfs -rm -r /user/hadoop/test

5.列出文件或目录

列出HDFS文件或目录的命令是ls,语法格式如下:

代码语言:javascript复制
hdfs dfs -ls [hdfs_path]

其中,hdfs_path表示HDFS文件或目录路径。例如,要列出HDFS的/user/hadoop目录下的所有文件和子目录,可以使用以下命令:

代码语言:javascript复制
hdfs dfs -ls /user/hadoop

0 人点赞