hadoop 常用指令-查看,下载,解压

2023-10-16 15:18:36 浏览数 (1)

查看路径

代码语言:javascript复制
hadoop fs -ls afs:xxxxx

下载文件到本地

代码语言:javascript复制
hadoop fs -get remote_path local_path

解压gz文件到本地

代码语言:javascript复制
hadoop fs -text remote_path local_path

如果远程文件太大, 则可以通过head命令截取

如 

代码语言:javascript复制
hadoop fs -text remote_path |head -n 10000 > local_path

截取前10000行到本地路径

如果需要追加,则将> 换成 >>

其他命令 

hadoop fs -mkdir .....

基本相当于在原来Linux命令基础上添加 hadoop fs -cmd

0 人点赞