HDFS——如何将文件复制到HDFS

2022-06-30 21:30:38 浏览数 (1)

在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs包中。基本的文件操作有open、read、write和close。实际上,Hadoop的文件API是通用的,可用于HDFS以外的文件系统。

Hadoop文件API的起点是FileSystem类,这是一个与文件系统交互的抽象类,存在不同的具体实现子类来处理HDFS和本地文件系统,可以通过调用factory方法FileSystem.get(Configuration conf)来得到所需的FileSystem实例。Configuration类适用于保留键/值配置参数的特殊类。它的默认实例化方法是以HDFS系统的资源配置为基础的。

如下,可以得到与HDFS接口的FileSystem对象:

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);

要得到一个专用于本地文件系统的FileSystem对象:

FileSystem local = FileSystem.getLocal(conf);

Hadoop文件API用Path对象来编制文件和目录名,使用FileStatus对象来存储文件和目录的元数据。使用listStatus()方法得到一个目录中的文件列表:

Path inputDir = new Path(args[0]);

FileStatus[] inputFiles = local.listStatus(inputDir);

数组inputFiles的长度等于指定目录中文件的个数,在inputFiles中每一个FileStatus对象均有元数据信息,如文件长度、权限、修改时间等。

可以用命令行bin/hadoop fs -put 把本地文件复制到HDFS,也可以自己实现。

下面的程序编译打包后,可以直接运行如下的命令,实现自己的上传功能:

hadoop jar filecopy.jar FileCopy cite2.txt cite2.txt

下面是FileCopy的代码。

import java.net.URI; import java.io.InputStream; import java.io.OutputStream; import java.io.BufferedInputStream; import java.io.FileInputStream; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; public class FileCopy {  public static void main(String[] args) throws Exception  {   if(args.length != 2){   System.err.println("Usage : filecopy <source> <target>");   System.exit(2);   }   Configuration conf = new Configuration();   InputStream input = new BufferedInputStream(new FileInputStream(args[0]));   FileSystem fs = FileSystem.get(URI.create(args[1]),conf);   OutputStream output = fs.create(new Path(args[1]));   IOUtils.copyBytes(input,output,4096,true);  } }

0 人点赞