Hadoop Distributed File System（HDFS）是一个分布式文件系统，用于存储和处理大规模数据。在HDFS中，文件被分为数据块，并存储在不同的数据节点上，以实现高可靠性和容错性。文件的上传是使用HDFS API或命令行工具完成的。
HDFS API提供了一组Java类和接口，用于编程实现HDFS文件系统的读取和写入。下面是使用Java HDFS API将文件上传到HDFS的步骤：
创建HDFS客户端对象
要使用Java HDFS API上传文件，首先需要创建一个HDFS客户端对象。这是通过创建一个Configuration对象并将HDFS的URI和其他必要属性设置为参数来完成的。以下是一个示例：
代码语言：javascript复制Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);这将创建一个HDFS客户端对象，该对象使用本地计算机上的HDFS实例，并在端口9000上运行。
创建输入流
要将文件上传到HDFS，必须先创建一个输入流，该输入流从本地文件中读取数据。这是通过创建一个InputStream对象并将本地文件的路径作为参数来完成的。以下是一个示例：
代码语言：javascript复制String localPath = "/path/to/local/file";
InputStream in = new BufferedInputStream(new FileInputStream(localPath));创建输出流
一旦创建了输入流，就可以创建一个输出流，该输出流将数据写入HDFS中的文件。这是通过创建一个OutputStream对象并将要上传的HDFS文件的路径作为参数来完成的。以下是一个示例：
代码语言：javascript复制String hdfsPath = "/path/to/hdfs/file";
OutputStream out = fs.create(new Path(hdfsPath));在上面的示例中，fs是先前创建的HDFS客户端对象。
复制数据
一旦输入流和输出流都创建好了，就可以开始将数据从本地文件复制到HDFS文件中。这是通过使用Java的标准输入输出流中的read和write方法来完成的。以下是一个示例：
代码语言：javascript复制byte[] buffer = new byte[1024];
int len = in.read(buffer);
while (len > 0) {
out.write(buffer, 0, len);
len = in.read(buffer);
}在上面的示例中，数据从输入流中读取到缓冲区中，然后通过输出流写入HDFS文件中。此过程将重复，直到读取所有数据并将其写入文件。
关闭流
最后，一定要关闭输入和输出流以释放系统资源。以下是一个示例：
代码语言：javascript复制in.close();
out.close();现在，文件已经成功上传到HDFS中。
下面是一个完整的Java程序，该程序将从本地文件系统中读取数据，并将其上传到HDFS文件系统中：
代码语言：javascript复制import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.InputStream;
import java.io.OutputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HdfsFileUpload {
public static void main(String[] args) throws Exception {
String localPath = "/path/to/local/file";
String hdfsPath = "/path/to/hdfs/file";
// Create HDFS client
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
FileSystem fs = FileSystem.get(conf);
// Create input stream
InputStream in = new BufferedInputStream(new FileInputStream(localPath));
// Create output stream
OutputStream out = fs.create(new Path(hdfsPath));
// Copy data
byte[] buffer = new byte[1024];
int len = in.read(buffer);
while (len > 0) {
out.write(buffer, 0, len);
len = in.read(buffer);
}
// Close streams
in.close();
out.close();
System.out.println("File uploaded to HDFS successfully.");
}
}在此示例中，我们首先定义本地文件的路径和要上传到HDFS的文件的路径。然后，我们创建HDFS客户端对象，输入流和输出流，并将数据从本地文件复制到HDFS文件。最后，我们关闭输入和输出流，以释放系统资源，并在控制台上输出成功消息。
