最新 最热

【Java】已解决:org.apache.hadoop.hdfs.protocol.QuotaExceededException

已解决:org.apache.hadoop.hdfs.protocol.QuotaExceededException

2024-09-09
1

HBase与HDFS集成的最佳实践

大数据时代的到来,分布式存储和计算系统成为了数据处理的主流解决方案。HBase和HDFS分别是分布式NoSQL数据库和分布式文件系统的代表,它们都源于Hadoop生态系统,并且常常结合使用。HBase利用HDFS作为底层存储系统,借助HDF...

2024-09-07
3

【赵渝强老师】基于RBF的HDFS联邦架构

在最新的Hadoop版本中又实现了基于Router的联盟架构,并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来,解决了ViewFS存在的问题。...

2024-08-18
1

【赵渝强老师】HDFS数据上传和下载的过程

在Hadoop的HDFS中客户端的操作请求,无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。...

2024-08-12
1

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/

2024-07-27
1

NameNode客户端协议详解

根据交互对象的不同,将协议进行了不同的归类。要想了解协议内容,需要将其单独分开分析。

2024-05-27
1

Hadoop HDFS介绍及入门基础

1. 高容错性:HDFS通过数据复制和故障检测机制确保数据的高可用性。每个文件被分割成多个块,并存储在多个DataNode(数据节点)上,通常有多个副本。即使部分硬件故障导致部分数据丢失或不可访问,系统仍能通过其他副本恢复数据...

2024-04-24
0

Hadoop的HDFS操作

在本地创建目录 /home/marry ,并在该目录下创建三个空文件,文件名分别为1.txt,2.txt,3.txt

2024-02-19
1

【大家的项目】一个实验性的纯rust hdfs 客户端

rust 社区基本没有纯 rust 实现的 hdfs 客户端, 在使用前需要下载依赖和配置环境变量, 所以我实现了一个不依赖 java 的 hdfs client 端 hdfs-client.

2024-01-05
1

「EMR 开发指南」之通过 Python 连接 Hive

Hive 中集成了 Thrift 服务。Thrift 是 Facebook 开发的一个软件框架,它用来进行可扩展且跨语言的服务的开发。Hive 的 HiveServer2 就是基于 Thrift 的,所以能让不同的语言如 Java、Python 来调用 Hive 的接口。本节将...

2023-11-22
1