最新 最热

【赵渝强老师】基于RBF的HDFS联邦架构

在最新的Hadoop版本中又实现了基于Router的联盟架构,并且在这个架构之上还实现了许多增强集群管理能力的特性。Router将挂载表从客户端中抽离了出来,解决了ViewFS存在的问题。...

2024-08-18
4

​etl 读写 elastic 同步数据

Elasticsearch的部署和使用不在这里介绍,这里主要介绍如何通过etl engine对elastic进行读写访问。

2024-08-12
4

【赵渝强老师】Hive的体系架构

在Hadoop体系中提供数据分析引擎Hive。它允许使用SQL语句来分析处理数据,而不需要编程复杂的Java程序。同时Hive提供了丰富的数据模型来创建各种表结构,帮助数据分析人员建立数据模型。视频讲解如下:...

2024-08-12
1

【赵渝强老师】HDFS数据上传和下载的过程

在Hadoop的HDFS中客户端的操作请求,无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。...

2024-08-12
3

【赵渝强老师】部署Hadoop本地模式

为了方便操作Hadoop,需要设置HADOOP_HOME的环境变量,并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。

2024-08-12
1

【赵渝强老师】Hadoop生态圈组件

它的全称是Hadoop Distributed File System,它是Hadoop分布式文件系统,用于解决大数据的存储问题。HDFS源自于Google的GFS论文,可用于运行在低成本的通用硬件上,是一个具有容错的文件系统。...

2024-08-12
1

【赵渝强老师】Yarn的资源调度策略

Yarn作为一个资源和任务调度的平台,在实际应用中往往不止一个应用程序运行在Yarn之上,例如:在Yarn上同时运着MapReduce任务、Spark任务和Flink任务等等。这时候Yarn就需要有一种机制进行调度去分配资源给这些应用程序。...

2024-08-12
2

ContainerManager详解

ContainerManager主要负责NM中管理所有Container生命周期,其主要包含启动Container、恢复Container、停止Container等功能。

2024-08-07
1

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装

https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/访问apche官网源,下载3.3.4版本,我们用二进制通用版即可,因为hadoop运行在java环境,跨平台性使得无需编译arm架构版本。Hadoop 3.3.4 是当前稳定版本,兼容性...

2024-08-06
1

【九】Hadoop3.3.4HA高可用配置

在 Hadoop 生态系统中,NameNode 是文件系统的中心管理器,负责管理 HDFS 的元数据。为了避免单点故障(Single Point of Failure,SPOF),Hadoop 引入了 NameNode 的高可用性架构。主要组件包括:...

2024-08-04
3