最新 最热

Hadoop Yarn 创建Application

创建Application是由client向ResourceManager发起申请,client与RM之间的通信依靠Hadoop RPC,通信协议是ApplicationClientProtocol,所谓通信协议实际上就是一个接口,接口中说明了server/client具备哪些操作函数。...

2023-06-30
1

Hadoop-Yarn架构

YARN(Yet Another Resource Negotiator)是一个通用的资源管理平台,可为各类计算框架提供资源的管理和调度。其核心出发点是为了分离资源管理与作业调度/监控,实现分离的做法是拥有一个全局资源管理器(ResourceManager,RM),以...

2023-06-30
1

Hadoop-Yarn源码-服务库与事件库

本文分析Hadoop2.6源码,生命周期长的对象,Yarn采用基于服务的对象管理模型对其进行管理。

2023-06-30
1

hadoop报错总结02

hadoop报错总结01:https://blog.csdn.net/qq_19968255/article/details/82803768

2023-06-29
1

kafka系列--安装

安装jdk略,zookeeper略 创建消息持久化目录 /mnt/hadoop/kafka/kafkaLogs 下载kafka wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz tar –zxvf kafka_...

2023-06-29
2

Spark介绍系列02--安装集群

Apache Mesos  - 一个通用的集群管理器,也可以运行Hadoop MapReduce和服务应用程序。

2023-06-29
1

hadoop基准测试总结

hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar        TestDFSIO   -write -nrFiles 100  -fileSize 100

2023-06-29
1

hadoop报错总结01

1.进行矩阵计算的时候,由于持续时间长,往往会出现超时的错误,错误内容如下: INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_000000_0, Status : FAILED

2023-06-29
1

hue介绍系列02

desktop default_hdfs_superuser hadoop HDFS管理用户

2023-06-29
1

Hadoop系列--MapReduce运行模式

1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(hadoop-mapreduce.jar),上传到服务器

2023-06-29
1