最新 最热

命令修改副本数:hadoop fs -setrep

1、hadoop fs -setrepsetrepUsage: hadoop fs -setrep [-R] [-w] <numReplicas> <path>Changes the replication factor of a file. If path is a directory then the c...

2022-05-06
0

基于Docker的Hadoop集群快速搭建

/24的意思是,子网掩码255.255.255.0 @后面的ip为Docker容器宿主机的网关

2022-05-06
0

Hadoop基础教程-第9章 HA高可用(9.2 HDFS 高可用配置)

因为前面我们已经配置启动了普通的Hadoop相关服务,需要先停止相关服务并清除数据。 (1)停止Hadoop服务 首先停止YARN

2022-05-06
0

Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)

HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

2022-05-06
1

Hadoop基础教程-第7章 MapReduce进阶(7.3 MapReduce API)

原文地址:http://blog.csdn.net/chengyuqiang/article/details/73410106

2022-05-06
0

Hadoop基础教程-第6章 MapReduce入门(6.5 温度统计)

《HADOOP权威指南 第3版 》教程中有个经典例子,既是温度统计。作者Tom White在书中写了程序和讲解了原理,认为读者们都会MapReduce程序的基本环境搭建部署,所以这里轻描淡写给带过了,对于初学者来说,这是一个“天坑”,程序...

2022-05-06
1

Hadoop基础教程-第6章 MapReduce入门(6.4 MapReduce程序框架)

我们知道,从单线程编程到多线程编程,程序结构复杂度增大了。类似的,从单机程序到分布式程序,程序结构的复杂度也增大了。这是问题的复杂环境决定的。 所以,很多初学者更接触分布式编程时,望而却步、知难而退了。可事实上,Ha...

2022-05-06
1

Hadoop基础教程-第6章 MapReduce入门(6.2 解读WordCount)

WordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析,我们可以了解MapReduce程序的基本结构和执行过程。

2022-05-06
1

Hadoop基础教程-第5章 YARN:资源调度平台(5.5 YARN的调度器)

打个比方,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(比如5.4节跑的PI和wordcount两个...

2022-05-06
1

Hadoop基础教程-第5章 YARN:资源调度平台(5.2 YARN参数解读与调优)

yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

2022-05-06
1