最新 最热

Hadoop2伪分布模式安装

参照Apache的官方文档,Hadoop2还是蛮好搭建的,但是搭建好后,MapReduce的JobHistory页面却没法进去,这是因为JobHistory没有配置正确或者服务没有启动起来。本文将梳理伪分布模式的搭建过程,并给出配置文档,让你不再为搭建这...

2022-09-29
1

Hadoop状态转移图生成

Hadoop也大量采用了这种方法,如MapReduce的状态转移,NM和RM中资源、任务的管理.

2022-09-29
1

Hadoop集群优化

A port number of 0 instructs the server to start on a free port, but this is generally discouraged because it is incompatible with setting cluster-wide firewall...

2022-09-29
1

Why Hadoop2

自从Hadoop2出现之后,其迅速取代了Hadoop1的地位,并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话,往往直接采用Hadoop2了。

2022-09-29
1

MRv1到MRv2

引入YARN作为通用资源调度平台后,Hadoop得以支持多种计算框架,如MapReduce、Spark、Storm等。MRv1是Hadoop1中的MapReduce,MRv2是Hadoop2中的MapReduce。下面是MRv1和MRv2之间的一些基本变化:...

2022-09-29
1

HDFS HA架构以及源码引导

HDFS master/slave架构,HDFS节点分为NameNode节点和DataNode节点。NameNode存有HDFS的元数据:主要由FSImage和EditLog组成。FSImage保存有文件的目录、分块ID、文件权限等,EditLog保存有对HDFS的操作记录。DataNode存放...

2022-09-29
1

hadoop安装

修改workers 文件,替换localhost为当前主机节点名称,指定DataNode和NodeManager的数据节点

2022-09-29
1

Kafka的使用场景u002F基本概念u002F初体验

创建一个名字为“test”的Topic,这个topic只有一个partition,并且备份因子也设置为1。当producer发布一个消息到某个指定的Topic,这个Topic如果不存在,就自动创建。...

2022-09-29
1

SSH远程连接服务安装与介绍

SSH( Secure Shell ,安全外壳协议 )命令是openssh套件中的客户端连接工具,采用了非对称加密算法aymmetric encryption algorithm实现安全的远程登录服务器;

2022-09-28
1

快手一面:讲一讲 Hadoop、Hive、Spark 之间的关系?

给 互联网、物联网、互联网+ 各个行业的高速发展创造了非常好的有利条件,同时也产生了海量数据。

2022-09-28
1