最新 最热

spark集群环境搭建

安装环境:CentOS-7.0.1708安装方式:源码安装软件:jdk-6u45-linux-x64.bin下载地址:http://www.Oracle.com/technetwork/Java/javase/downloads/java-archive-downloads-javase6-419409.html...

2022-08-08
1

hdfs的八大安全和可靠策略总结和设计基础与目标[通俗易懂]

hdfs 全称:Hadoop Distributed File System Hadoop分布式文件系统

2022-08-05
0

hadoop namenode热备切换过程和secondarynamenode的作用

hadoop集群中一般有两个namenode,一个处于active激活状态,另一个处于StandBy状态,Active状态的NameNode负责集群中所有的客户端操作,这么设置的目的,其实HDFS底层的机制是有关系的,同一时刻一个文件,只允许一个写入方占用,如...

2022-08-05
1

hadoop怎么分割写入的文件为多个块的,一个map对应一个split分片吗?split与block的关系

1,在介绍hadoop写文件的时候我们经常会说首先分割文件为多个块;那么是怎么分割的呢?

2022-08-05
1

第十一章 :日志采集工具flume使用

先我们来看一张图,如下所示,最上方代表三台设备,当然可以是更多的设备,每台设备运行过程都会产生一些log,这些log是我们需要的信息,我们不可能手动的一台一台的去收集这些log,那样的话太浪费人力了,这就需要一个自动化的采集...

2022-08-05
1

第八章:sqoop数据迁移工具

sqoop是专门用来迁移数据的,它可以把数据库中的数据迁移到HDFS文件系统,当然也可以从HDFS文件系统导回到数据库。

2022-08-05
0

java.net.ConnectException: Call From ubuntu/192.168.72.131 to localhost:9000 failed on connection ex

ERROR tool.ImportTool: Encountered IOException running import job: java.net.ConnectException: Call From ubuntu/192.168.72.131 to localhost:9000 failed on connec...

2022-08-05
1

第七章 :Hadoop+Zookeeper 3节点高可用集群搭建和原理解释[通俗易懂]

先说一下Zookeeper在Hadoop集群的作用,以前我们学习Hadoop伪分布式的时候没有用到Zookeeper是因为伪分布式只有一个NameNode,没有Active和Standby状态的两个NameNode之说,因此根本就不需要Zookeepr来帮我们自动切换。但...

2022-08-05
0

hadoop/journal/ns: NameNode has clusterId ‘CID-b82’ but storage has clusterId ‘CID-657

启动namenode会有这个,ubuntu: starting namenode, logging to /home/xiaoye/hadoop/logs/hadoop-xiaoye-namenode-ubuntu.out

2022-08-05
1

第六章 zookeeper 原理,安装步骤,数据同步演示

Zookeeper是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。...

2022-08-05
1