最新 最热

虚拟机下Linux系统Hadoop单机/伪分布式配置:Hadoop2.5.2+Ubuntu14.04

系统: Ubuntu 14.04 64bitHadoop版本: Hadoop 2.5.2 (stable)JDK版本: JDK 1.6虚拟机及Ubuntu安装1. 下载并安装 VMware w

2022-07-04
1

Hadoop本地模式配置

我使用的是VMware虚拟机,Ubuntu14.04 LTS,64位,已经安装Java,如果不知道如何配置网上有很多教程,不再赘述,我安装的是1.6.0_30版本。建议不要安装太高版本,我原来安装了1.8版本的,尝试配置Hadoop-2.6,死活都不成功,最后改成1.7...

2022-07-04
1

Hadoop集群日常运维

namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。

2022-07-04
1

Hadoop集群中的日志文件

Hadoop存在多种日志文件,其中master上的日志文件记录全面信息,包括slave上的jobtracker与datanode也会将错误信息写到master中。而slave中的日志主要记录完成的task任务信息。...

2022-07-04
1

使用Ganglia监控Hadoop及HBase集群

Ganglia 是 UC Berkeley 发起的一个开源监视项目,设计用于测量数以千计的节点。每台计算机都运行一个收集和发送度量数据(如处理器速度、内存使用量等)的名为 gmond 的守护进程。它将从操作系统和指定主机中收集。接收所...

2022-07-04
1

64位Ubuntu下重新编译Hadoop2.2.0步骤

Hadoop官方网站中只提供了32位的Hadoop-2.2.0.tar.gz,如果要在64位Ubuntu下部署Hadoop-2.2.0,就需要重新编译源码包,生成64位的部署包。

2022-07-04
1

Apache Pig如何与Apache Lucene集成

Pig最早是雅虎公司的一个基于Hadoop的并行处理架构,后来Yahoo将Pig捐献给Apache(一个开源软件的基金组织)的一个项目,由Apache来负责维护,Pig是一个基于 Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言...

2022-07-04
1

修改HDFS文件块大小

1 通过Hadoop自带的WEB监控管理界面我们可以看到文件块的大小现在为64MB。

2022-07-04
1

怎样控制namenode检查点的发生频率

secondarynamenode节点定期访问namenode来进行镜像文件和编辑日志的备份,那么这个频率怎样修改呢?

2022-07-04
1

基于Hadoop0.20.2版本的namenode与secondarynamenode分离实验

我们在Hadoop配置集群时,经常将namenode与secondarynamenode存放在一个节点上,其实这是非常危险的,如果此节点崩溃的话,则整个集群不可恢复。下面介绍一下将namenode与secondarynamenode分离的方法。当然还存在好多不足和...

2022-07-04
1