最新 最热

使用expect命令实现远程管理集群和一键安装Hadoop集群

expect命令通过预测远程终端将要显示的提示字符串,自动输入密码或其他用户指定的字符串,实现自动化安装。有关expect命令的使用方法请见:

2022-06-29
1

编译Hadoop 1.2.1 Hadoop-eclipse-plugin插件

个人理解,ant的初衷是打造一个本地化工具,而编译hadoop插件的资源间的依赖超出了这一目标。导致我们在使用ant编译的时候需要手工去修改配置。那么自然少不了设置环境变量、设置classpath、添加依赖、设置主函数、javac...

2022-06-29
1

【HDFS】Hadoop的机架感知策略是啥?

了解Hadoop的或多或少都听说过机架感知策略,无论是balancer还是jobtracker分配作业,数据副本放置策略都会用到机架感知。那什么叫机架感知?

2022-06-29
1

Hadoop2.2 Ubuntu64位 编译

Hadoop2.2作为release不支持Linux的64位版本,需要自己手工编译。下面是我自己的安装过程:

2022-06-29
1

Hadoop 2.0集群配置详细教程[虚拟机下配置成功]

物理机器总共4台,想配置基于物理机的Hadoop集群中包括4个节点: 1 个 Master, 3个 Salve ,

2022-06-29
1

HBase0.96伪分布模式安装

今天尝试了一下HBase和Hadoop的集成。我的环境为hadoop2.2.0+hbase-0.96.1.1-hadoop2,均为伪分布模式。

2022-06-29
1

CentOS分布式环境安装HBase-0.96.0

在你指定的dataDir目录下新建一个文件myid,在里面添加你指定的server编号。例如,你为hostname名为master的指定了如下配置

2022-06-29
1

Nutch2.1分布式抓取

在这篇的基础上http://www.linuxidc.com/Linux/2014-01/95796.htm。

2022-06-29
1

Hadoop中的文件操作 FileSystem

本地文件(linux)的路径要写为 file:///开头的,然后加上实际文件路径。例如:file:///home/myHadoop/test

2022-06-29
1

Hadoop环境搭建之环境变量配置

vim /etc/sudoers  :编辑文件  在 root ...下一行加入: xxx(自己建的用户名)    ALL=(ALL:ALL)  ALL

2022-06-29
1