最新 最热

Hadoop伪分布式安装【翻译自Hadoop1.1.2官方文档】

1.Hadoop支持的平台:GNU/Linux平台是一个开发和生产的平台. hadoop已经被证明可以在GNU/Linux平台不是2000多个节点。win32是一个开发平台,分布式操作还没有在win32系统上很好的测试, 所以它不被作为生产环境。2.安装hdo...

2022-07-03
0

Hadoop cdh4.6.0编译方法

最近因为要改Hadoop的一些代码,需要重新编译,测试环境是用cdh4.6.0做debug,简单记录下hadoop的编译方法:

2022-07-03
0

Oozie4.0.1详细安装教程

1、编译oozie    环境条件:Unix box (tested on Mac OS X and Linux)Java JDK 1.6+Maven 3.0.1+Hadoop 0.20.2+Pig 0.7+

2022-07-03
0

Hadoop分区与分组

Hadoop权威指南(中文版-带目录索引)PDF 下载见 http://www.linuxidc.com/Linux/2013-05/84948.htm

2022-07-03
1

Hadoop2.5.2 新特性

今天看了下Hadoop官网,2.5.2版本已经发布好几天了。赶紧看看有什么新东西。

2022-07-03
1

Maven编译hadoop-2.2.0-src

Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)Maven home: /opt/mavenJava version: 1.7.0_45, vendor: Oracle Corporatio...

2022-07-03
1

在Ubuntu下使用Eclispe连接Hadoop时拒绝链接解决方案总结

在Ubuntu下用eclipse连接集群查看文件信息提示9000端口拒绝连接的错误Cannot connect to the Map/Reduce location: Hadoop1.0.3

2022-07-03
1

HDFS 上传文件不均衡和Balancer太慢的问题

向HDFS上传文件,如果是从某个datanode开始上传文件,会导致上传的数据优先写满当前datanode的磁盘,这对于运行分布式程序是非常不利的。

2022-07-03
0

Hadoop环境搭建与测试

CentOS安装和配置Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

2022-07-03
1

Hadoop-2.4.1学习之如何确定Mapper数量

MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务,那如何确定mapper和reducer的数量呢,或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢?在《Hadoop-2.4.1学习之Mapper和Reducer》中曾...

2022-07-03
1