最新 最热

Hadoop之MapReduce程序分析

摘要:Hadoop之MapReduce程序包括三个部分:Mapper,Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。 关键词:MapReduce  Mapper  Reducer  作业执行 MapReduce程序包括三个部分,分别是Mapper,Reducer和作业...

2022-07-01
1

Hadoop webHDFS设置和使用说明

namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true,否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件、文件夹状态的命令,因为这些信息都是由namenode来保存的。...

2022-07-01
0

Ubuntu 12.04 安装使用DHCP Server

在创建HDFS集群的时候,深感/etc/hosts中添加配置的不方便,容易不一致导致错误,工作量也大。

2022-07-01
0

Hadoop2.4.0 Eclipse插件制作

跌跌撞撞两天装Hadoop2.4.0的环境,今天终于可以尝试写点程序了,想了一想,不得其法,但有一点是肯定的,那就是需要用eclipse,查了一上午的资料,怎么讲的都有,最后锁定了这个帖子,hadoop2x-eclipse-plugin。想用Github下载,但是最...

2022-07-01
1

如何确认分布式Hadoop1.2.1集群环境是否运转正常

Hadoop学习环境搭建好后,就要测试环境是否OK了,测试的方法很简单,只需要自己用hadoop自带的example jar进行测试一把即可,具体的测试方法如下:

2022-07-01
0

分布式Hadoop1.2.1集群的安装

安装其实很简单,把下载下来的Hadoop文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好JDK,前期的Linux要配置好。

2022-07-01
0

Hadoop hdfs文件系统文件已存在 解决办法

Hadoop 伪分布式环境时运行wordcount程序,已经运行过一次,在次将input文件夹中的内容上传hafs文件系统时会出现重复,但是还是可以上传成功。

2022-07-01
1

开源领域的个人崇拜正在消失

本文作者Matt Asay是MongoDB公司企业开发战略部副总裁,有过超10年的开源项目经验。

2022-07-01
0

Hadoop家族的各个成员

hadoop这个词已经流行好多年了,一提到大数据就会想到hadoop,那么hadoop的作用是什么呢?

2022-07-01
1

Hadoop剖析之HDFS

Hadoop的分布式文件系统(HDFS)是Hadoop的很重要的一部分,本文先简单介绍HDFS的几个特点,然后再分析背后的原理,即怎样实现这种特点的。

2022-07-01
0