最新 最热

CentOS 6.2及最新操作系统部署Hadoop的注意事项

最近新采购的一批机器,由于intel cpu体系架构的改变,新机器的系统需要升级,选择了CentOS 6.2系统。

2022-07-01
0

Hadoop之MapReduce程序分析

摘要:Hadoop之MapReduce程序包括三个部分:Mapper,Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。 关键词:MapReduce  Mapper  Reducer  作业执行 MapReduce程序包括三个部分,分别是Mapper,Reducer和作业...

2022-07-01
0

Hadoop lzo的使用方法

前面的文章介绍了Hadoop lzo的安装和配置(见 http://www.linuxidc.com/Linux/2014-05/101090.htm ),本文接着介绍lzo压缩在hadoop应用程序中的使用方法,包括在mapreduce程序,streaming程序和hive中的使用。 1 给lzo文件建...

2022-07-01
0

4种常用压缩格式在Hadoop中的应用

目前在Hadoop中用得比较多的有lzo,gzip,snappy,bzip2这4种压缩格式,笔者根据实践经验介绍一下这4种压缩格式的优缺点和应用场景,以便大家在实践中根据实际情况选择不同的压缩格式。...

2022-07-01
0

Eclipse中配置Hadoop开发环境

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

2022-06-30
0

Hadoop-2.2.0中文文档——Apache Hadoop 2.2.0 概览

学习Hadoop也有一段时间了。起先从Hadoop-1.2.1开始,略会写点MapReduce,还是想要跟上Hadoop发展的步伐,虽说现在官方已经发布2.4.0版本了,但是稳定版还是2.2.0。在机器上跑了一下,发现2.x比起1.x,变化还是很大的,更加模块化...

2022-06-30
1

Hadoop的host配置

其中,hadoop1是master机器,hadoop2和hadoop3是两台slave机器。

2022-06-30
0

Hadoop 处理不同的输入文件,文件关联

2、将file1的key、value颠倒 ;file1和file2的key相同,file1的value做key,file2的value做value ,输出。

2022-06-30
0

Hadoop JobTracker和TaskTracker

mapreduce中几个主要概念,mapreduce整体上可以分为这么几条执行线索:

2022-06-30
0

java8 手把手教你学会写lambda表达式

项目github地址:bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star,留言,一起学习进步

2022-06-30
1