最新 最热

cloud笔记4.HDFS

HDFS会自动根据距离选取最近的数据源。距离从近到远:同一机器 < 同一机架 < 同一数据中心 < 不同数据中心

2022-07-06
0

业内首本!个推《大数据降本提效实战手册》免费领取

近日,个推重磅发布业内首本《大数据降本提效实战手册》,手册集技术解析、应用实践于一体,深度剖析了七大经典存算场景实践,是一本不容错过的大数据降本提效武功秘籍!...

2022-07-06
1

编hadoop-1.X源代码

满足需要在不久的将来windows调试Linux下一个hadoop问题,Linux检查时需要的文件权限。和windows在没有必要,因此,有必要修改hadoop源代码,再次编译,过程例如以下:...

2022-07-06
0

Partitioner分区过程分析

Partition中国人意味着分区,意义的碎片,这个阶段也是整个MapReduce该过程的第三阶段。在Map返回任务,是使key分到通过一定的分区算法。分到固定的区域中。给不同的Reduce做处理,达到负载均衡的目的。...

2022-07-06
0

hadoop2.0的datanode数据存储文件夹策略的多个副本

首先是要遵循hadoop1.0磁盘文件夹投票,实现类:RoundRobinVolumeChoosingPolicy.java

2022-07-06
0

分散式-ubuntu12.04安装hadoop1.2.1

在hadoop1.2.1被预装在一份报告中安装说明java。我装了很多的版本号java以及许多的版本号hadoop,然后发现oracle-java7与hadoop1.2.1能够匹配。

2022-07-06
0

漫画:什么是MapReduce?

MapReduce是一种编程模型,其理论来自Google公司发表的三篇论文(MapReduce,BigTable,GFS)之一,主要应用于海量数据的并行计算。

2022-07-05
1

漫画:什么是数据仓库?

在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵......他们有着不同的信仰,不同的文化,彼此相安无事。可是,有一个猥琐男却偏偏想要统治整个世界。...

2022-07-05
1

手把手教你轻松构建大数据学习环境!

前置条件:需准备一台Linux or Mac OS 机器, 并且安装好了Docker 应用

2022-07-05
1

storm单机版部署

storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop而之前部署的hbase、hive、spark等都或多或少的依赖hadoop这里简单记录一下storm的部署过程需要下载包:...

2022-07-05
0