最新 最热

【一】、搭建Hadoop环境----本地、伪分布式

1.搭建Hadoop环境需要Java的开发环境,所以需要先在LInux上安装java

2020-09-28
0

【Hadoop 分布式部署 五:分布式部署之分发、基本测试及监控】

到 /opt/app/hadoop-2.5.0 目录下  执行命令: bin/hdfs namenode -format

2020-09-28
1

hadoop中的一些概念——数据流

数据流   首先定义一些属于。MapReduce作业(job)是客户端需要执行的一个工作单元:它包括输入数据、MapReduce程序和配置信息。Hadoop将作业分成若干个小任务(task)来执行,其中包括两类任务,map任务和reduce任务。   ...

2020-09-27
0

我们为什么需要MapReduce?

我们为什么不能使用数据库来对大量磁盘上的大规模数据进行批量分析呢?我们为什么要使用MapReduce? 这些问题的答案来自磁盘的另一个发展趋势: 寻址时间的提高远远慢于传输速率的提高。寻址是将磁头移动到特定磁盘位置...

2020-09-27
1

面试问题总结--2018年6月

在与一位面试官沟通的时候, 我问了一个问题, 技术更新如此的快, 您是如何知道当前市场上流行的技术或者框架? 如何才能不断的更新自己的知识库呢? 他说, 无论你是否想要换工作, 都准备好, 每年来...

2020-09-27
0

JavaScript 中的函数式编程:函数,组合和柯里化

但是,JavaScript 并没有一直遵循一个规则,而是正好处于这两个规则的中间,它提供了普通OOP语言的一些方面,比如类、对象、继承等等。但与此同时,它还为你提供了函数编程的一些概念,比如高阶函数以及组合它们的能力。...

2020-09-25
0

Java——Stream数据流

Properties是专门存储属性信息操作的类,其为Hashtable的子类,Hashtable能保存各种类型数据,但Properties类只能进行字符串数据的保存,因为其主要用于资源文件操作的。...

2020-09-25
0

BigData--大数据技术之SparkStreaming

所有基于窗口的操作都需要两个参数,分别为窗口时长以及滑动步长,两者都必须是 StreamContext 的批次间隔的整数倍。

2020-09-24
1

BigData--MapReduce入门

MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。

2020-09-24
0

BigData--MapReduce进阶(一)之框架原理

数据切片:数据切片只是在逻辑上对输入进行分片,并不会在磁盘上将其切分成片进行存储。

2020-09-24
0