最新 最热

Redux + Hooks 工程实践

“都 1202 年了怎么还有人在用 Redux”——这大概不少人看到这篇文章的第一反应。首先先表明一下,这篇文章并不讨论是不是应该使用 Redux,这是一个比较大的话题,应该单独水一篇。而且社区已经存在许许多多的讨论了,你总能...

2021-09-22
1

Hive 中的排序和开窗函数

排序操作是一个比较常见的操作,尤其是在数据分析的时候,我们往往需要对数据进行排序,hive 中和排序相关的有四个关键字,今天我们就看一下,它们都是什么作用。...

2021-09-18
0

【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇

2021年初的时候,关于Hadoop要退休淘汰的PR文章甚嚣尘上。其中MapReduce思想最为人所诟病,因为其并不友好的写代码方式,高昂的维护成本以及较差的运行效率。...

2021-09-18
1

Hive文件存储格式和Hive数据压缩小总结

HiveQL语句最终都将转换成为hadoop中的MapReduce job,而MapReduce job可以有对处理的数据进行压缩。

2021-09-18
0

Hadoop Streaming:用 Python 编写 Hadoop MapReduce 程序

随着数字媒体、物联网等发展的出现,每天产生的数字数据量呈指数级增长。这种情况给创建下一代工具和技术来存储和操作这些数据带来了挑战。这就是 Hadoop Streaming 的用武之地!下面给出的图表描绘了从 2013 年起全球每...

2021-09-17
0

腾讯云大数据技术介绍-数据查询弹性 MapReduce

上一节我们讲到了大数据的存储 : https://cloud.tencent.com/developer/article/1878422

2021-09-16
0

三大组件HDFS、MapReduce、Yarn框架结构的深入解析式地详细学习【建议收藏!】

我们知道目前Hadoop主要包括有三大组件,分别是:分布存储框架(HDFS)、分布式计算框架(MapReduce)、以及负责计算资源调度管理的平台(Yarn),那么今天我们就来解析式的深入学习了解这三大组件。...

2021-09-16
1

居然还有很多人不会用?超强的Stream流操作了解一下

大家好,我是楠哥,今天给大家分享一下 Java 中的 Stream 流,关于这个技术点其实大家可能或多或少都了解过一些,毕竟你肯定背过面经,JDK 新特性你应该了解过。...

2021-09-16
0

shell字符串处理实例

变量string="Bigdata process framework is Hadoop,Hadoop is an open source project"

2021-09-15
0

函数式编程计算微分

在上一篇提到的map函数的调用方式:map(function, iterable, ...)。可以看到,参数列表中就有函数。filter,reduce等函数与之类似,其参数列表中也有函数。

2021-09-15
0