最新 最热

你有想过,如何用Hadoop实现【倒排索引】?

后者的形式提供了更多的兼容性(比如短语搜索),但是需要更多的时间和空间来创建。

2021-01-27
0

快速入门Flink (5) ——DataSet必知必会的16种Transformation操作(超详细!建议收藏!)

写在前面: 博主是一名大数据的初学者,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水...

2021-01-27
1

关于Spark的面试题,你应该知道这些!

之前分享过一篇博客,?不会这20个Spark热门技术点,你敢出去面试大数据吗?,那一篇确实是非常精华,提炼出了非常重要同样非常高频的Spark技术点,也算是收到了一些朋友们的好评。本篇博客,博主打算再...

2021-01-27
0

大数据实战【千亿级数仓】项目总结

写在前面: 博主是一名软件工程系大数据应用开发专业大二的学生,昵称来源于《爱丽丝梦游仙境》中的Alice和自己的昵称。作为一名互联网小白,写博客一方面是为了记录自己的学习历程,一方面是希望能够帮助到很多和自己一样处...

2021-01-27
0

Yarn快速入门系列(3)——你所不清楚的Yarn调度器Scheduler详细解说

理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler...

2021-01-27
1

如何在IDEA上编写Spark程序?(本地+集群+java三种模式书写代码)

本篇博客,Alice为大家带来关于如何在IDEA上编写Spark程序的教程。

2021-01-27
1

带你深入浅出,彻底了解什么是Spark?

大数据专业,或者人工智能,深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系,今天Alice为大家带来关于Spark的一个详细介绍。

2021-01-27
0

【大数据哔哔集20210108】Spark Shuffle 和 Hadoop Shuffle有什么异同?

Shuffle的本意是洗牌、混洗的意思,把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中,Shuffle更像是洗牌的逆过程,指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据,以便reduce端接收处理。...

2021-01-26
0

【大数据哔哔集20210107】聊聊MapReduce中的排序/二次排序/辅助排序

【大数据哔哔集】是小编发起的每日大数据圈子了最高频、时尚、前沿的面试题目以及资讯等,欢迎您关注。

2021-01-26
0

scala快速入门系列【函数式编程】

本篇作为scala快速入门系列的第十六篇博客,为大家带来的是关于函数式编程的相关内容。

2021-01-26
1