最新 最热

Spark之【数据读取与保存】详细说明

Spark的数据读取及数据保存可以从两个维度来作区分:文件格式以及文件系统。文件格式分为:Text文件、Json文件、Csv文件、Sequence文件以及Object文件;文件系统分为:本地文件系统、HDFS、HBASE以及数据库。...

2021-01-27
1

Spark之【键值对RDD数据分区器】介绍及使用说明

本篇博客,博主为大家介绍的是关于Spark中数据分区器的一些概念及使用讲解。

2021-01-27
0

Spark之【RDD编程】详细讲解(No6)——《RDD缓存与CheckPoint》

本篇博客是Spark之【RDD编程】系列第六篇,为大家介绍的是RDD缓存与CheckPoint。

2021-01-27
0

Spark之【RDD编程】详细讲解(No5)——《RDD依赖关系》

本篇博客是Spark之【RDD编程】系列第五篇,为大家介绍的是RDD依赖关系。

2021-01-27
1

Spark之【RDD编程】详细讲解(No4)——《RDD中的函数传递》

本篇博客是Spark之【RDD编程】系列第四篇,为大家带来的是RDD中的函数传递的内容。

2021-01-27
0

Spark之【RDD编程】详细讲解(No3)——《Action行动算子》

本篇博客是Spark之【RDD编程】系列第三篇,为大家带来的是Action的内容。

2021-01-27
0

Spark之【RDD编程】详细讲解(No1)——《编程模型的理解与RDD的创建》

上一篇博客《什么是RDD?带你快速了解Spark中RDD的概念!》为大家带来了RDD的概述之后。本篇博客,博主将继续前进,为大家带来RDD编程系列。 该系列第一篇,为大家带来的是编程模...

2021-01-27
0

什么是RDD?带你快速了解Spark中RDD的概念!

看了前面的几篇Spark博客,相信大家对于Spark的基本概念以及不同模式下的环境部署问题已经搞明白了。但其中,我们曾提到过Spark程序的核心,也就是弹性分布式数据集(RDD)。但到底什么是RDD,它是做什么用的呢?本篇博客,我们就...

2021-01-27
1

教你如何轻松配置Spark的历史日志服务器JobHistoryServer?

默认情况下,Spark程序运行完毕关闭窗口之后,就无法再查看运行记录的Web UI(4040)了,但通过 HistoryServer 可以提供一个服务, 通过读取日志文件, 使得我们可以在程序运行结束后, 依然能够查看运行过程。本篇博客,博主就为...

2021-01-27
0

如何在IDEA上编写Spark程序?(本地+集群+java三种模式书写代码)

本篇博客,Alice为大家带来关于如何在IDEA上编写Spark程序的教程。

2021-01-27
1