Spark-Core核心RDD基础02

2022-05-06 14:52:06 浏览数 (1)

1.SparkContext对象读取文件内容

首先由SparkContext对象sc调用textFile()函数,然后进行collect()操作,也就是做一个reduce操作,即可显示读取的结果

sc读取文件sc读取文件

2.reduce操作实例

实例1:map后,进行reduce操作

reduce操作reduce操作

刷新Spark的Jobs页面,发现由新的jobs显示处理了。此时的Jobs不仅有collect,还有reduce了。

Jobs列表Jobs列表

实例2:执行wholeTextFiles后,再进行collect操作。

wholeTextFiles操作wholeTextFiles操作

此时再来刷新一下UI上的Jobs列表,发现有新的变化了。

Jobs列表Jobs列表

【小结】

日拱一卒,终有所获。

0 人点赞