1.SparkContext对象读取文件内容
首先由SparkContext对象sc调用textFile()函数,然后进行collect()操作,也就是做一个reduce操作,即可显示读取的结果
2.reduce操作实例
实例1:map后,进行reduce操作
刷新Spark的Jobs页面,发现由新的jobs显示处理了。此时的Jobs不仅有collect,还有reduce了。
实例2:执行wholeTextFiles后,再进行collect操作。
此时再来刷新一下UI上的Jobs列表,发现有新的变化了。
【小结】
日拱一卒,终有所获。