Spark-Core核心RDD基础03---对照Spark官网学习

2022-05-09 23:29:57 浏览数 (1)

参考Spark 2.3.0官方文档:

https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#overview

Spark的两种创建方式

方式1:把程序中一个已有的集合传给SparkContext 的parallelize()方法

创建RDD的第1种方式创建RDD的第1种方式

方式2:从外部存储中读取数据来创建RDD

创建RDD的第2种方式创建RDD的第2种方式

【小结】

spark的官方文档可谓是言简意赅,仅仅是通过上面这两段文字,就能了解到创建RDD的两种方式,再结合代码实例在pyspark中实践一把,很快就能领会到其中的精髓了。值得注意的是,Python API的中文资料相对较少,因此需要能大致看懂英文版本API说明,毕竟英文文档才是原汁原味的知识,被翻译后的中文,都是被加工过了,有些甚至被扭曲了。

撸起袖子加油干!

0 人点赞