参考Spark 2.3.0官方文档:
https://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#overview
Spark的两种创建方式
方式1:把程序中一个已有的集合传给SparkContext 的parallelize()方法
方式2:从外部存储中读取数据来创建RDD
【小结】
spark的官方文档可谓是言简意赅,仅仅是通过上面这两段文字,就能了解到创建RDD的两种方式,再结合代码实例在pyspark中实践一把,很快就能领会到其中的精髓了。值得注意的是,Python API的中文资料相对较少,因此需要能大致看懂英文版本API说明,毕竟英文文档才是原汁原味的知识,被翻译后的中文,都是被加工过了,有些甚至被扭曲了。
撸起袖子加油干!