操作环境：python3.5
两种方式：①读取外部数据集② 在驱动器程序中对一个集合进行并行化 RDD可以从普通数组创建出来，也可以从文件系统或者HDFS中的文件创建出来。
代码语言：javascript复制from pyspark import SparkContext
from pyspark import SparkContext as sc
from pyspark import SparkConf
import os
os.environ["PYSPARK_PYTHON"]="D:office3python\anaconda3.5\3.5envspython35\python"
##任何Spark程序都是SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf包含了Spark集群配置的各种参数(比如主节点的URL)。初始化后，就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。Spark shell会自动初始化一个SparkContext(在Scala和Python下可以，但不支持Java)。
#getOrCreate表明可以视情况新建session或利用已有的session
conf=SparkConf().setAppName("miniProject").setMaster("local[*]")
sc=SparkContext.getOrCreate(conf)
#（a）利用list创建一个RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame转成Spark RDD。
rdd = sc.parallelize([1,2,3,4,5])print(rdd)
#查看list被分成了几部分
print(rdd.getNumPartitions())
#查看分区的状态
print(rdd.glom().collect())ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480 3 [[1], [2, 3], [4, 5]]
下面不指定分区，执行语句
代码语言：javascript复制rdd = sc.parallelize([1,2,3,4,5])
print(rdd)
print(rdd.getNumPartitions())
print(rdd.glom().collect())ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480 8 [[], [1], [], [2], [3], [], [4], [5]]
电脑是配置，逻辑8核。多次执行结果一样。可以看出创建了8 个executor。
