Pyspark学习笔记(一)---序言及目录

2021-05-10 11:08:35 浏览数 (1)

Pyspark学习笔记(一)---序言及目录

自己学习Pyspark时所记录笔记,以便日后回忆

Ⅰ.学习spark时的一些 官方API和参考文档:

############################## Spark SQL Guide############################

Spark SQL 简单教程:Spark SQL Guide

######################### Spark Python API and Docs ########################

Spark Python API Docs

pyspark package

pyspark.sql module

pyspark.ml package

pyspark.streaming module

pyspark.mllib package

pyspark.resource module

############################## Github code ################################

***github源码:https://github.com/apache/spark/tree/master/python

***github examples: https://github.com/apache/spark/tree/master/examples/src/main/python

########################################################################

Ⅱ.目录

Pyspark学习笔记(二)--- spark-submit命令

Pyspark学习笔记(三)--- SparkContext 与 SparkSession

Pyspark学习笔记(四)---弹性分布式数据集 RDD [Resilient Distribute Data](上)

Pyspark学习笔记(四)---弹性分布式数据集 RDD [Resilient Distribute Data](下)

,

0 人点赞