本文主要介绍spark的基本操作，以shell端的操作为主，介绍通过pyspark在shell端操作时需要注意的一些点。

使用spark可以直接在命令行中启动spark-shell，然后在spark-shell中使用scala进行数据的处理。现在要介绍的是使用ide进行处理程序的编写。

Spark是大数据分析的利器，在工作中用到spark的地方也比较多，这篇总结是希望能将自己使用spark的一些调优经验分享出来。

当我在测试SparkStreaming的状态操作mapWithState算子时，当我们设置timeout(3s)的时候，3s过后数据还是不会过期，不对此key进行操作，等到30s左右才会清除过期的数据。...

好了，本篇主要为大家带来的就是菜鸡博主为大家贡献的Spark的思维导图，看完了是不是有种想要关注博主的冲动呢(￣▽￣)*受益的朋友或对大数据技术感兴趣的伙伴记得点赞关注支持一波(＾Ｕ＾)ノＹＯ 需要思维导图的小伙伴可以关注公众号[...

RDD是Spark编程中最基本的数据对象， 无论是最初加载的数据集，还是任何中间结果的数据集，或是最终的结果数据集，都是RDD。 在Pyspark中，RDD是由分布在各节点上的python对象组成，如列表，元组，字典等。 RDD主要是存储在内存中（亦...

__SparkContext__是spark功能的主要入口。 其代表与spark集群的连接，能够用来在集群上创建RDD、累加器、广播变量。 每个JVM里只能存在一个处于激活状态的SparkContext，在创建新的SparkContext之前必须调用stop()来关闭...

http://spark.apache.org/docs/latest/submitting-applications.html#submitting-applications,

############################## Spark SQL Guide############################

可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示：