Spark是一个分布式计算系统/组件/平台，这是都知道的，其用Scala实现Spark任务也是最原生的，但万万不能认为只要是在Spark环境下执行的Scala代码都是分布式执行的，这是大错特错的，一开始一直有错误的认识，但现在想想，如果拿Jav...

这个错误出现过若干次了，每次出现都想记录一下可是都忘了，然后下一次再遇见就又要搞很久才能解决，其实这本身是IntelliJ IDEA 2017.2的一个bug，只要修改一处配置就好了。...

背景是这样的：手上有一个学长之前实现的Spark项目，使用到了GraphX，并且用的Scala编写，现在需要再次运行这个项目，但如果直接在IDEA中打开项目，则由于各种错误会导致运行失败，这里就记录一下该如何使用IDEA来加载老旧的Spark...

通常使用parallelize()函数可以创建一个简单的RDD，测试用（为了方便观察结果）。

添加针对scala文件的编译插件------------------------------<?xml version="1.0" encoding="UTF-8"?><project xml

例如：调用 def Add(y:Int) = x + y其结果为xy之和，并且调用之后没有引起x值的变换，没有副作用所以，Add函数没有副作用

http://spark.apache.org/docs/latest/index.html

Traversable 遍历Iterable 迭代Set无序集合 Sequence序列 Map映射

2009 RAD实验室，引入内存存储2010 开源2011 AMP实验室，Spark Streaming2013 Apache顶级项目

该文介绍了社交网络分析中的Community Detection算法，包括传统的模块度最大化方法、基于线性代数的模块化方法、以及基于优化问题的bigClam方法。这些方法可以用于分析社交网络中的社区结构，帮助理解网络中人们的社交关...