这是我的上篇博文，当时仅是做了一个实现案例（demo级别 ），没想到居然让我押中了题，还让我稳稳的及格了（这次测试试卷难度极大，考60分都能在班上排进前10） 不过我在复盘的时候，发现自己的致命弱点：写sql的能力太菜了。。...

全部数据： 链接：https://pan.baidu.com/s/1qiO9aRb7yQeuHDtH1cWklw 提取码：nwxj

好了，本篇主要为大家带来的就是菜鸡博主为大家贡献的Spark的思维导图，剩余部分图片太大博客加载不了。

问题在于spark目前使用的Jackson是2.6+，而storm-kafka-client和kafka使用的是2.9+，两者之间gradle默认使用最新的依赖2.9+，所以spark structure Streaming程序运行时报错，不兼容jackson高版本。...

Flex的一些零碎知识点，我是个flex初学者，很多知识点可能很幼稚，但是都是我学习和开发过程中遇到的问题。

在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，然而之前只是明确了spark具备读取多个文件的能力。

Library for launching Spark applications.

正常redis是没有数据库的概念的，但是当redis变成集群的时候，它是可以设置数据库的。（其实也就是开辟一块索引）

利用withColumn函数就能实现对dataframe中列的添加。但是由于withColumn这个函数中的第二个参数col必须为原有的某一列。所以默认先选择了个ID。

在实际工程中，经常会遇到要一起读取众多小文件的办法。本来正常情况下是进行文件夹的遍历。