数据分析的本质是为了解决问题，以逻辑梳理为主，分析人员会将大部分精力集中在问题拆解、思路透视上面，技术上的消耗总希望越少越好，而且分析的过程往往存在比较频繁的沟通交互，几乎没有时间百度技术细节。...

从大数据开发的工作内容来看大数据开发主要负责大数据的大数据挖掘，数据清洗的发展，数据建模工作。

这样的自我介绍还不如前段时间流行的一句话：“我叫xx,我喜欢唱跳、rap、篮球。”起码你还让面试官知道了你的特长。

Spark 产生之前，已经有MapReduce这类非常成熟的计算系统存在了，并提供了高层次的API(map/reduce)，把计算运行在集群中并提供容错能力，从而实现分布式计算。...

在划分stage时，最后一个stage称为FinalStage，它本质上是一个ResultStage对象，前面的所有stage被称为ShuffleMapStage。

在对RDD进行算子时，要避免相同的算子和计算逻辑之下对RDD进行重复的计算，如下图所示：

作者：Kent_Yao链接：https://www.jianshu.com/p/72ffaa10220

==结论==：普通集合的sortBy就没有**false**参数，也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办？

知乎 ｜ https://zhuanlan.zhihu.com/p/357361005

**导读**> 作者：杨漆 > 16年关系型数据库管理，从oracle 9i 、10g、11g、12c到Mysql5.5、5.6、5.7、8.0 到TiDB获得3个OCP、2个OCM；运维路上不平坦，跌过不少坑、熬过许多夜。把工作笔记整理出来分享给大伙儿，希望帮到大家少...