文章作者：Tyan博客：noahsnail.com  |  CSDN  |  简书

本文相当硬核，主要是Mars工作中需要用到的一些东东，反正我没看懂，需要的同学,对pingCAP及其产品有兴趣的同学，拿走不谢；看不懂的同学，没事周六的文章总归是说人话的......

课件获取：关注公众号 “数栈研习社”，后台私信 “ChengYing” 获得直播课件

海量数据的存储问题很早就已经出现了，一些行业或者部门因为历史的积累，数据量也达到了一定的级别。很早以前，当一台电脑无法存储这么庞大的数据时，采用的解决方案是使用NFS(网络文件系统)将数据分开存储。但是这种方法无...

在上图中，发生箭头交叉就形成一个stage，其中与伴随这shuffle操作，并且这些算子（groupby,join）都是Action中的算子，map,union则属于Transformation中的算子。

hive 底层是mapreduce，因此也很慢，但是它可以通过sql语句做方便操作在离线处理方面可以做数据分析。

Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。

地址：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.0/

windows环境说明：Python2.7 + pipspark版本：spark-1.6.1-bin-hadoop2.6

Python的文件操作跟Java存在部分差异。由于项目需要，近期使用python进行模块开发时遇到一些常见的文件操作便上网搜罗了一番，感觉众说纷纭。因此，结合自身的使用场景，贴一段python代码供后续查阅。...