RDD(Resilient Distributed Datasets)，弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创...
客户那边通过一个“时间范围筛选”控件来动态修改图表的数据。其很多指标的计算逻辑类似于：
Apache负载均衡配置详解，首先需要配置apache的反向代理，可以参考文章： apache反向代理配置
1、什么是宽依赖，什么是窄依赖？哪些算子是宽依赖，哪些是窄依赖？ 窄依赖就是一个父RDD分区对应一个子RDD分区，如map，filter 或者多个父RDD分区对应一个子RDD分区，如co-partioned join...
市场的变幻，政策的完善，技术的革新……种种因素让我们面对太多的挑战，这仍需我们不断探索、克服。
为了给各个业务出报表，我们每天会处理几百亿条原始日志。例行任务用MR/Spark程序编写，为了保证各业务线在上班前正常看到数据，对例行任务的稳定性提出了要求。由于我们会依赖很多中间层数据，集群偶尔异常、数据存在倾斜等...
”简单就是美”，这句谚语在软件领域也是非常适用的。比如MapReduce框架，采用分而治之的思想，最原始的数据由各个map处理，reduce将map的结果汇合，这么简单的框架就解决了很多大数据的问题，待Apache将其开源后，引领了大数据开...
这两个转换都有shuffle过程发生，且都类似map reduce，但是reduceByKey会在map阶段会对相同的key进行聚合，极大的减少了map产生的数据量，进而减少了shuffle的数据量，提高了程序的执行效率...
凡是cluster模式启动的作业，日志都没有打印在本地。因为main()直接在driver上运行
yarn cluster模式：spark driver和application master在同一个节点上 yarn client模式：spark driver和client在同一个节点上，支持shell
