环境：win 10 + java 1.8.0_281 + Scala 2.11.11 + Hadoop 2.7.7 + Spark2.4.7

spark 遇到 RDD action 时才会真正的开始执行，遇到转换的时候，只是记录下来，并不真正执行

Spark Streaming 巧妙地利用了 Spark 的分片和快速计算的特性，将实时传输进来的数据按照时间进行分段，把一段时间传输进来的数据合并在一起，当作一批数据，再去交给 Spark 去处理。...

这三个特性使得 Spark 相对 Hadoop MapReduce 可以有更快的执行速度，以及更简单的编程实现

Spark 拥有更快的执行速度 更友好的编程接口 迅速抢占 MapReduce 的市场份额，成为主流的大数据计算框架

按照前文所述，本篇开始Pandas和Spark常用数据处理方法对比系列。数据处理的第一个环节当然是数据读取，所以本文就围绕两个框架常用的数据读取方法做以介绍和对比。...

自从事数据科学行业以来，便每天在与各种数据处理打交道，当然这里的数据处理是多方面的：既有数据采集和读写，也有数据清洗与变换，当然还有数据分析和挖掘。从主用工具的角度来看，大体上经历了这4重境界：Excel->MySQL->Pandas-...

年前，个人换了大数据岗位，目前主要从事大数据分析和大数据算法相关工作。在前期数据分析师岗位的基础上，虽然只是增加了一个"大"字作为前缀，但所涉及的技术栈和工作理念其实还是有很大变化的，其中打交道最为频繁的当从一个...

如果说Hive是离线数仓的代表，那么Greenplum就是MPP数据库的代表。在离线数仓的年代，以Hive为核心的数据仓库席卷数据仓库市场，几乎成为了离线数仓的代名词。但是Hive的查询能力非常弱，通常需要其它计算引擎辅助才能完成OL...

Spark 官方推荐，Task 数量应该设置为 Spark 作业总 CPU core 数量的 2~3 倍。