在linux下安装scala环境很简单， 如果是ubuntu环境， 那就更简单了， 直接apt-get搞定， 我就是用的ubuntu. java/scala系都需要基于jdk, 所以首先要安装jdk.

首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：

当记录方法返回值的变量被声明为lazy时，方法的执行将被推迟，直到我们首次使用该值时，方法才会执行。类似java中的延迟加载。同时lazy不能修饰var类型的变量。...

在 Scala 当中，函数是一等公民，像变量一样，既可以作为函数的参数使用，也可以将函数赋值给一个变量. ，函数的创建不用依赖于类或者对象，而在 Java 当中，函数的创建则要依赖于类、抽象类或者接口。...

ListBuffer:ListBuffer 是可变的 list 集合，可以添加，删除元素,ListBuffer 属于序

（1）zeroValue：给每一个分区中的每一个key一个初始值； （2）seqOp：函数用于在每一个分区中用初始值逐步迭代value； （3）combOp：函数用于合并每个分区中的结果。...

一、Spark SQL概述1、DataFrame 与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、...

所有基于窗口的操作都需要两个参数，分别为窗口时长以及滑动步长，两者都必须是 StreamContext 的批次间隔的整数倍。

官网：https://flink.apache.org/一、Flink的重要特点1）事件驱动型（Event-driven） 事件驱动的应用程序是一个有状态的应用程序，它从一个或多个事件流接收事件，并通过触发计算、状态更新或外部操作对传入事件作出反应。事件驱...

Spark是Apache的一个顶级项目，Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark拥有Hadoo...