以下示例代码是用Scala写的,不过本文所讲的话题并不仅限于Scala,任何有Future/Promise支持的语言都是适用的。
对于分布式系统来说,网络是最基本的一环,其设计的好坏直接影响到整个分布式系统的稳定性及可用性。为此,Spark专门独立出基础网络模块spark-network,为上层RPC、Shuffle数据传输、RDD Block同步以及资源文件传输等提供可...
毕业自剑桥大学,且拥有数学与计算机专业双学位的新加坡总理李显龙,曾经在 2015 年的某次公开演讲提到过,自己在几年前用 C++ 写过一个数独求解器。...
很期待用纯sql的形式来处理流式数据,flink 1.10推出了生产可用的 Hive 集成,拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~
最近一直在跟进flink_sql,为以后做更深入的了解做准备,这篇主要记录一下运行sql_client源码的过程~~
之前debug spark源码,是通过写application debug,这个不是基于spark源码本身的调试。
近日常有同学来问我如何阅读代码,关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量,正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 Akka 的 RPC 实现和 Actor Model 的通信模...
companion object 的出现是为了解决 Java static 方法的反面向对象(Anti-OOP)的问题。static 方法无法声明为接口,无法被重写——用更学术的话来说,static 方法没有面向对象的消息传递和延迟绑定特性[参考]。而 Scala 为...
Scala下载地址:https://www.scala-lang.org/download/
最近有点空,看了下Scala,这门新兴的编程语言,据说大有取代Java之势。它集面向对象和函数式编程于一体,而Java8的最大新特性就是引入了函数式编程。TIOBE编程语言社区发布了6月排行榜,Java以20.794%的份额毫无悬念继续荣登...