最新 最热

异步函数的两个视角

以下示例代码是用Scala写的,不过本文所讲的话题并不仅限于Scala,任何有Future/Promise支持的语言都是适用的。

2020-04-23
0

5000字详解:计算机网络在 Spark 的应用

对于分布式系统来说,网络是最基本的一环,其设计的好坏直接影响到整个分布式系统的稳定性及可用性。为此,Spark专门独立出基础网络模块spark-network,为上层RPC、Shuffle数据传输、RDD Block同步以及资源文件传输等提供可...

2020-04-22
0

新加坡总理的儿子,写了一本计算机入门书籍...

毕业自剑桥大学,且拥有数学与计算机专业双学位的新加坡总理李显龙,曾经在 2015 年的某次公开演讲提到过,自己在几年前用 C++ 写过一个数独求解器。...

2020-04-21
0

flink_sql_client 1.10 与 hive集成 读取实时数据

很期待用纯sql的形式来处理流式数据,flink 1.10推出了生产可用的 Hive 集成,拥有了更强的流式 SQL 处理能力。这次我们就来尝试一下啦~~

2020-04-18
0

Flink_sql_client1.10源码在IDEA中集成hive并运行

最近一直在跟进flink_sql,为以后做更深入的了解做准备,这篇主要记录一下运行sql_client源码的过程~~

2020-04-18
0

基于spark源码做单元测试

之前debug spark源码,是通过写application debug,这个不是基于spark源码本身的调试。

2020-04-18
0

阅读源码|Spark 与 Flink 的 RPC 实现

近日常有同学来问我如何阅读代码,关于这个问题的一般性答案我特别提了一个问题并自问自答。出于提供一个实际的例子的考量,正好此前综合地阅读 Spark 的 RPC 实现、Flink 基于 Akka 的 RPC 实现和 Actor Model 的通信模...

2020-04-15
0

11. Kotlin 类声明与伴生对象(companion)

companion object 的出现是为了解决 Java static 方法的反面向对象(Anti-OOP)的问题。static 方法无法声明为接口,无法被重写——用更学术的话来说,static 方法没有面向对象的消息传递和延迟绑定特性[参考]。而 Scala 为...

2020-04-14
0

Scala学习系列(二)——环境安装配置

Scala下载地址:https://www.scala-lang.org/download/

2020-04-14
0

Scala开发环境搭建

最近有点空,看了下Scala,这门新兴的编程语言,据说大有取代Java之势。它集面向对象和函数式编程于一体,而Java8的最大新特性就是引入了函数式编程。TIOBE编程语言社区发布了6月排行榜,Java以20.794%的份额毫无悬念继续荣登...

2020-04-02
0