最新 最热

Akka 指南 之「断路器」

在分布式系统中,断路器(circuit breaker)用于提供稳定性和防止级联故障(cascading failures)。这些应该与远程系统之间的接口的超时一起使用(judicious timeouts),以防止单个组件的故障导致所有组件停机。...

2021-12-07
0

详述 GitHub 如何将代码从原分支合并到 fork 分支

这个问题其实很常见。当我们fork别人代码的时候,实际上是对原项目当时状态以及进度进行了一个快照,其随后发生的改变,并不会自动同步到我们的fork分支!但是为了保证我们fork的分支状态与原分支同步,这就需要我们主动将原分...

2021-12-07
0

Scala:高阶函数、隐式转换(四)

scala 混合了面向对象和函数式的特性,在函数式编程语言中,函数是“头等公民”,它和Int、String、Class等其他类型处于同等的地位,可以像其他类型的变量一样被传递和操作。...

2021-12-07
0

Scala:样例类、模式匹配、Option、偏函数、泛型(三)

样例类是一种特殊类,它可以用来快速定义一个用于保存数据的类(类似于Java POJO类),在后续要学习并发编程和spark、flink这些框架也都会经常使用它。...

2021-12-07
0

Scala:面向对象、Object、抽象类、内部类、特质Trait(二)

scala是支持面向对象的,也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。

2021-12-07
0

Spark的常用算子大总结

作用:返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成 2. 需求:创建一个1-10数组的RDD,将所有元素2形成新的RDD (1)创建 scala> var source = sc.parallelize(1 to 10) source: org.apache.spark.rdd.RDD......

2021-12-07
0

在idea 2021 上 配置本地 scala 2.12 spark 3.0.2 开发环境

基本开发环境下载对应包maven:https://mvnrepository.com/search?q=spark spark:http://spark.apache.org/downloads

2021-12-06
0

pyspark 原理、源码解析与优劣势分析(1) ---- 架构与java接口

Spark 框架主要是由 Scala 语言实现,同时也包含少量 Java 代码。Spark 面向用户的编程接口,也是 Scala。然而,在数据科学领域,Python 一直占据比较重要的地位,仍然有大量的数据工程师在使用各类 Python 数据处理和科学计算...

2021-12-06
0