最新 最热

SLAM初探:Eigen库简单使用

Eigen是一个高层次的C ++库,有效支持线性代数,矩阵和矢量运算,数值分析及其相关的算法。Eigen是一个开源库,从3.1.1版本开始遵从MPL2许可。

2019-11-07
0

Java 会走向晦暗吗? Kotlin 会取而代之吗

Stackoverflows上的趋势图显示Java从2015年以后走下坡路,而Kotlin开始上升。该图形中的Java趋势不断下降,Java很容易失去其作为一种非常流行的编程语言的地位。...

2019-11-07
0

Spark Checkpoint的运行原理和源码实现

1、RDD.iterator 方法,它会先在缓存中查看数据 (内部会查看 Checkpoint 有没有相关数据),然后再从 CheckPoint 中查看数据

2019-11-07
0

应用JMH测试大型HashMap的性能

写这篇是因为PolarDB比赛很重要的一点是控制内存。C++只有2G,Java也只有3G,而6400W的键值对,即使只是Long类型,也需要16 * 64 * 10e6 ≈ 1G的内存,这还不包括其他对象引用的相关开销,所以内存控制在这里是非常重要的,因为稍...

2019-11-05
0

开发 | 继 XDL 之后,阿里妈妈开源大规模分布式图表征学习框架 Euler

在图结构存储和图计算的抽象上均良好的支持异构点、异构边类型的操作,并支持丰富的异构属性,可以很容易的在图学习算法中进行异构图的表征学习。...

2019-11-01
0

【从零学习OpenCV 4】Mat类构造与赋值

前一小节已经介绍了三种构造Mat类变量的方法,但是后两种没有给变量初始化赋值,本小节将重点介绍如何灵活的构造并赋值Mat类变量。根据OpenCV的源码定义,关于Mat类的构造方式共有二十余种,然而在平时一些简单的应用程序中...

2019-10-31
0

程序员数学 —— 二进制

常年浪迹与各种高级语言的我们,是否还记得哪些基础中的基础呢? 今天就让我们一起来回忆一下计算机的那一串 0101010101 —— 二进制 吧!

2019-10-30
0

Scala 隐式转换简明教程

对于 Spark 开发者来说 Scala 终究是个绕不过去的坎, 而 对于 Scala ,隐式转换终究也是一个绕不过去的坎。 所以本文就以一种尽可能简单的方式带大家来理解一下 Scala 的隐式转换。...

2019-10-30
0

Spark总结篇(一)

1.Spark可以基于内存处理数据,MR每次要落地磁盘 2.Spark有DAG有向无环图优化 3.Spark是粗粒度资源申请,MR是细粒度资源申请 4.Spark中有各种算子 ,MR中只有map 和reduce 5.Spark的shuffle 向对于MR来说有自己的优化同时...

2019-10-30
0

Spark入门第一步:WordCount之java版、Scala版

Spark入门第一步:WordCount之java版、Scala版 Spark入门系列,第一步,编写WordCount程序。我们分别使用java和scala进行编写,从而比较二者的代码量数据文件 通过读取下面的文件内容,统计每个单词出现的次数java scala pytho...

2019-10-29
0