最新 最热

Spark R安装成功的步骤

网上有很多关于spark R的安装过程,但是按照那个过程总是出错。当然最常见的问题是:

2022-05-07
0

Hive V1.2.1源码的解译

在利用spark sql on hive的过程中,访问Mysql总是报错,其报错的日志总是显示:

2022-05-07
0

Kafka源码的编译(0.8.2.1)

Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。...

2022-05-07
0

Spark1.5.1源码(Scala 2.11.7)的编译步骤

在编写spark程序的过程中,如果以master=local的方式是可以正常搞定的,然而如果将master设置为spark集群的方式则总是报各种错,通过源码查看,主要是AKKA通信与序列化之间的问题,而其核心原因是scala版本不匹配的问题。默认...

2022-05-07
0

用scala语言实现并行堆排序(top k)

因为项目需要对大量数据进行排序计算top k,开始了解并行计算框架,接触了spark,spark都是用scala写的,所以为了了解spark,恶补了一阵scala语言。 这是一种非常简练的函数式语言,最让我感觉兴趣的就是它天然支持并行计算,并且...

2022-05-07
0

OpenCV 绘图功能

在利用Opencv处理图像时,我们常常需要利用一些绘图操作用来验证中间结果是否正确,比如画圆,画椭圆,画线,画矩形等功能。下面对常用的绘图函数做个整理,也方便以后自己使用:...

2022-05-07
0

试用最强Spark IDE--IDEA

IDEA 全称 IntelliJ IDEA,是java语言开发的集成环境,IntelliJ在业界被公认为最好的java开发工具之一,尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、创新的GUI设计等方面的功能可...

2022-05-06
0

[1133]flink问题集锦

原因:flink1.8版本之后已弃用该参数,ResourceManager将自动启动所需的尽可能多的容器,以满足作业请求的并行性。解决方法:去掉即可

2022-04-28
0

SQL智能代码补全引擎【sql-code-intelligence】介绍

sql-code-intelligence 支持标准的Spark SQL补全,也支持[MLSQL](allwefantasy/mlsql)语法补全。

2022-04-25
0

Flink DataStream 类型系统 TypeInformation

Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象,同时也可以输出数据对象。因此,Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时,需要...

2022-04-23
0