最新 最热

initial job has not accepted any resources的spark错误解决办法

在运行多个spark应用程序的时候,经常会出现initial job has not accepted any resources的错误。

2022-05-07
1

spark访问Redis并进行操作

Redis是一种高性能的内存数据库,其应用场合非常广泛,在一些实时性要求比较高的场景中,以Redis作为架构来实现的是比较多的。

2022-05-07
1

Spark实现HIVE统计结果导入到HBase操作

由于HIVE更新的机制极其不适应SPARK环境,于是利用HBase来执行HIVE中某些统计结果的更新。首先要做的是实现Spark + Hive访问,得到RDD,再将这个RDD导入到HBase中操作。 然而网上关于这一块目前资料还真很少。但是其原理...

2022-05-07
1

Spark访问HBase的Eclipse代码实现

Hbase是一个列式数据库,从其本质上来看,可以当做是一个数据源,而Spark本身又可以进行Hbase的连接,访问数据并进行查询。

2022-05-07
1

spark sql 无法访问 hive metastore问题解决

Spark SQL on Hive是Shark的一个分支,是HIVE执行分析引擎的一个重要利器。在Spark 1.5.1的时候,可以非常简单地在spark shell中进行Hive的访问,然而到了Spark 1.5.2时,发现进入Spark Shell的时候,总是出现报错,其原因总是无...

2022-05-07
1

Spark 1.5.2(Scala 2.11)版本的编译与安装

Spark于11月9号又将几个BUG解决之后,release一个较新的版本。作为spark的追随者,于是开始重新进行spark的编译。

2022-05-07
1

spark mlib中机器学习算法的测试(SVM,KMeans, PIC, ALS等)

在学习spark mlib机器学习方面,为了进行算法的学习,所以对原有的算法进行了试验。从其官网(http://spark.apache.org/docs/latest/mllib-guide.html)上进行了相关文档的介绍学习,并通过其给定的例子包中相关进行测试。...

2022-05-07
1

spark master开发中org.apache.spark.serializer.JavaDeserializationStream错误解决

val conf = new SparkConf().setMaster("spark://hostname:7077").setAppName("Spark Pi")

2022-05-07
1

Spark R安装成功的步骤

网上有很多关于spark R的安装过程,但是按照那个过程总是出错。当然最常见的问题是:

2022-05-07
1

Hive V1.2.1源码的解译

在利用spark sql on hive的过程中,访问Mysql总是报错,其报错的日志总是显示:

2022-05-07
1