spark-submit动态提交的办法(SparkLauncher实战)

2022-05-07 14:32:26 浏览数 (1)

spark程序编译完成后,一般都要传送到spark-submit进行调用。

然而为了使程序更加易于集成,需要spark-submit能够动态化

SparkLauncher是spark提供的外部调用的接口。

Package org.apache.spark.launcher Description

Library for launching Spark applications.

This library allows applications to launch Spark programmatically. There's only one entry point to the library - the SparkLauncher class.

从上面的API说明可以看出,支持以编程的方式实现SPARK程序的提交。

于是采用这个API进行实验,果真可以成功。

其中为了将结果获取,还是需要进行一些操作的。目前仅仅是调用PI成功

0 人点赞