Spark2.3.0 引入Spark

Spark 2.3.0 支持用于简洁编写函数的 lambda 表达式，你也可以使用 org.apache.spark.api.java.function 包中的类。

请注意，在 Spark 2.2.0 中删除了对 Java 7 的支持。

要在 Java 中编写 Spark 应用程序，需要在 Spark 上添加依赖项。Spark可通过 Maven 仓库获得：

代码语言：javascript复制

groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.3.0

另外，如果希望访问 HDFS 集群，需要根据你的 HDFS 版本添加 hadoop-client 的依赖：

代码语言：javascript复制

groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>

最后，你需要将一些 Spark 类导入到程序中。添加以下行：

代码语言：javascript复制

import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.SparkConf;

默认情况下，Spark 2.3.0 在 Scala 2.11 上构建并分布式运行。（Spark 可以与其他版本的 Scala 一起构建。）要在 Scala 中编写应用程序，需要使用兼容的 Scala 版本（例如2.11.X）。

要编写 Spark 应用程序，需要在 Spark 上添加依赖项。Spark 可通过 Maven 仓库获得：

代码语言：javascript复制

groupId = org.apache.spark
artifactId = spark-core_2.11
version = 2.3.0

另外，如果希望访问 HDFS 集群，则需要根据你的 HDFS 版本添加 hadoop-client 的依赖：

代码语言：javascript复制

groupId = org.apache.hadoop
artifactId = hadoop-client
version = <your-hdfs-version>

最后，需要将一些 Spark 类导入到程序中。添加以下行：

代码语言：javascript复制

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

备注在 Spark 1.3.0 之前，需要明确导入 org.apache.spark.SparkContext._ 以启用基本的隐式转换。备注 Spark版本: 2.3.0

0 人点赞