使用ReduceByKey在Spark中进行词频统计

Spark采用Local模式运行，Spark版本3.2.0，Scala版本2.12，集成idea开发环境。

实验代码

代码语言：javascript复制

import org.apache.spark.{SparkConf, SparkContext}

object ReduceByKey {

  def main(args: Array[String]): Unit = {
    // 创建 SparkConf 并设置相关配置
    val conf = new SparkConf().setAppName("WordCountExample").setMaster("local[*]")

    // 创建 SparkContext
    val sc = new SparkContext(conf)

    // 定义要计数的单词列表
    val wordList = List("hello", "world", "hello", "spark", "world", "spark", "hello")

    // 将列表转换为RDD
    val rdd = sc.parallelize(wordList)

    rdd.foreach(v => println(v))

    // 对单词进行映射计数,相同的键进行累加
    val rdd2 = rdd.map(v => (v, 1)).reduceByKey(_   _)

    // 打印单词计数结果
    rdd2.foreach(println)

    // 关闭 SparkContext
    sc.stop()
  }
}

在执行 reduceByKey(_ _) 这一步后，生成的 RDD 将包含每个单词及其对应的累加值，数据结构类似于 (单词, 累加值)。

在上下文中，_ _ 表示一个匿名函数，用于对两个相同类型的值进行相加操作。在这里，这两个值是指 reduceByKey 函数对于相同键的两个值。具体来说：

第一个 _ 表示相同键的第一个值。 第二个 _ 表示相同键的第二个值。

在这个例子中，键是单词，而值是累加的次数。所以 _ _ 表示将相同键的值（即累加的次数）相加，以得到该键对应的总累加值。

实验结果

代码语言：javascript复制

hello
hello
spark
world
world
spark
hello

代码语言：javascript复制

(spark,2)
(hello,3)
(world,2)

配置 统计 spark 数据结构 函数

0 人点赞