慕mooc-大数据工程师2024学习分享

Apache Spark 是一个开源的统一分析引擎，用于大规模数据处理。它提供了一个简单且富有表现力的编程模型，支持多种语言，包括 Java、Scala、Python 和 R。Spark 的速度比 Hadoop MapReduce 快 100 倍，因为它在内存中执行计算，并优化了数据在集群中的移动方式。

Spark 核心概念

RDD (Resilient Distributed Dataset，弹性分布式数据集): Spark 的核心抽象，表示一个不可变的、分区的数据集，可以并行操作。RDD 可以从外部数据源（如 HDFS、本地文件系统、数据库等）创建，也可以通过转换其他 RDD 创建。
Transformation (转换): 对 RDD 进行的操作，例如 map、filter、reduceByKey 等。Transformation 是惰性求值的，只有在 Action 操作被触发时才会真正执行。
Action (动作): 触发 RDD 计算的操作，例如 count、collect、saveAsTextFile 等。Action 会提交 Spark 作业并返回结果。
Driver Program: Spark 应用程序的控制程序，负责创建 SparkContext、提交 Spark 作业以及收集结果。
Cluster Manager: 负责管理和分配集群资源，例如 Yarn、Mesos、Standalone 等。
Executor: 运行在 Worker 节点上的进程，负责执行 Driver Program 发送的任务。
Stage (阶段): Spark 作业被划分为多个阶段，每个阶段包含一组可以并行执行的任务。
Task (任务): Spark 作业的最小执行单元，每个任务处理 RDD 的一个分区。

Spark 工作流

用户编写 Spark 应用程序 (Driver Program)。
Driver Program 连接到 Cluster Manager，请求资源。
Cluster Manager 分配资源，启动 Executor 进程。
Driver Program 将 Spark 作业转换为 DAG (Directed Acyclic Graph，有向无环图)。
DAG 被划分为多个 Stage，每个 Stage 包含一组可以并行执行的任务。
Executor 执行任务，并将结果返回给 Driver Program。
Driver Program 收集所有结果并返回给用户。

大数据工程师2024-Spark应用

代码语言：python代码运行次数：0复制

from pyspark.sql import SparkSession

# 初始化 SparkSession
spark = SparkSession.builder 
    .appName("Spark数据处理示例") 
    .getOrCreate()

# 读取数据
data = [("Alice", 25), ("Bob", 30), ("Charlie", 28)]
df = spark.createDataFrame(data, ["name", "age"])

# 数据处理
# 1. 使用filter过滤年龄大于28岁的数据
df_filtered = df.filter(df.age > 28)

# 2. 使用groupBy分组统计每个年龄的人数
df_grouped = df.groupBy("age").count()

# 3. 使用join连接两个DataFrame
data2 = [("Alice", "female"), ("Bob", "male"), ("David", "male")]
df2 = spark.createDataFrame(data2, ["name", "gender"])
df_joined = df.join(df2, on="name", how="inner")

# 显示结果
df_filtered.show()
df_grouped.show()
df_joined.show()

# 停止 SparkSession
spark.stop()

初始化 SparkSession: 创建 SparkSession 是 Spark 应用的入口，这里我们设置应用名为 "Spark数据处理示例"。
读取数据: 使用 spark.createDataFrame 从 Python 列表创建 DataFrame，DataFrame 是 Spark 中的数据抽象，类似于关系型数据库中的表。
数据处理:
- 使用 filter 过滤年龄大于 28 岁的数据。
- 使用 groupBy 按年龄分组，并使用 count 统计每组人数。
- 使用 join 将两个 DataFrame 按照姓名进行内连接。
显示结果: 使用 show() 方法展示处理后的 DataFrame 内容。
停止 SparkSession: 使用 spark.stop() 停止 SparkSession，释放资源。

代码语言：bash复制

spark-submit spark_data_processing.py

代码语言：bash复制

 ------ --- 
|  name|age|
 ------ --- 
|   Bob| 30|
 ------ --- 

 --- ----- 
|age|count|
 --- ----- 
| 25|    1|
| 30|    1|
| 28|    1|
 --- ----- 

 ------ --- ------ 
|  name|age|gender|
 ------ --- ------ 
|   Bob| 30|  male|
|Alice| 25|female|
 ------ --- ------