Note_Spark_Day01：Spark 基础环境

Spark Day01：Spark 基础环境代码语言：javascript复制

预习视频：
	https://www.bilibili.com/video/BV1uT4y1F7ap
	
Spark：基于Scala语言
Flink：基于Java语言

01-[了解]-Spark 课程安排

总的来说分为Spark 基础环境、Spark 离线分析和Spark实时分析三个大的方面，如下图所示：

目前在企业中使用最多Spark框架中模块：SparkSQL（离线分析）和StructuredStreaming（实时流式分析）。

02-[了解]-今日课程内容提纲

主要讲解2个方面内容：Spark 框架概述和Spark 快速入门。

代码语言：javascript复制

1、Spark 框架概述
	是什么？
	四个特点
	模块（部分组成）
	框架运行模式
2、Spark 快速入门
	环境准备
	Spark 本地模式运行程序
	大数据经典程序：词频统计WordCount
	提供WEB UI监控界面

03-[掌握]-Spark 框架概述【Spark 是什么】

Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。 Spark的发展历史，经历过几大重要阶段，如下图所示：

Spark 是一种快速、通用、可扩展的大数据分析引擎，2009 年诞生于加州大学伯克利分校AMPLab，2010 年开源， 2013年6月成为Apache孵化项目，2014年2月成为 Apache 顶级项目，用 Scala进行编写项目框架。

官方文档定义：

代码语言：javascript复制

1、分析引擎
	类似MapReduce框架，分析数据
	
2、统一（Unified）分析引擎
	离线分析，类似MapReduce
	交互式分析，类似Hive
	流式分析，类似Storm、Flink或者双11大屏统计
	科学分析，Python和R
	机器学习
	图计算
	
3、对大规模海量数据进行统一分析引擎
	大数据分析引擎
	【分布式计算，分而治之思想】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5Rk9bK5g-1625406507847)(/img/image-20210419160056620.png)]

Spark框架优秀在原因在于：核心数据结构【RDD：Resilient Distributed Datasets】，可以认为集合。

04-[了解]-Spark 框架概述【Spark 四大特点】

Spark具有运行速度快、易用性好、通用性强和随处运行等特点。

官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。

Spark处理数据与MapReduce处理数据相比，有如下两个不同点：

其一、Spark处理数据时，可以将中间处理结果数据存储到内存中；

其二、Spark Job调度以DAG方式，并且每个任务Task执行以线程（Thread）方式，并不是像MapReduce以进程（Process）方式执行。

思考：Spark框架仅仅处理分析数据引擎（框架），那么问题：

第一、处理的数据存储在哪里？？？
- 任意存储设备（存储引擎），比如HDFS、HBase、Redis、Kafka、Es等等
- 处理文本数据textfile、JSON格式数据、列式存储等
第二、Spark处理数据程序运行在哪里？？？
- 本地模式Local
- Hadoop YARN 集群
- Stand alone集群，类似YARN集群
- 容器中，比如K8s中

05-[了解]-Spark 框架概述【Spark 框架模块】

Spark框架是一个统一分析引擎，可以针对任何类型分析都可以处理数据，类似Hadoop框架，包含很多模块Module。 Spark 1.0开始，模块如下所示：基础模块Core、高级模块：SQL、Streaming、MLlib及GraphX等

代码语言：javascript复制

1、Core：核心模块
	数据结构：RDD
		将数据封装到RDD集合，调用集合函数处理数据
	
2、SQL：结构化数据处理模块
	数据结构：DataFrame、DataSet
		将数据封装DF/DS中，采用SQL和DSL方式分析数据

3、Streaming：针对流式数据处理模块
	数据结构：DStream
		将流式数据分化为Batch批次，封装到DStream中
		
4、MLlib：机器学习库
	包含基本算法库实现，直接调用即可
	基于RDD和DataFrame类库API
	
5、GraphX：图计算库
	目前使用不多，被Java领域框架：Neo4J
	
6、Structured Streaming：从Spark2.0提供针对流式数据处理模块
	将流式数据封装到DataFrame中，采用DSL和SQL方式处理数据
	
7、PySpark：支持Python语音
	可以使用Python数据分析库及Spark库综合分析数据

8、SparkR：支持R语言
	http://spark.apache.org/docs/2.4.5/sparkr.html

06-[理解]-Spark 框架概述【Spark 运行模式】

Spark 框架编写的应用程序可以运行在本地模式（Local Mode）、集群模式（Cluster Mode）和云服务（Cloud），方便开发测试和生产部署。开发程序时往往采用：本地模式LocalMode，测试生产环境使用集群模式，其中最为常用Hadoop YARN集群

Spark 应用程序运行在集群模式下时，有3种：

第一种：Spark Standalone 集群，类似Hadoop YARN集群
第二种：Hadoop YARN 集群
第三种：Apache Mesos框架，类似Hadoop YARN集群

代码语言：javascript复制

hadoop 2.2.0 在2013年发布，release版本：YARN 版本

本地模式：Local Mode 将Spark 应用程序中任务Task运行在一个本地JVM Process进程中，通常开发测试使用。

本地模式运行Spark应用程序时，可以设置同时最多运行多少个Task任务，称为并行度：parallelism

07-[了解]-Spark 快速入门【环境准备】

目前Spark最新稳定版本：2.4.x系列，官方推荐使用的版本，也是目前企业中使用较多版本，网址：https://github.com/apache/spark/releases

本次Spark课程所使用的集群环境为3台虚拟机，否则就是1台虚拟机，安装CentOS 7.7系统：

[按照【附录二】导入拷贝虚拟机到VMWare软件中即可。

系统用户及密码

代码语言：javascript复制

超级管理员用户：root/123456
普通用户：itcast/itcast

虚拟机安装环境及快照
- 在node1虚拟机中很多快照

软件安装目录为：【/export/server】，Hadoop离线框架使用CDH-5.16.2版本

提供虚拟机中，已经针对Spark 2.4.5进行编译，说明如下：

将编译以后tar文件拷贝到【/export/software】目录中

08-[掌握]-Spark 快速入门【本地模式】

将编译完成spark安装包【spark-2.4.5-bin-cdh5.16.2-2.11.tgz】解压至【/export/server】目录：

代码语言：javascript复制

## 解压软件包
tar -zxf /export/software/spark-2.4.5-bin-cdh5.16.2-2.11.tgz -C /export/server/

## 创建软连接，方便后期升级
ln -s /export/server/spark-2.4.5-bin-cdh5.16.2-2.11 /export/server/spark

其中各个目录含义如下：

针对Spark进行基本配置

修改配置文件名称以后，进行基本环境变量设置

启动HDFS集群，从HDFS上读取数据文件

代码语言：javascript复制

# 启动NameNode
hadoop-daemon.sh start namenode

# 启动DataNode
hadoop-daemon.sh start datanode

09-[掌握]-Spark 快速入门【运行spark-shell】

本地模式运行Spark框架提供交互式命令行：spark-shell，其中本地模式LocalMode含义为：启动一个JVM Process进程，执行任务Task，使用方式如下：

代码语言：javascript复制

1、--master local
	JVM进程中启动1个线程运行Task任务
	此时没有并行计算概念

2、--master local[K]
	K 大于等于2正整数
	表示在JVM进程中可以同时运行K个Task任务，都是线程Thread方式运行
	
3、--master local[*]
	表示由程序获取当前运行应用程序机群上CPU Core核数

本地模式启动spark-shell：

代码语言：javascript复制

## 进入Spark安装目录
cd /export/server/spark

## 启动spark-shell
bin/spark-shell --master local[2]

其中创建SparkContext实例对象：sc、SparkSession实例对象：spark和启动应用监控页面端口号：4040，详细说明如下：每个Spark 应用运行时，都提供WEB UI 监控页面：4040端口号

代码语言：javascript复制

## 上传HDFS文件
hdfs dfs -mkdir -p /datas/
hdfs dfs -put /export/server/spark/README.md /datas

## 读取文件
val datasRDD = sc.textFile("/datas/README.md")

## 条目数
datasRDD.count

## 获取第一条数据
datasRDD.first

10-[掌握]-Spark 快速入门【词频统计WordCount】

大数据框架经典案例：词频统计WordCount，从文件读取数据，统计单词个数。

使用Spark编程实现，分为三个步骤：

代码语言：javascript复制

1、第一步、从HDFS读取文件数据，
	sc.textFile方法，将数据封装到RDD中
	
2、第二步、调用RDD中高阶函数，
	进行处理转换处理，函数：flapMap、map和reduceByKey

3、第三步、将最终处理结果
	RDD保存到HDFS或打印控制台

Scala集合类中高阶函数flatMap与map函数区别**，map函数：会对每一条输入进行指定的func操作，然后为每一条输入返回一个对象；flatMap函数：先映射后扁平化；**

Scala中reduce函数使用案例如下：

代码语言：javascript复制

面试题：
	Scala集合类List列表中，高级函数：reduce、reduceLeft和reduceRight区别？？？？

在Spark数据结构RDD中reduceByKey函数，相当于MapReduce中shuffle和reduce函数合在一起：按照Key分组，将相同Value放在迭代器中，再使用reduce函数对迭代器中数据聚合。

准备数据文件：wordcount.data，内容如下，上传HDFS目录【/datas/

代码语言：javascript复制

## 创建文件
vim wordcount.data

## 内容如下
spark spark hive hive spark hive
hadoop sprk spark

## 上传HDFS
hdfs dfs -put wordcount.data /datas/

编写代码进行词频统计：

代码语言：javascript复制

## 读取HDFS文本数据，封装到RDD集合中，文本中每条数据就是集合中每条数据
val inputRDD = sc.textFile("/datas/wordcount.data")

## 将集合中每条数据按照分隔符分割，使用正则：https://www.runoob.com/regexp/regexp-syntax.html
val wordsRDD = inputRDD.flatMap(line => line.split("\s "))

## 转换为二元组，表示每个单词出现一次
val tuplesRDD = wordsRDD.map(word => (word, 1))

# 按照Key分组，对Value进行聚合操作， scala中二元组就是Java中Key/Value对
## reduceByKey：先分组，再聚合
val wordcountsRDD = tuplesRDD.reduceByKey((tmp, item) => tmp   item)

## 查看结果
wordcountsRDD.take(5)

## 保存结果数据到HDFs中
wordcountsRDD.saveAsTextFile("/datas/spark-wc")

## 查结果数据
hdfs dfs -text /datas/spark-wc/par*

11-[理解]-Spark 快速入门【WEB UI监控】

每个Spark Application应用运行时，启动WEB UI监控页面，默认端口号为4040，使用浏览器打开页面，如下：如果4040端口号被占用，默认情况下，自动后推端口号，尝试4041，4042，。。。，直到可用

点击【Job 2】，进入到此Job调度界面，通过DAG图展示，具体含义后续再讲。

1）、第一点、黑色点，表示RDD数据集
2）、第二点、蓝色矩形框，表示调用函数，产出RDD
3）、第三点、有2中类型线，垂直向下直线和有向S型曲线：产生Shuffle，意味着需要将数据写入磁盘

12-[了解]-Spark 快速入门【运行圆周率PI】

Spark框架自带的案例Example中涵盖圆周率PI计算程序，可以使用【$PARK_HOME/bin/spark-submit】提交应用执行，运行在本地模式。

自带案例jar包：【/export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar】

提交运行PI程序

代码语言：javascript复制

SPARK_HOME=/export/server/spark
${SPARK_HOME}/bin/spark-submit 
--master local[2] 
--class org.apache.spark.examples.SparkPi 
${SPARK_HOME}/examples/jars/spark-examples_2.11-2.4.5.jar 
10

Spark中自带圆周率PI程序，采用蒙特卡洛估算算法计算的

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IG5NRA7a-1625406507867)(/img/image-20210419183112123.png)]

附录一、创建Maven模块

1）、Maven 工程结构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-merImWMx-1625406507868)(img/1595891933073.png)]

MAVEN工程GAV三要素：

代码语言：javascript复制

    <parent>
        <artifactId>bigdata-spark_2.11artifactId>
        <groupId>cn.itcast.sparkgroupId>
        <version>1.0.0version>
    parent>
    <modelVersion>4.0.0modelVersion>

    <artifactId>spark-chapter01_2.11artifactId>

2）、POM 文件内容

Maven 工程POM文件中内容（依赖包）：

代码语言：javascript复制

            aliyun
            http://maven.aliyun.com/nexus/content/groups/public/
        
        
            cloudera
            https://repository.cloudera.com/artifactory/cloudera-repos/
        
        
            jboss
            http://repository.jboss.com/nexus/content/groups/public
        
    

    
        2.11.12
        2.11
        2.4.5
        2.6.0-cdh5.16.2
    

    
        
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
        
            org.apache.spark
            spark-core_${scala.binary.version}
            ${spark.version}
        
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
        
    

    
        target/classes
        target/test-classes
        
            
                ${project.basedir}/src/main/resources
            
        
        
        
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.0
                
                    1.8
                    1.8
                    UTF-8
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.0
                
                    
                        
                            compile
                            testCompile

IDEA中配置远程连接服务器

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e2fJeQzR-1625406507869)(/img/1605688796757.png)]

附录二、导入虚拟机

步骤一：设置VMWare 网段地址

【编辑】->【虚拟网络编辑器】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-niQYA1mY-1625406507869)(img/1599709639408.png)]

更改设置：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lkEpAzEd-1625406507870)(img/1599709683354.png)]

最后确定即可。

步骤二：导入虚拟机至VMWare

注意：VMWare 虚拟化软件版本：12.5.5 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3g6kDbgC-1625406507870)(img/1599709239714.png)] 虚拟机解压目录：D:NewSparkLectureSparkLinux [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HoAlszUG-1625406507871)(img/1599709323673.png)]

选择虚拟机中vmx文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0tAt5oyb-1625406507871)(img/1599709367924.png)]

步骤三：启动虚拟机

当启动虚拟机时，弹出如下对话框，选择【我已移动改虚拟机】

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pYAV82Qn-1625406507872)(img/1599696341000.png)]

步骤四：配置主机名和IP地址映射

文件路径：C:WindowsSystem32driversetchosts 内容如下： 192.168.88.100 node1.itcast.cn node1 192.168.88.101 node2.itcast.cn node2 192.168.88.102 node3.itcast.cn node3

可。

步骤二：导入虚拟机至VMWare

注意：VMWare 虚拟化软件版本：12.5.5 [外链图片转存中…(img-3g6kDbgC-1625406507870)] 虚拟机解压目录：D:NewSparkLectureSparkLinux [外链图片转存中…(img-HoAlszUG-1625406507871)]

选择虚拟机中vmx文件

[外链图片转存中…(img-0tAt5oyb-1625406507871)]

步骤三：启动虚拟机

当启动虚拟机时，弹出如下对话框，选择【我已移动改虚拟机】

[外链图片转存中…(img-pYAV82Qn-1625406507872)]

步骤四：配置主机名和IP地址映射

文件路径：C:WindowsSystem32driversetchosts 内容如下： 192.168.88.100 node1.itcast.cn node1 192.168.88.101 node2.itcast.cn node2 192.168.88.102 node3.itcast.cn node3

spark hadoop yarn node.js 虚拟化

0 人点赞