scala快速入门系列【函数式编程】

2021-01-26 11:17:53 浏览数 (1)

本篇作为scala快速入门系列的第十六篇博客，为大家带来的是关于函数式编程的相关内容。

函数式编程

我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。

  • 遍历（ foreach ）
  • 映射（ map ）
  • 映射扁平化（ flatmap ）
  • 过滤（ filter ）
  • 是否存在（ exists ）
  • 排序（ sorted、sortBy、sortWith ）
  • 分组（ groupBy）
  • 聚合计算（ reduce）
  • 折叠（ fold）

遍历|foreach

之前，学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程，使用 foreach 方法来进行遍历、迭代。它可以让代码更加简洁。

方法签名

说明

foreach

API

说明

参数

f: (A) ⇒ Unit

接收一个函数对象。函数的输入参数为集合的元素，返回值为空

返回值

Unit

空

foreach执行过程

示例

有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素

参考代码

使用类型推断简化函数定义

上述案例函数定义有点啰嗦，我们有更简洁的写法。因为使用foreach去迭代列表，而列表中的每个元素类型是确定的。

  • scala可以自动来推断出来集合中每个元素参数的类型
  • 创建函数时，可以省略其参数列表的类型

示例

  1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
  2. 使用类型推断简化函数定义

参考代码

使用下划线来简化函数定义

当函数参数，只在函数体中出现一次，而且函数体没有嵌套调用时，可以使用下划线来简化函数定义。

示例

  1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
  2. 使用下划线简化函数定义

参考代码

  • 如果方法参数是函数，如果出现了下划线，scala编译器会自动将代码封装到一个函数中
  • 参数列表也是由scala编译器自动处理

映射|map

集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的掌握。

因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。

map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表。

用法

方法签名

方法解析

map方法

API

说明

泛型

[B]

指定map方法最终返回的集合泛型

参数

f: (A) ⇒ B

传入一个函数对象该函数接收一个类型A（要转换的列表元素），返回值为类型B

返回值

TraversableOnce[B]

B类型的集合

map方法解析

案例一

  1. 创建一个列表，包含元素1,2,3,4
  2. 对List中的每一个元素加1

参考代码

案例二

  1. 创建一个列表，包含元素1,2,3,4
  2. 使用下划线来定义函数，对List中的每一个元素加1

参考代码

扁平化映射 | flatMap

扁平化映射也是将来用得非常多的操作，也是必须要掌握的。

定义

可以把flatMap，理解为先map，然后再flatten

  • map是将列表中的元素转换为一个List
  • flatten 再将整个列表进行扁平化

方法签名

方法解析

flatmap方法

API

说明

泛型

【B】

最终要转换的集合元素类型

参数

f: (A) ⇒ GenTraversableOnce[B]

传入一个函数对象函数的参数是集合的元素函数的返回值是一个集合

返回值

TraversableOnce[B]

B类型的集合

案例

案例说明

  1. 有一个包含了若干个文本行的列表：“hadoop hive spark flink flume”, “kudu hbase sqoop storm”
  2. 获取到文本行中的每一个单词，并将每一个单词都放到列表中

思路分析

步骤

  1. 使用map将文本行拆分成数组
  2. 再对数组进行扁平化

参考代码

使用flatMap简化操作 参考代码

过滤 | filter

过滤符合一定条件的元素

定义

方法签名

方法解析

filter方法

API

说明

参数

p: (A) ⇒ Boolean

传入一个函数对象接收一个集合类型的参数返回布尔类型，满足条件返回true, 不满足返回false

返回值

TraversableOnce[A]

列表

案例

  1. 有一个数字列表，元素为：1,2,3,4,5,6,7,8,9
  2. 请过滤出所有的偶数

参考代码

排序

在scala集合中，可以使用以下几种方式来进行排序。

  • sorted默认排序
  • sortBy指定字段排序
  • sortWith自定义排序
默认排序 | sorted

示例

  1. 定义一个列表，包含以下元素: 3, 1, 2, 9, 7
  2. 对列表进行升序排序

参考代码

指定字段排序 | sortBy

根据传入的函数转换后，再进行排序。

方法声明

方法解析

示例

  1. 有一个列表，分别包含几下文本行：“01 hadoop”, “02 flume”, “03 hive”, “04 spark”
  2. 请按照单词字母进行排序

参考代码

自定义排序 | sortWith

自定义排序，根据一个函数来进行自定义排序。

方法声明

方法解析

soerWith方法

API

说明

参数

lt: (A, A) ⇒ Boolean

传入一个比较大小的函数对象接收两个集合类型的元素参数返回两个元素大小，小于返回true，大于返回false

返回值

List[A]

返回排序后的列表

示例

  1. 有一个列表，包含以下元素：2,3,1,6,4,5
  2. 使用sortWith对列表进行降序排序

参考代码

使用下划线简写上述案例

参考代码

分组 | groupBy

我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法。

定义

groupBy表示按照函数将列表分成不同的组。

方法签名

方法解析

groupBy方法

API

说明

泛型

[K]

分组字段的类型

参数

f: (A) ⇒ K

传入一个函数对象接收集合元素类型的参数返回一个K类型的key，这个key会用来进行分组，相同的key放在一组中

返回值

Map[K,List[A]]

返回一个映射，K为分组字段，List为这个分组字段对应的一组数据

groupBy执行过程分析

示例

  1. 有一个列表，包含了学生的姓名和性别:

2.请按照性别进行分组，统计不同性别的学生人数

步骤

  1. 定义一个元组列表来保存学生姓名和性别
  2. 按照性别进行分组
  3. 将分组后的Map转换为列表：List((“男” -> 2), (“女” -> 1))

参考代码

聚合操作

聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中。

聚合 | reduce

reduce表示将列表，传入一个函数进行聚合计算。

定义

方法声明

方法解析

reduce方法

API

说明

泛型

[A1 >: A]

（下界）A1必须是集合元素类型的子类

参数

op: (A1, A1) ⇒ A1

传入函数对象，用来不断进行聚合操作第一个A1类型参数为：当前聚合后的变量第二个A1类型参数为：当前要进行聚合的元素

返回值

A1

列表最终聚合为一个元素

reduce执行流程分析

[!NOTE]

  • reduce和reduceLeft效果一致，表示从左到右计算
  • reduceRight表示从右到左计算

案例

  1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
  2. 使用reduce计算所有元素的和

参考代码

折叠 | fold

fold与reduce很像，但是多了一个指定初始化值参数。

定义

方法签名

方法解析

reduce方法

API

说明

泛型

[A1 >: A]

（下界）A1必须是集合元素类型的子类

参数1

z:A1

初始值

参数2

op: (A1, A1) ⇒ A1

传入函数对象，用来不断进行折叠操作第一个A1类型参数为：当前折叠后的变量第二个A1类型参数为：当前要进行折叠的元素

返回值

A1

列表最终折叠为一个元素

[!NOTE]

  • fold和foldLet效果一致，表示从左往右计算
  • foldRight表示从右往左计算

案例

  1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
  2. 使用fold方法计算所有元素的和

参考代码

好了，到这里本次的分享就结束了。对scala感兴趣的朋友可以持续关注哟~

mapreduce javascript api scala

0 人点赞