spark scala练习

2020-12-01 10:56:35 浏览数 (1)

spark scala练习

准备一个文件上传至hdfs

代码语言:javascript复制
hello word
hello java
hello python
hello c  

​ 启动spark-shell

spark-shell

获取到要计算的文件

代码语言:javascript复制
val file = spark.read.textFile("test.txt")

统计该文件的行数

代码语言:javascript复制
 file.count()

获取第一行的内容

代码语言:javascript复制
file.first()

获取到特定的内容

代码语言:javascript复制
val lines = file.filter(line => line.contains("hello"))

获取指定词出现的次数

代码语言:javascript复制
file.filter(line => line.contains("hello")).count()

0 人点赞