成为大数据工程师必备的技能有哪些?(下)

2020-05-09 15:42:53 浏览数 (1)

继续来说。

大数据核心知识

Scala

推荐书籍:《快学Scala》

Scala概述

Scala编译器安装

Scala基础

数组、映射、元组、集合

类、对象、继承、特质

模式匹配和样例类

了解Scala Actor并发编程

理解Akka

理解Scala高阶函数

理解Scala隐式转换

官网:

http://www.scala-lang.org/

初级中文教程:

http://www.runoob.com/scala/scala-tutorial.html

Spark

推荐书籍:《Spark 权威指南》

Spark core:

Spark概述

Spark集群安装

执行第一个Spark案例程序(求PI)

RDD:

RDD概述

创建RDD

RDD编程API(Transformation 和 Action Operations)

RDD的依赖关系

RDD的缓存

DAG(有向无环图)

Spark SQL and DataFrame/DataSet

Spark SQL概述

DataFrames

DataFrame常用操作

编写Spark SQL查询程序。

Spark Streaming:

Spark Streaming概述

理解DStream

DStream相关操作(Transformations 和 Output Operations)

Structured Streaming

其他(MLlib and GraphX )

官网:

http://spark.apache.org

中文社区:

http://www.aboutyun.com/forum-146-1.htm

0 人点赞