本栏目大数据开发岗高频面试题主要出自
大数据技术专栏的各个小专栏,由于个别笔记上传太早,排版杂乱,后面会进行原文美化、增加。
文章目录- 面试题 01、 介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
- 面试题02、Spark的数据本地性有哪几种？
- 面试题03、数据倾斜是什么？
- 面试题04、如何定位数据倾斜？
- 面试题05、数据倾斜的几种典型情况？
- 总结
停 不要往下滑了，
默默想5min，
看看这5道面试题你都会吗？
代码语言：javascript复制面试题01、介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
面试题02、Spark的数据本地性有哪几种？
面试题03、数据倾斜是什么？
面试题04、如何定位数据倾斜？
面试题05、数据倾斜的几种典型情况？以下答案仅供参考：
面试题 01、 介绍一下你对Unified Memory Management内存管理模型的理解？(了解)
Spark中的内存使用分为两部分：执行（execution）与存储（storage）。
执行内存主要用于shuffles、joins、sorts和aggregations，存储内存则用于缓存或者跨节点的内部数据传输。1.6之前，
对于一个Executor，内存都由以下部分构成：
1）ExecutionMemory。这片内存区域是为了解决 shuffles,joins, sorts and aggregations 过程中为了避免频繁IO需要的buffer。通过spark.shuffle.memoryFraction(默认 0.2) 配置。
2）StorageMemory。这片内存区域是为了解决 block cache(就是你显示调用rdd.cache, rdd.persist等方法), 还有就是broadcasts,以及task results的存储。可以通过参数 spark.storage.memoryFraction(默认0.6)设置。
3）OtherMemory。给系统预留的，因为程序本身运行也是需要内存的(默认为0.2)。
传统内存管理的不足：
1）Shuffle占用内存0.2*0.8，内存分配这么少，可能会将数据spill到磁盘，频繁的磁盘IO是很大的负担，Storage内存占用0.6，主要是为了迭代处理。传统的Spark内存分配对操作人的要求非常高。（Shuffle分配内存：ShuffleMemoryManager, TaskMemoryManager, ExecutorMemoryManager）一个Task获得全部的Execution的Memory，其他Task过来就没有内存了，只能等待；
2）默认情况下，Task在线程中可能会占满整个内存，分片数据
面试题02、Spark的数据本地性有哪几种？
Spark中的数据本地性有三种：
1）PROCESS_LOCAL是指读取缓存在本地节点的数据
2）NODE_LOCAL是指读取本地节点硬盘数据
3）ANY是指读取非本地节点数据 通常读取数据PROCESS_LOCAL>NODE_LOCAL>ANY，尽量使数据以PROCESS_LOCAL或NODE_LOCAL方式读取。其中PROCESS_LOCAL还和cache有关，如果RDD经常用的话将该RDD cache到内存中，注意，由于cache是lazy的，所以必须通过一个action的触发，才能真正的将该RDD cache到内存中。
面试题03、数据倾斜是什么？
数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
数据倾斜两大直接致命后果。
1、数据倾斜直接会导致一种情况：Out Of Memory。
2、运行速度慢。 主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据量太大了。远远超过其他Task所处理的数据量。 一个经验结论是：一般情况下，OOM的原因都是数据倾斜
面试题04、如何定位数据倾斜？
数据倾斜一般会发生在shuffle过程中。
很大程度上是你使用了可能会触发shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。 原因：查看任务->查看Stage->查看代码 某个task执行特别慢的情况 某个task莫名其妙内存溢出的情况 查看导致数据倾斜的key的数据分布情况
也可从以下几种情况考虑：
1、是不是有OOM情况出现，一般是少数内存溢出的问题
2、是不是应用运行时间差异很大，总体时间很长
3、需要了解你所处理的数据Key的分布情况，如果有些Key有大量的条数，那么就要小心数据倾斜的问题
4、一般需要通过Spark Web UI和其他一些监控方式出现的异常来综合判断
5、看看代码里面是否有一些导致Shuffle的算子出现
面试题05、数据倾斜的几种典型情况？
1 数据源中的数据分布不均匀，Spark需要频繁交互
2 数据集中的不同Key由于分区方式，导致数据倾斜
3 JOIN操作中，一个数据集中的数据分布不均匀，另一个数据集较小（主要）
4 聚合操作中，数据集中的数据分布不均匀（主要）
5 JOIN操作中，两个数据集都比较大，其中只有几个Key的数据分布不均匀
6 JOIN操作中，两个数据集都比较大，有很多Key的数据分布不均匀
7 数据集中少数几个key数据量很大，不重要，其他数据均匀
注意： 1、需要处理的数据倾斜问题就是Shuffle后数据的分布是否均匀问题 2、只要保证最后的结果是正确的，可以采用任何方式来处理数据倾斜，只要保证在处理过程中不发生数据倾斜就可以
总结
今天我们复习了面试中常考的Spark相关的五个问题，你做到心中有数了么？
