大家好，我是小五。之前给大家分享过3个节省时间的Python技巧，当时就提出了，大家可以多使用Python的内置函数，既能提高自己的Python程序速度，同时还能保持代码简洁易懂。...

作为一个前端开发者，你一定会大量使用reduce函数，它是一个强大而有用的数组API，但是，今天我想给大家分享10个关于它的进阶技巧。

在Spark中shuffleWriter有三种实现，分别是bypassMergeSortShuffleWriter, UnsafeShuffleWriter和SortShuffleWriter。但是shuffleReader却只有一种实现BlockStoreShuffleReader 。

大多数时候我们想把列表里的所有元素一个一个地传递给一个函数，然后收集结果输出。 例如：

React和Vue是当下前端最流行的Javascript框架。作为一名现代化前端工程师，学习这两个框架已经成为了标配。本人学习这两个框架已经有很长一段时间了，当下对其做一些基本概念梳理总结，利人利己。...

在深度学习时代，训练数据特别大的时候想要单卡完成训练基本是不可能的。所以就需要进行分布式深度学习。在此总结下个人近期的研究成果，欢迎大佬指正。...

之前我们已经了解了shuffle writer的详细过程，那么生成文件后会发生什么呢？以及它们是如何被读取呢？读取是内存的操作吗？这些问题也随之产生，那么今天我们将先来了解了shuffle reader的细枝末节。...

总结：HiveSQL ->AST(抽象语法树) -> QB(查询块) ->OperatorTree（操作树）->优化后的操作树->mapreduce任务树->优化后的mapreduce任务树。

在MapReduce框架中，Shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过Shuffle这个环节，Shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了Shuffle...

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分Stage，而划分依据就是RDD之间的依赖关系。