理想情况下，我们应用对Yarn资源的请求应该立刻得到满足，但现实情况资源往往是有限的，特别是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源。 在Yarn中，负责给应用分配资源的就是Scheduler...
Apache Hadoop Yarn (Yet Another Resource Negotiator，另一种资源协调者)，是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。...
1. FIFO Scheduler 2. Capacity Scheduler 3. Fair Scheduler
A1 原因提交方式：注意用yarn-cluster提交方式的命令日志没有收集 A2 解决用yarn-cluster提交方式的命令命令：./spark-submit --master yarn
本文是用的Hadoop版本是最新的2.7.2发行版。 本文分两个机器环境，分别是研发环境和测试环境：
YARN 的基本设计思想是将 MapReduce V1 中的 JobTracker 拆分为两个独立的服务：ResourceManager 和 ApplicationMaster。ResourceManager 负责整个系统的资源管理和分配，ApplicationMaster 负责单个应用程序的的管理。 ...
现代前端项目往往依赖很多第三方包。如果能大幅提升装包速度和减少包占的空间，是极好的。
看完本文后希望可以检查一下图中的内容是否都掌握了，文中的例子最好实际操作一下，下面开始正文。
不同于MapReduce将中间计算结果放入磁盘中，Spark采用内存存储中间计算结果，减少了迭代运算的磁盘IO，并通过并行计算DAG图的优化，减少了不同任务之间的依赖，降低了延迟等待时间。内存计算下，Spark 比 MapReduce 快100倍。...
