1 资源调度的目标和价值1.1 子系统高效调度任务之间资源隔离，减少争抢。 任务分配调度时结合资源分配，各个任务分配合理的资源，充分利用系统资源，减少资源利用不充分的问题。 资源调度结合优先级，优先级高的分配更多的资源...

千里之行始于足下,学习大数据我们首先就要先接触Hadoop,上节介绍到Hadoop分为Hadoop-HDFS,Hadoop-YARN,Hadoop-Mapreduce组成,分别负责分布式文件存储,任务调度,计算处理,本机我们在单机模式下把Hadoop运行起来并且简...

Spark在standalone模式下，默认是使用FIFO的模式，我们可以使用spark.cores.max 来设置它的最大核心数，使用spark.executor.memory 来设置它的内存。     在YARN模式下，使用--num-workers设置worker的数量，使用--worker-...

Spark的部署让人有点儿困惑，有些需要注意的事项，本来我已经装成功了YARN模式的，但是发现了一些问题，出现错误看日志信息，完全看不懂那个错误信息，所以才打算翻译Standalone的部署的文章...

【编者按】成熟、通用让Hadoop深得大数据玩家喜爱，即使是在YARN出现之前，在流处理框架林立下，Hadoop仍然被众多机构广泛运用在离线处理之上。借鉴于Mesos，MapReduce获得新生，YARN提供了更加优秀的资源管理器，让Storm等流处...

1、问题 最近公司的集群从 Apache hadoop 0.20.203 升级到了 CDH 4，迈进了 Hadoop 2.0 的新时代，虽然新一代的 hadoop 努力做了架构、API 上的各种兼容， 但总有“照顾不周”的地方，下面说的这个有关分布式缓存的案例就是...

同事最近对MR on Yarn中Map数量的一个小的研究，描述如下：    在新版MapReduce 中即 MR on yarn中，不支持设置Map数量。    Map的数量是由MinInputSplitSize决定的，公式： Map的数量 = TotalSize / MinInputSplitSiz...

简单来讲，就是更多实例，更多迭代，更多业务，更多思路。以业务业务来理解思路，以迭代来验证业务逻辑。一句话，“学前端，只学Js不学业务逻辑、开发思路，没用。”<!-- 正文一 -->2018年嘛，目前看来，前端框架方面VueJs和ReactJs二分...

Spark的运行模式 Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以...

以下为我在知乎问题「2017年前端有什么样变化？即将来临的2018有什么样的期待？」下的回答，稍作整理分享给大家。如有遗漏欢迎在评论中指出。原文如下：在即将过去的2017年里，我们回顾：逃不过的三大框架React继续在前端领域占...