Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YA...
客户在使用我们的EMR产品时一天大概提交2000个appliaction,但是yarn的UI界面仅仅展示出了100多个历史application信息，影响了客户查阅历史信息。
Hadoop2.0的架构和1.0完全不一样，在安装配置上和1.0也有很大的不同，譬如配置文件的目录不一样了，还有要对yarn进行配置，这个在1.0是没有的。很多人第一次接触hadoop2.0的时候，会很不适应，而且官方的文档也有些写得不太清楚...
问题1：SPARK与HADOOP之间的关系？ spark是一种高效处理hadoop分布式数据的处理引擎。借助hadoop的yarn框架，spark就可以运行在hadoop集群中。同时spark也可以处理存储在hdfs、Hbase、Cassandra、hive和所有存储在hadoo...
在单机模式下执行成功的spark程序，在yarn上面就报错。异常信息如下： 1 14/08/14 02:05:42 INFO DAGScheduler: Completed ResultTask(2, 0) 2 14/08/14 02:05:42 INFO DAGScheduler: Stage 2 (saveAs......
在弄清楚yarn是什么之前，先来看一下MRv1。它的由编程模型+数据处理引擎（map/reduceTask）+运行时环境组成（JobTracker/TaskTracker）。其中JobTracker存在很多问题，如下：1、JobTracker本身承担了调度和计算的任务，太累了2、JobT...
从今天开始新的系列：Hadoop总结篇之前的hadoop学习篇由于是学习过程中随手记下来的一些内容，不具有系统性。所以在这个系列中，将凭着这段时间的研究心得，来记录一些自认为比较重要的东西。本系列的主要参考书目是《Hadoop...
yarn是一个分布式的资源管理系统。它诞生的原因是原来的MapReduce框架的一些不足：1、JobTracker单点故障隐患2、JobTracker承担的任务太多，维护Job状态，Job的ta...
上一篇介绍了一个job的提交过程。期间多次提到通信协议。那么协议是什么？协议其实就是通信的双方所遵守的一套规范，这套规范规定了通信时传输的数据的固定的格式。4.1 RPC协议：在hadoop中，我们采用的是RPC协议。该协议主...
离线数据分析平台实战——020Hadoop Shell命令（可跳过）Hadoop Shell命令简单描述Hadoop的Shell命令主要分为两类：一类是启动命令一类是控制/操作命令(hdfs+mapred+yarn) 其中启动命令位于sbin目录下面， 控制/操作命令主要...
