01—HDFS前面介绍了hadoop的分布式存储框架（HDFS），这个框架解决了大数据存储的问题，这是第一步。知道海量数据如何存储后，脚步不能停留，下一步要设计一个框架，用来玩（计算）这些数据时，资源（计算机集群）该如何调度，比如已知1PB的数...

spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大    exp......

spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark on yarn是不需要启动spark集群的，只需要在提交任务的机器配置...

当我们提交Hive SQL语句到YARN后，有时如果我们想监控某个SQL的执行情况，需要查看具体SQL语句，如果这个SQL语句比较长，无论是通过YARN的8088界面还是YARN的命令都无法看全这个SQL语句。...

Hadoop生态圈的Spark（https://www.cloudera.com/products/open-source/apache-hadoop/apache-spark.html），一夜之间成为默认的数据处理引擎，并被作为高级分析的标准。但是它依旧有许多东西需要完善，特别是在大规模/多租户，...

在CDH集群中spark1和Spark2版本可以共存，为了更好的体验及使用Spark新版本的API或修改已知旧版本的bug，现需要将CDH集群中Spark2的版本升级至Spark2.2最新，本篇文章主要介绍如何通过Cloudera Manager将Spark2.1版本升级...

在CDH集群启用Sentry服务后，需要关闭Hive的启用模拟功能，hive.server2.enable.impersonation设为false，这会导致任何用户在Hive中提交的所有SQL生成的MR任务的用户名称都是hive，而非真实用户。本篇文章主要介绍如何查看集...

CDH的高级功能"群集利用率报告"(Cluster Utilization Report)是整个多租户方案体系里的一部分，可以用来查看租户的资源使用情况，并可以通过Cloudera Manager的API导出资源使用报表。...

在未开通Yarn Web界面端口8088，或者开通了8088，没有开通单个NodeManager如8042时，在MapReduce作业有失败时，往往我们没法直接通过界面查看某个container具体报错日志，从而不方便分析作业出错原因。这时，我们可以在HDFS上查...

继上一章介绍如何使用R连接Hive与Impala后，Fayson接下来讲讲如何在CDH集群中提交R的Spark作业，Spark自带了R语言的支持，在此就不做介绍，本文章主要讲述如何使用Rstudio提供的sparklyr包，向CDH集群的Yarn提交R的Spark作业。...