前两天和大家分享了一篇关于 Spark Core 数据倾斜调优 相关的文章，今天继续和大家分享一篇关于 Spark 开发调优的文章，干货文章，建议收藏！

spark是借鉴了Mapreduce,并在其基础上发展起来的，继承了其分布式计算的优点并进行了改进，spark生态更为丰富，功能更为强大，性能更加适用范围广，mapreduce更简单，稳定性好。主要区别...

使用spark streaming开发的人员都知道，它的容错机制是通过checkpoint来实现的，但是checkpoint有一个问题，就是当线上在运行一个spark streaming那么这时候你在编译一下（平时也难免不了对代码进行修改编译），再次发布的时候就...

yarn.ApplicationMaster: Final app status: FAILED, exitCode: 15, (reason: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage f...

即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统由master/slaves服务组成的，且起初master均存在单点故障，后来均通过zookeeper解决，各个节点上的资源被抽象成粗粒度的slot，有多少slot能同时...

首先我们从整个大数据生态的宏观层面概述一下数据的处理流程，主要涉及到七个层次，分别是数据源（产生数据的一方）、数据收集、数据存储、资源管理、计算框架、数据分析、可视化，如下图所示：...

Spark适用于各种各样原本需要多种不同的分布式平台的场景，包括批处理,迭代计算,交互式查询，流处理，通过在一个统一的框架下支持这些不同的计算，Spark使我们可以简单而低耗地把各种处理流程整合在一起。...

通过上面图可以很清楚的看到从Job的action到中间调度在到最后的具体执行的过程，下面针对该图做一个实例，来更加清楚的理解。

本篇主要记录一下Spark 集群环境搭建过程以及在搭建过程中所遇到的问题及解决方案

当使用kakfa作为sparkStreaming 的数据源时有两种对接方式: reciver 与 direct