大数据环境安装和配置（Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10，Kafka2.1.0，Flume1.8.0，Hbase2.1.1，Spark2.4.0等）

官方文档：http://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-operations

利用流，无需迭代集合中的元素，就可以提取和操作它们。这些管道通常被组合在一起，在流上形成一条操作管道。

5）计算各分区时优先的位置列表（可选），比如从HDFS上的文件生成RDD时，RDD分区的位置优先选择数据所在的节点，这样可以避免数据移动带来的开销。

1）原理： 计算能力调度器支持多个队列，每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对 同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择...

不一定，除了一对一的窄依赖，还包含一对固定个数的窄依赖（就是对父RDD的依赖的Partition的数量不会随着RDD数量规模的改变而改变）， 比如join操作的每个partiion仅仅和已知的partition进行join，这个join操作是窄依赖，依赖固定...

为什么要进行持久化？ spark所有复杂一点的算法都会有persist身影，spark默认数据放在内存，spark很多内容都是放在内存的，非常适合高速迭代，1000个步骤只有第一个输入数据，中间不产生临时数据，但分布式系统风险很高，所以容易出...

2 为什么要前后端分离开发？前后端分离开发的优势和劣势？ 让专业的人做专业的事情 优势：分工明确，各司其职 劣质：前后端联调需要消耗比较多的时间...

链接： https://pan.baidu.com/s/1cFbcj5tz5Gy6AljgpPBTyg

一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成 header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一...