在Hadoop的HDFS中客户端的操作请求，无论是上传数据或者下载数据都是由NameNode负责接收和处理。最终将数据按照数据块的形式保存到数据节点DataNode上。下图说明了HDFS数据上传的过程。...

为了方便操作Hadoop，需要设置HADOOP_HOME的环境变量，并把bin和sbin目录加入系统的PATH路径中。下面列举了具体的步骤。

Flink与Spark一样也是大数据计算引擎，可以完成离线的批处理计算和流处理计算。Flink的优势在它的流处理引擎DataStream。下图展示了Flink的生态圈体系架构。...

Spark的生态圈体系架构与Hadoop略有不同。因为在Spark中只有数据的计算部分，没有数据的存储部分，因为Spark的核心就是它的执行引擎。下图展示了Spark的生态圈体系，以及访问每个模块的访问接口。...

它的全称是Hadoop Distributed File System，它是Hadoop分布式文件系统，用于解决大数据的存储问题。HDFS源自于Google的GFS论文，可用于运行在低成本的通用硬件上，是一个具有容错的文件系统。...

Yarn作为一个资源和任务调度的平台，在实际应用中往往不止一个应用程序运行在Yarn之上，例如：在Yarn上同时运着MapReduce任务、Spark任务和Flink任务等等。这时候Yarn就需要有一种机制进行调度去分配资源给这些应用程序。...

在了解了大数据各个生态圈所包含的组件及其功能特性后，就可以利用这些组件来搭建一个大数据平台从而实现数据的存储和数据的计算。下图展示了大数据平台的整体架构。...

千万级别的数据，执行delete where 时，非常的慢，不论你有没有索引都是一样的。此时可以采用以下方法折中：

随着企业数据规模的不断增长，人工方式分析大数据平台的计算任务、存储和调度性能已经无法满足业务要求。面对每天数以万计的计算任务和海量的存储数据，传统人工分析不仅会浪费大量时间，同时也需要分析人员具备较高的专业...

本篇，不是面向运维级别的 liunx系统学习, 而是针对Java——大数据学习, 所需要的基本功能~ Linux 总而言之，根本也就是一个 操作系统！ 操作系统, 作为一个程序员 现代人每天都会有很多接触: 常见的操作系统有↓↓↓...