很久之前，就有人问我如何做一个基于大数据技术的xx推荐系统。当时对于这个问题，着实难倒我了，因为当时只是知道一个协同过滤，其他的也没有过于深度研究。...

由于在HA架构中包含的节点比较多，在进行实际部署的时候需要做好集群的规划。图14.9一共使用了4个节点来部署HDFS HA，它们分别是：bigdata112、bigdata113、bigdata114和bigdata115。由于Hadoop默认包含了HDFS和Yarn，因此在...

本文主要记录电力行业客户的数据湖技术方案实践案例，方案概括为基于FlinkSQL+Hudi流式入湖、同步表元数据到Hive，基于Hive catalog统一元数据管理，然后基于Hive on Spark离线分析计算。该方案主要考虑与已有Hive数据仓库...

大数据体系架构中的核心组件都是主从架构，即：存在一个主节点和多个从节点，从而组成一个分布式环境。下图为展示了大数据体系中主从架构的相关组件。...

大数据体系架构中的组件非常多，每个组件又属于不同的生态圈系统。从最早的Hadoop生态圈体系开始，逐步有了Spark生态圈体系和Flink生态圈体系。因此在学习大数据之前有必要了解一下每一个生态圈体系中具体包含哪些组件，以...

大数据平台所要解决的问题是数据的存储和数据的计算，其核心思想采用的是分布式集群的思想。另一方面，分布式集群的思想在Google的技术系统中得到了很好的应用。因此Google将其核心技术的思想以论文的形式公开发表出来，这...

Structured Streaming是基于Spark SQL引擎的可扩展、可容错流计算引擎。用户可以向使用批计算一样的方式使用流计算。Spark SQL持续增量计算流数据输出结果。目前支持多种开发语言Scala、Java、Python、R等等。通过ch...

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，它是Spark中最基本、也是最重要的的数据模型。它由分区组成，每个分区被一个Spark的Worker从节点处理，从而支持分布式的并行计算。RDD通过检查点Checkpoint的方式...

要开发Spark Streaming应用程序，核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream，翻译成中文是离散流。它是Spark Streaming对流式数据...

通过SQL语句处理数据的前提是需要创建一张表，在Spark SQL中表被定义DataFrame，它由两部分组成：表结构的Schema和数据集合RDD，下图说明了DataFrame的组成。...