Note_Logistics_Day01(客快物流项目概述及Docker入门)

Logistics_Day01：项目概述及Docker入门

01-[理解]-客快物流大数据项目概述

大数据分析中，主要分析引擎：

1）、MapReduce 分析引擎，更多使用Hive编写SQL，底层转换为MR程序
2）、Spark 分析引擎，物流项目，主要使用Spark 分析引擎处理分析数据：离线分析和实时分析
- DataFrame/Dataset = RDD Schema
- 离线分析：SparkSQL、实时分析：StructuredStreaming
3）、Flink 分析引擎

大数据项目：业务数据量大（传统数据库RDBMS无法满足需求）和数据分析复杂性提高。

课程安排如下所示：主要分为3个部分内容

1）、项目概述和环境准备（数据采集）
2）、数据实时ETL存储和离线报表与即席查询、快速检索
3）、OLAP分析，使用ClickHouse数据库存储和查询

整个项目来说，属于Lambda架构项目，既有离线分析，又有实时分析，使用SparkSQL和Structured

1）、批处理层：Batch Layer，离线分析
2）、速度层：Speed Layer，实时分析
3）、服务层：Server Lay，提供离线分析和实时分析结果数据，便于查询和使用

整个物流项目技术亮点：

02–[了解]-第1天课程内容提纲

主要讲解2个方面的内容：物流项目概述

1）、物流项目概述
- 项目整体介绍，比如项目背景、项目功能实现盈利（针对物流快递公司）等等
- 物流项目中，实时大屏展示
- 项目业务核心流程，物流快递行业发送快递流程
- 项目逻辑架构
- 项目数据流转图和核心业务剖析
- 项目中非功能新说明，开发周期，服务器配置，软件版本，技术选项等等

03–[掌握]-项目整体介绍

在整个中，最后给大家展示：实时大屏统计分析，实时性要求不是很高，分钟基本延迟。实时大屏每隔10秒，刷新一下记录，从ClickHouse 数据库中查询分析数据，进行大屏展示。

1）、行业背景介绍：自从国内电商购物节开始以后，每年用户电商APP购买物品增加，快递数量指数级别增长。

2）、物流行业特点：属于复合型产业，实时产生大量的业务数据，需要关联性分析处理。

3）、项目背景介绍：基于上述诉求，需要将快递物流产生相关业务数据，存储到大数据平台引擎中，进行分析（离线报表和实时查询检索）。

4）、物流大数据作用

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RadClEeU-1625444773065)(/img/1615516690862.png)]

5）、物流大数据应用案例
- 传统物流行业报表分析，依然需要完成的，统计
- 大数据应用主要体现在车货匹配、运输路线优化、库存预测、设备修理预测、供应链协同管理等方面

04–[理解]-物流实时大屏系统

从实时OLAP数据库ClickHouse表中读取数据，大屏每隔10秒查询数据库表，将数据展示前端大屏，具体如下图所示：

1615517773800

针对实时大屏来说：

1）、大屏展示，如何做的？？NodeJS和Vue
2）、数据实时查询，存储在哪里？？？ClickHouse数据库

上述为整个实时大屏展示技术流程图，大家务必记清楚。

05–[理解]-项目核心业务流程

了解针对物流快递行业来说，业务流程是如何进行的：从客户A下单开始，一直到，客户B收到快件结束。

快递业务流程：

1）、发货客户：客户下单
2）、受理部分：快递员上门取货
3）、发货网点仓库：将快递放到网点仓库，其中需要分类处理，等到运输配送
4）、中转仓库：可选，只有不能直接送到，经过中转仓库，需要再次配送
5）、目的部门：快递经过运输，已经送达到目的地网点，分配给相应派送人员
6）、收货客户：收取快递。

06–[理解]-项目逻辑架构

接下来，看一下整个物流项目：逻辑技术架构图，项目中每个步骤使用什么技术，技术选项（为什么选这个技术框架）。

AdHoc：即席查询，即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。即席查询与普通应用查询最大的不同是普通的应用查询是定制开发的，而即席查询是由用户自定义查询条件的。即席查询，在大数据领域中，比较普遍需求，随时依据用户的需求，查询分析海量数据。