滴滴出行大数据数仓实战

文章目录

- 前言
- 1. 业务背景
- 2. 日志数据集介绍
- 3. 构建数据仓库
- 4 数据预处理
- 5 订单指标分析
- 6 Sqoop数据导出
- 7.数据导出操作
- 8 Superset数据可视化
- 总结
要下的配套资料，已经上传到百度网盘好了

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

前言

作为技术人，我是不怎么八卦的，奈何这次国家重拳整理的是“大数据乱象”，manor作为大数据专业的学生，不得不关注此次的滴滴事件。

滴滴出行APP被下架，此时入职滴滴，好比49年加入国军～

但是，外面的世界不管怎么变化，掌握好技术是你安身立命的根本，接下来我们就来学习一下：数仓实战项目之滴滴出行本课程会综合应用HDFS、Hive、SparSQL、Zeppelin、Sqoop、Superset等技术，结合滴滴出行的数据完成数仓实战。

滴滴出行实战需要的技术

滴滴出行项目可视化

因此，学习本课程，需要你具备以下技术的简单基础技能：

HDFS Hive SparSQL Zeppelin Sqoop Superset 该实战项目能够教会你，如何做：

日志数据集数据仓库构建数据分区表构建数据预处理订单指标分析 Sqoop数据导出 Superset数据可视化那么如何学习本课呢？一定要动手实践，在自己的电脑上完成。

接下来就开始学习吧！

1. 业务背景

1.1 业务介绍滴滴拥有超过4.5亿用户，在中国400多个城市开展服务，每天的订单量高达2500W，每天要处理的数据量4500TB。仅仅在北京，工作日的早高峰一分钟内就会有超过1600人在使用滴滴打车。通过对这些数据进行分析，了解到不同区域、不同时段运营情况。通过这些出行大数据，还可以看到不同城市的教育、医疗资源的分布，长期观察对城市经济、社会资源的发展、变迁情况，有非常有研究价值。本次的案例将某出行打车的日志数据来进行数据分析，例如：我们需要统计某一天订单量是多少、预约订单与非预约订单的占比是多少、不同时段订单占比等。最终效果如下：

1.2 架构图要进行大规模数据分析，我们要考虑几个问题：

打车的用户量非常庞大，数以亿记的用户将会有海量的数据需要存储。如何保存这些数据呢？
为了方便对这些大规模数据进行处理、分析，我们如何建立数据模型，方便进行业务分析呢？
亿级的数据如何保证效率，效率分析？
数据分析的结果，应该以更易懂的方式呈现出现，如何展示这些数据？要解决这些问题，我们需要设计一套大数据架构来解决上述问题。

解决方案：

用户打车的订单数据非常庞大。所以我们需要选择一个大规模数据的分布式文件系统来存储这些日志文件，此处，我们基于Hadoop的HDFS文件系统来存储数据。
为了方便进行数据分析，我们要将这些日志文件的数据映射为一张一张的表，所以，我们基于 Hive来构建数据仓库。所有的数据，都会在Hive下来几种进行管理。为了提高数据处理的性能。
我们将基于Spark引擎来进行数据开发，所有的应用程序都将运行在Spark集群上，这样可以保证数据被高性能地处理。
我们将使用Zeppelin来快速将数据进行可视化展示。

2. 日志数据集介绍

2.1 日志数据文件我们要处理的数据都是一些文本日志，例如：以下就是一部门用户打车的日志文件。

代码语言：javascript复制

b05b0034cba34ad4a707b4e67f681c71,15152042581,109.348825,36.068516, 陕 西 省 , 延 安
市,78.2,男,软件工程,70后,4,1,2020-4-12 20:54,0,,2020-4-12 20:06
23b60a8ff11342fcadab3a397356ba33,15152049352,110.231895,36.426178, 陕 西 省 , 延 安
市,19.5,女,金融,80后,3,0,,0,,2020-4-12 4:04
1db33366c0e84f248ade1efba0bb9227,13905224124,115.23596,38.652724, 河北省 , 保 定
市,13.7,男,金融,90后,7,1,2020-4-12 10:10,0,,2020-4-12 0:29
46cfb3c4b94a470792ace0efdd2df11a,13905223853,113.837765,34.743035, 河 南 省 , 郑 州
市,41.9,女,新能源,00后,9,0,,0,,2020-4-12 1:15
878f401c9ca6437585ce1187053c220a,13905223356,113.837765,31.650084, 湖 北 省 , 随 州
市,35.6,男,教育和培训,80后,8,1,2020-4-12 1:06,0,,2020-4-12 4:35
44165cf545734bf6a114aa641479e828,15895252169,109.275236,34.255614, 陕 西 省 , 西 安
市,30.8,女,O2O,90后,8,0,,1,15152049060,2020-4-12 5:07

2.2 用户打车订单日志每当用户发起打车时，后台系统都会产生一条日志数据，并形成文件。

代码语言：javascript复制

b05b0034cba34ad4a707b4e67f681c71,15152042581,109.348825,36.068516, 陕西省 , 延 安
市,78.2,男,软件工程,70后,4,1,2020-4-12 20:54,0,,2020-4-12 20:06

这条日志包含了以下这些字段： orderId 订单id telephone 打车用户手机 long 用户发起打车的经度 lat 用户发起打车的纬度 province 所在省份 city 所在城市 es_money 预估打车费用 gender 用户信息 - 性别 profession 用户信息 - 行业 age_range 年龄段（70后、80后、…） tip 小费 subscribe 是否预约（0 - 非预约、1 - 预约） sub_time 预约时间 is_agent 是否代叫（0 - 本人、1 - 代叫） agent_telephone 预约人手机 order_time 订单时间

2.3 用户取消订单日志

当用户取消订单时，也会在系统后台产生一条日志。用户需求选择取消订单的原因。

2.4 用户支付日志

用户点击确认支付后，系统后台会将用户的支持信息保存为一条日志。

2.5 用户评价日志用户评价日志：用户点击提交评价后，系统后台也会产生一条日志。用户评价日志数据内容

3. 构建数据仓库

需要对日志文件的原始数据进行预处理，才能进行分析。

有这么几类数据要考虑：

原始日志数据（业务系统中保存的日志文件数据）

预处理后的数据

分析结果数据

这些数据通过Hive来进行处理，因为Hive可以将数据映射为一张张的表，然后就可以通过编写HQL来处理数据了，简单、快捷、高效。为了区分以上这些数据，我们将这些数据对应的表分别保存在不同的数据库中。

接下来就要创建三个数据库，分别用来管理每一层的表数据

在ods数据库中创建三种表单

创建用户打车订单表创建取消订单表创建订单表支付表创建用户评价表

大规模数据的处理，必须要构建分区。

此处的需求每天都会进行数据分析（做的是离线分析），采用T 1的模式。

表加载数据的代码如下

4 数据预处理

预处理的需求

建宽表语句

预处理SQL语句

加载到宽表中

5 订单指标分析

需求：计算4月12日总订单笔数 1.编写HQL语句

代码语言：javascript复制

select
 count(orderid) as total_cnt 
from
 dw_didi.t_user_order_wide 
where 
 dt = '2020-04-12’
;

app层建表

代码语言：javascript复制

-- 创建保存日期对应订单笔数的app表
create table if not exists app_didi.t_order_total(
    date string comment '日期（年月日)',
    count integer comment '订单笔数'
)
partitioned by (month string comment '年月，yyyy-MM')
row format delimited fields terminated by ','
;

加载数据到app表

代码语言：javascript复制

insert overwrite table app_didi.t_order_total partition(month='2020-04')
select 
  '2020-04-12',count(orderid) as total_cnt
From  dw_didi.t_user_order_wide
Where   dt = '2020-04-12';

6 Sqoop数据导出

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。来自于Apache软件基金会提供。 Hadoop生态系统包括：HDFS、Hive、Hbase等 RDBMS体系包括：Mysql、Oracle、DB2等。 Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”。

代码语言：javascript复制

-- 创建目标数据库
create database if not exists app_didi;
-- 创建预约订单/非预约订单结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_subscribe_total(
DATE DATE COMMENT '日期',
subscribe_name VARCHAR(20) COMMENT '是否预约',
COUNT INT COMMENT '订单数量'
);
-- 创建不同时段订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_timerange_total(
DATE DATE COMMENT '日期',
timerange VARCHAR(20) COMMENT '时间段',
COUNT INTEGER COMMENT '订单数量'
);
-- 创建不同地域订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_province_total(
DATE DATE COMMENT '日期',
province VARCHAR(20) COMMENT '省份',
COUNT INTEGER COMMENT '订单数量'
);
-- 创建不同年龄段订单占比分析结果表
CREATE TABLE IF NOT EXISTS app_didi.t_order_agerange_total(
DATE DATE COMMENT '日期',
age_range VARCHAR(20) COMMENT '年龄段',
COUNT INTEGER COMMENT '订单数量'
);

7.数据导出操作

将Hive中的结果表导出到Mysql中（非全部）

代码语言：javascript复制

   #导出订单总笔数表数据
    bin/sqoop export 
    --connect jdbc:mysql://192.168.88.100:3306/app_didi 
    --username root 
    --password 123456 
    --table t_order_total 
    --export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-04
 
    #导出预约和非预约订单统计数据
    bin/sqoop export 
    --connect jdbc:mysql://192.168.88.100:3306/app_didi 
    --username root 
    --password 123456

8 Superset数据可视化

Superset是一款开源的现代化企业级BI，是目前开源的数据分析和可视化工具中比较好用的，功能简单但可以满足我们对数据的基本需求，支持多种数据源，图表类型多，易维护，易进行二次开发。它的特点如下： 1.丰富的数据可视化集 2.易于使用的界面，用于浏览和可视化数据 3.可提供身份验证在真正开始利用Superset对数据可视化之前，要先将Superset连接据库，又称创建数据源。

实现步骤 1.创建看板 2.设置看板名字 3.进入看板 4.编辑看板 5.选择自定义图表 6.制作看板 7.调整看板位置

至于看板效果呈现，就交给读者自行完成了～～

总结

希望这次国家重拳出击整顿“大数据杀熟”，能够彻底有效，毕竟即便是笔者是学大数据的，如果不多下几个APP比价，也免不了被杀熟。此外，希望通过此次整顿，大数据行业能够更加健康有序发展，这对于我们从业人员也是有好处的，因为大数据技术的出现并不全是坏处，前不久的疫情严重时，健康码，快速检测过关都有大数据在背后做支撑，使用“大数据”利剑并没有错，错的是使用在什么地方，真心祝愿技术都能用在有益于全人类的地方。

hive 数据库数据可视化 hadoop sql

0 人点赞