【项目实战】ODS 层创建&数据接入

2020-09-24 16:31:02 浏览数 (1)

操作说明

此时已经将数据从 MySQL 中导入到 HDFS 中了，接下来就需要将数据导入到数据仓库的 ODS 层中，完成原始数据的存储。

这个部分分为两个阶段，首先在 Hive 中创建 ODS 层的所有表结构，表结构与源系统（MySQL）一致。之后，使用脚本将 HDFS 中存储的数据导入到 Hive 数据仓库的 ODS 层中。

ODS 层创建

1. 进入 Hive 安装节点（Node03），启动 Hive 元数据服务：

代码语言：javascript复制

hive --service hiveserver2 &
hive --service metastore &

2. 在 Node03 节点，/home/warehouse/sql 目录下编写 ods_ddl.sql，创建与业务数据库一致的数据表：

代码语言：javascript复制

mkdir /home/warehouse/sql/
vim /home/warehouse/sql/ods_ddl.sql

文件内容如下：

代码语言：javascript复制

-- 创建数据库
create database if not exists mall;
use mall;

-- 创建订单表
drop table if exists ods_order_info;
create table ods_order_info ( 
    `id` string COMMENT '订单编号',
    `total_amount` decimal(10,2) COMMENT '订单金额', 
    `order_status` string COMMENT '订单状态', 
    `user_id` string COMMENT '用户 id

hive 大数据 sql 数据库云数据库SQLServer

0 人点赞