今日指数项目之数据实时业务开发(需求说明)【九】

2022-04-18 08:02:28 浏览数 (1)

实时计算业务流程

需求说明

实时计算业务总体分三大块,具体是:个股行情业务、指数行情业务、板块行情业务。

总体数据流程

分时、秒级

在这里插入图片描述

K线

数据存储规模

秒级行情(Hbase):存储5日内秒级行情,数据量为2.88亿条 分时行情(Druid):存储半年内分时行情数据,数据量为8.64亿条; 历史数据(Hive数仓):以沪深市场2万只证券,存储时间按1年统计: 秒级行情: 210亿条以上 分时行情: 20亿条以上 K线: 1500万条以上

日数据采集总量统计 : 20000(只)* 3600(秒)*4(小时)= 2.88(亿)≈ 85(GB)

0 人点赞