1. OLTP与OLAP的介绍
数据处理大致可以分成两大类:
- 联机事务处理OLTP(On-Line Transaction Processing)。
- 联机分析处理OLAP(On-Line Analytical Processing)。
OLTP
是传统的关系型数据库(Oracle、Mysql...)的主要应用,主要是基本的、日常的事务处理,数据量小(千万级),准确性及一致性要求高,例如银行交易,商城订单交易。
OLAP
是数据仓库系统(HBase、ClickHouse...)的主要应用,支持对海量数据进行复杂的统计分析操作,持久化数据一般不进行修改,数据一致性要求不高,侧重决策支持,并且提供直观易懂的查询结果,例如商城推荐系统,用户人物画像。
2. OLTP与OLAP的比较
OLTP | OLAP | |
---|---|---|
数据操作特征 | 增删改查均衡 | 多是读请求,不修改已添加数据 |
数据处理形式 | 单条处理偏多 | 批处理偏多 |
数据量 | 千万级 | 亿为单位 |
存储格式 | 行存 | 列存 |
事务支持 | 支持 | 可以不支持 |
数据一致性要求 | 高 | 低 |
应用场景 | 基本的、日常的事务处理 | 分析 |
集群规模 | 一般单节点或少量节点 | 集群规模大 |
技术选型 | Mysql、Oracle等行存关系型数据库 | HBase、ClickHouse等列存大数据存储相关技术 |