前言
网络应用持续扩张的过程中,为了处理海量数据往往首先遇到的挑战就是数据存储的扩展
数据存储的扩展一般以切分来实现,切分的技术实现又可分为垂直切分和水平切分:
- 以表(或Schema)为切分粒度的是垂直切分
- 以表内行为切分粒度的是水平切分
初期扩展使用垂直切分就可以基本解决问题,垂直切分也相对简单,但随着数据行成量级的持续增长,针对这张表的各层面操作性能都会显著降低,此时就不得不进行水平切分了,水平切分就要复杂很多
为了应对此类挑战,就产生了一类新的数据库 NoSQL (Not Only SQL) ,此类的代表有 MongoDB、Redis、Memcached、Elasticsearch ,这类数据库可以轻松应对数据库的扩展(不论是水平还是垂直切分都非常高效),在海量数据的情况下,也能有着极佳的读写性能,NoSQL的根本优势就在于大数据时代易于进行大规模分布式扩展
但是由于NoSQL固有的分布式架构,目前对事务的支持非常弱,存储也是弱结构的,join等复杂操作能力很差,应用场景比较局限
数据库弱了,就意味着,如果要实现一样的特性,应用层面的设计得更复杂才能弥补,这也无形地引入了架构风险
为了使用到关系模型的一些特性(交易或支付的场景,前几年非常火热的去IOE),还是绕不过关系型数据库,但是关系型数据库先天就对分布式支持很弱
简单点可以这么理解:
- 事务性就是序列化,高并发就是分布式,序列化与并行相背离,所以事务性和分布式很难和谐共处
在事务性和高并发中得有取舍,所以市面上又出现了很多用来进行协调的中间件
Mycat 是一个数据库分库分表中间件,就是用来协调这类问题的
Tip: Mycat 是一款国人贡献的非常优秀的开源软件,近两年来,国人贡献出越来越多优秀的开源项目,对于IT技术界真是一种可喜局面
与 Mycat 类似的还有 TDDL、Amoeba、Cobar,它们的架构如下:
- TDDL
- Amoeba