三.分库分表工具
1、sharding-sphere:jar,前身是sharding-jdbc;
2、TDDL:jar,Taobao Distribute Data Layer;
3、Mycat:中间件。
注:工具的利弊,请自行调研,官网和社区优先。
四.分库分表步骤
根据容量(当前容量和增长量)评估分库或分表个数 -> 选key(均匀)-> 分表规则(hash或range等)-> 执行(一般双写)-> 扩容问题(尽量减少数据的移动)。
五.分库分表问题
1、非partition key的查询问题(水平分库分表,拆分策略为常用的hash法)
1、端上除了partition key只有一个非partition key作为条件查询
- 映射法
- 基因法
注:写入时,基因法生成user_id,如图。关于xbit基因,例如要分8张表,23=8,故x取3,即3bit基因。根据user_id查询时可直接取模路由到对应的分库或分表。根据user_name查询时,先通过user_name_code生成函数生成user_name_code再对其取模路由到对应的分库或分表。id生成常用snowflake算法。
2、端上除了partition key不止一个非partition key作为条件查询
- 映射法
- 冗余法
注:按照order_id或buyer_id查询时路由到db_o_buyer库中,按照seller_id查询时路由到db_o_seller库中。感觉有点本末倒置!有其他好的办法吗?改变技术栈呢?
3、后台除了partition key还有各种非partition key组合条件查询
- NoSQL法
- 冗余法
2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)
注:用NoSQL法解决(ES等)。
3、扩容问题(水平分库分表,拆分策略为常用的hash法)
1、水平扩容库(升级从库法)
注:扩容是成倍的。
2、水平扩容表(双写迁移法)
第一步:(同步双写)应用配置双写,部署;
第二步:(同步双写)将老库中的老数据复制到新库中;
第三步:(同步双写)以老库为准校对新库中的老数据;
第四步:(同步双写)应用去掉双写,部署;
注:双写是通用方案。
六.分库分表总结
分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。且不可为了分库分表而拆分。
1、选key很重要,既要考虑到拆分均匀,也要考虑到非partition key的查询。
2、只要能满足需求,拆分规则越简单越好。