内存数据库中的自动优化是为了解决什么问题?

2022-08-31 09:50:33 浏览数 (1)

入库过程后的自动优化,是为了解决传统分布式数据库甚至Hadoop平台也非常常见的:在用户使用一段时间后,发现如果没有对数据库的存储进行人工定时维护,则会引起性能大幅下降的问题。

以柏睿数据的全内存分布式数据库RapidsDB来具体解释,RapidsDB的3个自动优化手段,就是解决核心的3个性能影响因素:

第一个是,无论做增删改操作,数据库都会自动对相关的列存行段中的数据自动重新排序,保证优秀的查询性能。第二个是当列存行段内重新排序完成后,其外的行段组会重新做排序组织,进一步使数据有序,二次优化性能。第三个是经过上述2点的优化,有序数据使压缩率得到提升,数据文件也得到合并,数据文件个数同时也会减少。IO读写性能可以在整个使用过程中,一直保存在极高的状态中。

目前知道的是,这个全内存分布式数据库RapidsDB已经在国有某大行普惠金融项目应用中运行超过10个月,产品自动优化证明了它的能力和价值。中间经历过几次10TB级的数据加载,每天10GB级的数据新增和更新,以及定时的滚动式删除。过程中,技术团队无需对数据库做任何优化干预,相同场景的数据操作没有任何性能下降的迹象。

0 人点赞