本人在日常工作中,用python写一个DB平台。
下面简单的嗦一嗦目前的主要思路和未来展望吧~
目前主要功能支持:
下一个版本迭代:
高可用模块:打算使用(??和MGR),作者不想用MHA,无理由....
这里做个小预告,可能下周或者下下周。我的好基友顺子要给大家讲讲MHA的故事。请期待~~
备份上传:打算传ceph中,提供上传和下载服务。
慢查询收集:慢查询日志输出到elk中,或者使用pt-query-digest工具进行统一收集。
权限控制:整体系统的权限控制。
等等等等.................
主要技术栈:
如何实现自动化
自动化的前提是要实现标准化,如果不能实现标准化,那么我还是请你实现标准化吧。(虽然也可以实现,成本也是巨大)
为了实现自动化,首先要统一的操作版本和MySQL分支版本,
操作系统版本 基于redhat或centos系列
6系列不能低于6.8 ,7系列不能低于7.4 。
MySQL主流分支有MySQL官方、Percona、MariaDB版本
作者个人认为 MySQL官方版本才是王道,
所以在安装的时,为了统一版本,所以选择为MySQL5.7.最新。
那么MySQL官方其他版本呢?
MySQL5.5 5.6太老,不考虑接入,尤其在新平台的开发。(低于5.7的请尽快升级)
MySQL8.0太新,作者头不铁,等等再说吧...
那么简单说一下安装部署的思路吧,目前只有单机版本。
因高可用到现在没想好到底该怎么玩,所以目前只有单机版。
利用svn/git 做版本控制,svn/git中主要包含: MySQL配置文件集合、MySQL DATA目录、MySQL安装包 MySQL TooL工具等等
整体流程如下:
文字简述
安装前需要进行如下判断。
1、判断端口是否存在。
2、判断data目录是否存在。
3、是否有剩余空间(至少要剩余10G )。
4、MD5值校队。
如果条件全部满足的话。
开始计算软件包、data包的MD5值,是否跟svn/git 目录中的是否一致。如果不一致则,执行svn up命令,一直到MD5值,为止。
创建data目录,创建软连接.....这里和普通手动安装的方式一样。 替换MySQL配置文件:主要替换端口和server_id (server_id)生成规则 ip最后一位加MySQL Port。
目前只提供3个规格。
1、低配 4C8G。
2、中配8C32G。
3、高配16C64G。
还支持创建DB、授权,授权只支持:只读和开发增删改查权限。
在这个平台中提供对MySQL巡检支持的。
可以获得当前状态 每秒的QPS、TPS、DML的操作,每秒线程创建、运行、销毁,锁的时间、临时表、binlog、 network、 InnoDB buffer 等相关信息。
关于MySQL使用情况 例如是否有冗余索引、当前DB的大小、存储引擎使用情况、主键信息、Innodb锁信息(具体SQL)、是否有大事物、内存消耗、临时表信息、是否存在全部扫、那个表的IO消耗最高等等等等。(之前写巡检,大大小小都写了至少4个版本了,辛酸脸)
当前系统最具有核心竞争力的功能这就是-----故障收集了。
主要思想,当MySQL服务故障,执行诊断命令,例如top、free、vmstat、iostat、SHOW PROCESSLIST 等常用排障命令。
并发执行同时执行如下命令。如果没执行完机器就挂掉了也是没关系的,因为在特殊的环境下,你的系统马上要发生宕机、或者马上要发生OOM。主要保障在操作系统宕机、OOM之前,收集有用的证据。
什么时候用:例如你通过监控、报警发现你的MySQL响应速度慢,主从延迟、产生了大量锁 等等的时候来手动触发。就好比一个病危的人,刚刚进入了医院,这个功能就等于医院的病危检查,方便于的日后发现蛛丝马迹。
可能是作者,乙方做多了吧,在巡检和故障收集这里用了很多的时间和精力。
未来展望,可以自动执行 当CPU超过?%、大量DML语句产生了阻塞、主从延迟多少秒、服务假死,可以自动执行一次。并且判断是否需要下线该主机。这需要很多的基础功能的完善。
除此以外,在备份模块中提供逻辑备份、物理备份。逻辑备份可以支持备份数据/表结构。在后续版本中可以完善支持备份某个表的数据表结构。并且提供下载表结构的功能。
备份任务是基于salt来实现的,做到分钟和小时级别可以指定,某小时、某分钟,最大的维度是小时级别。例如(2:20,备份每天都要做的哦~)
对于DBA来说,更看重周边的小工具,最好能够点点点把日常的工作给搞定,例如部署、上线等一些重复的工作。把更多的时候用于,做更有意义的事,例如如何优化业务、如何让SQL跑的更快、如何更好的配合业务方。
对于开发来说,他们更看重的是SQL的执行效率,也就是慢查询。还有自助上线,这样会大幅减少上线流程。
遇到的坑
其实在第一个版本的时候我采用SSH来传输包或者执行命令,最大的问题。
安全,如果能获得你存储密码或者key,那么是不是可以为所欲为了。
执行,SSH在执行命令的时候可能会造成执行一半,因为的发送端出现问题例导致无法继续执行。还容易造成数据包的不完整,MD5校对不一致哦。
效率,需要代码层实现异步,浪费时间和代码,并且不好控制。
还要一定 一定 一定做好日志的输出,
会帮助自己快速排障。否是排障真的会怀疑人生。
除了遇到坑,还被吐槽页面low啊 ,不好看,没关系。
我司前端妹子
,下周开始一起做项目,期待大家也期待一下的分享。