Mysql
:是单进程多线程数据库。
层名称 | 作用 |
---|---|
处理网络链接层 | 连接与线程处理,这一层并不是MySQL独有,一般的基于C/S架构的都有类似组件,比如连接处理、授权认证、安全等。 |
SQL处理层 | 也叫MySQL服务器层,包括缓存查询、解析器、优化器,这一部分是MySQL核心功能,包括解析、优化SQL语句,查询缓存目录,内置函数(日期、时间、加密等函数)的实现 |
存储引擎层 | 负责数据存储,存储引擎的不同,存储方式、数据格式、提取方式等都不相同,这一部分也是很大影响数据存储与提取的性能的。但是,与分层的思想一致,SQL处理层是通过API与存储引擎通信的,API屏蔽了下层的差异,下层提供对外接口,上层负责调用即可,不必清楚下层是怎么实现的。 |
第1层网络连接层介绍:网络连接层主要有连接池和线程池。
mysql的连接管理方式:
Mysql-Server同时支持3种连接管理方式,包括No-Threads,One-Thread-Per-Connection和Pool-Threads。No-Threads:表示处理连接使用主线程处理,不额外创建线程,这种方式主要用于调试;One-Thread-Per-Connection:是线程池出现以前最常用的方式,为每一个连接创建一个线程服务;Pool-Threads:则是线程池方式。 |
---|
为什么有连接池和线程池?
每创建一个新的会话(或链接),mysql内部创建一个新的用户线程来提供服务,当连接被销毁,线程也被销毁.即一个连接有一个线程.这种创建链接和销毁链接都会消耗cpu性能.为了降低这种消耗,有了连接池和线程池. |
---|
连接池和线程池说明:
连接池主要用来管理客户端的连接,避免重复的连接/断开操作,是将空闲的连接缓存起来,可以复用。从而减少了连接mysql server/断开mysql server的开销与成本,从而提升性能。但是mysql的连接池不能获取mysql server的查询处理能力以及当前的负载情况。线程池:线程池的操作是在mysql server端,并且设计就是用来管理当前并发的连接和查询。 |
---|
thread pool到底能够提升多少性能?
根据Oracle Mysql官方的性能测试:在并发达到128个连接以后.没有线程池的Mysql性能会迅速降低。使用线程池以后,性能不会出现波动,会一直保持在较好的状态运行。在读写模式下,128个连接以后,有线程池的Mysql比没有线程池的Mysql性能高出60倍。在只读模式下,512个连接以后,有线程池的Mysql比没有线程池的Mysql性能高出18倍。 |
---|
什么时候可以考虑使用thread_pool?
show global status like '%threads_running%';其值是mysql server当前并发执行语句的数量,如果这个值一直保持在40左右的区间,那么可以考虑使用thread pool。如果你使用了innodb_thread_concurrency参数来控制并发的事物量,那么使用线程池将会获得更好的效果。如果你的工作是有很多短连接组成的,那么使用线程池是有益的。 |
---|
第2层sql处理层(SQL Layer):主要有SQL Interface、Parser、Optimizer、Cache和Buffer
Sql层功能:
功能:解析器,授权,优化器,查询执行,查询高速缓存,查询日志记录,跨存储引擎功能。1.解析器:解析SQL语法,形成语法树2.授权:SQL的权限验证 *.*对于指定的库和表3.优化器:CBO(基于成本的优化),根据统计信息--> SQL改写 --->执行计划(即选哪种算法执行) |
---|
sql层处理数据流程:
用户传入sql-----查询缓存(命中缓存可直接返回结果)----解析器(生成sql解析树)----预处理器(可能sql等价改写)-----查询优化器(生成sql执行计划)----查询执行引擎----结果返回给用户。 |
---|
SQL接口:(SQL Interface)
功能:接受用户的SQL命令,并且返回用户需要查询的结果。比如select from就是调用SQL Interface |
---|
解析器:(Parser)--生成sql解析树
SQL命令传递到解析器的时候会被解析器验证和解析(进行语义和语法的分析,分解成数据结构,如果在分解构成中遇到错误,那么就说明这个sql语句是不合理的 ),生成sql解析树。解析器是由Lex和YACC实现的,是一个很长的脚本。 |
---|
查询优化器:(Optimizer) --生成执行计划
SQL语句在查询之前会使用查询优化器对查询进行优化,根据客户端请求的 query 语句,和数据库中的一些统计信息,在一系列算法的基础上进行分析,得出一个最优的策略,告诉后面的程序如何取得这个 query 语句的结果,即执行计划。查询优化器使用选取-投影-联接策略生成执行计划。 |
---|
选取-投影-联接:
用一个例子就可以理解: select uid,name from user where gender = 1;这个select 查询先根据where 语句进行选取,而不是先将表全部查询出来以后再进行gender过滤。这个select查询先根据uid和name进行属性投影,而不是将属性全部取出以后再进行过滤。将这两个查询条件联接起来生成最终查询结果。 |
---|
查询缓存功能(Cache和Buffer):(建议关闭)
当执行sql的时候,sql第一次被执行,然后再次执行的时候如果相同的sql,可以不进行解析,直接返回结果,提高查询效率.关闭查询缓存:query_cache_type = 0 query_cache_size = 0局限性比较大,任何查询结果有变更,都需要进行更新,对于mysql性能影响比较严重,整个更新过程的锁颗粒度的比较高,还持有全局锁,效率很低.建议:是否使用查询缓存,不用.(在mysql8.0里没了查询缓存功能.) |
---|