学习gorm系列七:如何高效建立数据库连接?

2023-11-20 14:58:56 浏览数 (2)

大家好,我是渔夫子。

本期我们学习下gorm在执行具体的sql时是如何获取数据库连接以及释放连接的。

一、回顾

在上一期中我们学习了gorm是如何和数据库建立连接的过程。实际上通过gorm.Open函数并没有和数据库建立连接,而只是返回了一个全局的gorm.DB对象。真正的数据库连接是在具体执行sql语句时才建立的。比如在执行db.Firstdb.Finddb.Update等语句时。

我们以查询为例,如下:

代码语言:javascript复制
func main() {
 dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"

 db, _ := gorm.Open(mysql.Open(dsn), nil)

 var row MTest

 db.First(&row)
 

 fmt.Printf("接收的sql语句:%sn", sql)
}

那么,在执行db.First时才会和数据库建立真正的连接。

我们上期也提到过,gorm是依赖于golang的database/sql标准库的。所以,gorm的数据库连接的建立和释放是在该库中的。具体代码在标准库database/sql/sql.goDB.conn函数中。这个相关的代码是在gorm/callbacks/query.go文件中的Query函数中执行的:

代码语言:javascript复制
func Query(db *gorm.DB) {
 if db.Error == nil {
  BuildQuerySQL(db)

  if !db.DryRun && db.Error == nil {
   rows, err := db.Statement.ConnPool.QueryContext(db.Statement.Context, db.Statement.SQL.String(), db.Statement.Vars...)
   if err != nil {
    db.AddError(err)
    return
   }
   defer func() {
    db.AddError(rows.Close())
   }()
   gorm.Scan(rows, db, 0)
  }
 }
}

我们看第6行的db.Statement.ConnPoolsql.DB对象,sql.DB对象的QueryContext函数继续调用了sql.DBquery函数,如下:

代码语言:javascript复制
func (db *DB) query(ctx context.Context, query string, args []any, strategy connReuseStrategy) (*Rows, error) {
 dc, err := db.conn(ctx, strategy)
 if err != nil {
  return nil, err
 }

 return db.queryDC(ctx, nil, dc, dc.releaseConn, query, args)
}

这里的db.conn函数就是和数据库建立的地方。接下来,我们详细看该函数的实现。由于该函数代码比较多,大家有兴趣可以查看对应的源码。这里我们分析一下该函数的直接建立连接、空闲连接池以及最大连接数限制这三个方面的策略。

二、直接建立连接

最简单的方式就是每执行一次sql语句就和数据库建立一次连接,执行完毕就释放掉该链接。然后,再有sql语句执行,就再建立连接。如果有多个sql语句的查询,就会建立多个数据库连接。如下:

代码语言:javascript复制
func main() {
 dsn := "username:password@tcp(127.0.0.1:3306)/test01?charset=utf8mb4&parseTime=True&loc=Local&timeout=1000ms"

 db, _ := gorm.Open(mysql.Open(dsn), nil)

 var row MTest

 db.First(&row)

    db.First(&row)
 
 fmt.Printf("接收的sql语句:%sn", sql)
}

上面代码中有2次查询,那么就会建立2个数据库连接。

我们知道和数据库建立连接是TCP连接,每次都新建立一个链接,效率难免会很低(时间和机器资源)。那么是不是可以复用连接呢?

三、空闲连接池

sql.DB的结构中,有个freeConn字段,如下:

代码语言:javascript复制
type DB struct {
 freeConn     []*driverConn 
}

这个字段就是用来缓存空闲连接的。这个逻辑是当一个sql执行完毕后,其对应的连接并不会立即关闭,而是放入到freeConn中;等再有sql执行时,直接从freeConn中复用已有的数据库连接,而非再建立新的连接。如下:

四、控制连接数

当然,如果并发数高的情况下,空闲连接池就起不到作用了,因为建立的连接请求数已经远远大于空闲连接数了。那么,要想不让连接数失控,就需要提供一个最大连接数的限制。当请求建立连接的数量大于这个最大的阈值时,就需要等待。也就是所谓的限流。

在sql.DB结构体中用的字段是maxOpennumOpen,如下:

代码语言:javascript复制
type DB struct {
 numOpen      int    // number of opened and pending open connections
 maxOpen      int                    // <= 0 means unlimited
}

增加了最大连接数限制之后,客户端获取数据库连接的逻辑变成如下这样:

image.png

这里是当客户端2再请求连接时,发现连接数已经超过了当前最大连接数,则进入到等待队列进行阻塞等待;当客户端1执行完毕,释放连接时,并不直接放入缓存池,而是直接发送给等待的通道,这样就避免了再次和数据库建立连接。

五、总结

我们再结合上空闲连接池的机制,那么,sql.DB对于连接的复用机制整体如下:

  • 先从空闲连接池中获取。若有空闲连接,则直接使用;否则,进入下一步。
  • 若有最大连接数限制,则判断是否超过了最大连接数,若未超过,则建立新连接;否则,进入到连接等待队列。
  • 建立新连接,执行sql。
  • 释放连接。若连接等待中有等待的请求,则直接给等待的请求复用连接。否则,放入到空闲连接池。

image.png

好了,以上就是我们本期要分享的内容,希望对你有所帮助。

特别说明:你的关注,是我写下去的最大动力。点击下方公众号卡片,直接关注。关注送《100个go常见的错误》pdf文档、经典go学习资料。

0 人点赞