Postgresql源码(24)ReadBuffer_common核心流程简化

2022-07-14 13:42:58 浏览数 (2)

总结:

  1. 先走BufferAlloc拿一个buffer
    • 如果在内存中直接返回,如果不在内存中需要分配一个位置。
    • 如果有位置直接分配,如果没有位置需要clock sweep淘汰一个。
    • 拿到一个页面后,数据肯定是不对的,需要IO上来数据,如果页面本身有脏数据,需要先把页面Flush到存储再用。
  2. BufferAlloc出来的页面如果需要IO读会带着IO_IN_PROGRESS标志位和IO锁。
  3. ReadBuffer_common检查BufferAlloc有没有找到页面,如果没找到页面,也已经拿到一个带着IO标志位IO锁的buffer了。
  4. 开始读页面,然后清IO标志位,放IO锁。
  5. 【注意】大量代码在处理竞争场景,并发会导致很多问题。

主要流程:

代码语言:javascript复制
ReadBuffer_common
    ...
    BufferAlloc
        BufTableLookup:查询页面是否已经在内存中了
        [if]found:页面已经在内存中
            valid = PinBuffer
            [if]!valid:页面没有BM_VALID标志位。
                StartBufferIO
                    (1)加IO锁,BM_IO_IN_PROGRESS标志位如果有人配了,需要等标志位恢复了在重新加IO锁。
                    (2)如果是往上读(forInput==true)再检查一遍BM_VALID,如果已经配了,释放IO锁,返回false。别人已经读了。
                    (2)如果是往下写(forInput==false)再检查一遍BM_DIRTY,如果已经没了,释放IO锁,返回false。别人已经刷了。
                    (3)配置BM_IO_IN_PROGRESS;返回true。
                return:found=false
            [if]valid:当前私有缓存已经Pin过这页面了;页面有BM_VALID标志位。
                return:found=true
        [if]not found:
            StrategyGetBuffer:拿到一个buffer,可能需要clock sweep淘汰(非pin的页面,usage第一个减1到0的淘汰)
                [if]BM_DIRTY:拿到了一个脏页面,需要刷下去
                [if]BM_TAG_VALID:拿到了一个tag有效的页面,需要按顺序锁hash表
        StartBufferIO
            return:found=false  别人没做IO,需要外层函数IO
            return:found=true   别人已做IO,不需要外层函数IO

    ...
    [if]found
        return:页面已经在内存中了
    [if]not found【页面没在内存中找到】【已经分配好了一个buffer】【数据还没到】【IO_IN_PROGRESS中】
        [if]isExtend
            memset:新页面,位置有了清空buffer即可
        [if]not isExtend:不是新页面
            smgrread:读取数据 <<--这里在真正IO
        TerminateBufferIO(bufHdr, false, BM_VALID)
            (1)清理标志位:BM_IO_IN_PROGRESS | BM_IO_ERROR
            (2)配置标志位:BM_VALID
            (3)放IO锁

0 人点赞