教程 | OpenCV Grabcut对象分割

Grabcut介绍

Grabcut是基于图割(graph cut)实现的图像分割算法，它需要用户输入一个bounding box作为分割目标位置，实现对目标与背景的分离/分割，这个跟KMeans与MeanShift等图像分割方法有很大的不同，但是Grabcut分割速度快，效果好，支持交互操作，因此在很多APP图像分割/背景虚化的软件中可以看到其身影。

代码语言：javascript复制

void cv::grabCut(
    InputArray  img,
    InputOutputArray    mask,
    Rect    rect,
    InputOutputArray    bgdModel,
    InputOutputArray    fgdModel,
    int     iterCount,
    int     mode = GC_EVAL 
)
- img输入的三通道图像
- mask输入的单通道图像，初始化方式为GC_INIT_WITH_RECT
 表示ROI区域可以被初始化为：
 1.GC_BGD 定义为明显的背景像素 0
 2.GC_FGD 定义为明显的前景像素 1
 3.GC_PR_BGD 定义为可能的背景像素 2
 4.GC_PR_FGD 定义为可能的前景像素 3
- rect 表示roi区域
- bgdModel表示临时背景模型数组
- fgdModel表示临时前景模型数组
- iterCount表示图割算法迭代次数
- mode当使用用户提供的roi时候使用GC_INIT_WITH_RECT

对象分割

使用Grabcut，通过ROI区域选择实现对象分割，代码演示如下：

代码语言：javascript复制

import cv2 as cv
import numpy as np

src = cv.imread("D:/images/master.jpg");
cv.imshow("input", src)

mask = np.zeros(src.shape[:2], dtype=np.uint8)
rect = (53,12,356,622)
bgdmodel = np.zeros((1,65),np.float64)
fgdmodel = np.zeros((1,65),np.float64)

cv.grabCut(src,mask,rect,bgdmodel,fgdmodel,5,mode=cv.GC_INIT_WITH_RECT)
mask2 = np.where((mask==1)   (mask==3), 255, 0).astype('uint8')
print(mask2.shape)
result = cv.bitwise_and(src,src,mask=mask2)

cv.imshow("result", result)
cv.waitKey(0)
cv.destroyAllWindows()

运行效果如下：

背景替换/虚化

使用背景图像实现替换与背景融合，首先对生成的mask图像做高斯模型生成权重，根据权重对背景与前景对象实现重组生成一张新的图像，代码实现如下：

代码语言：javascript复制

import cv2 as cv
import numpy as np

src = cv.imread("D:/images/master.jpg");
background = cv.imread("D:/images/land.png")
cv.imshow("input", src)
cv.imshow("background", background)

h, w, ch = src.shape
mask = np.zeros(src.shape[:2], dtype=np.uint8)
rect = (53,12,w-100,h-12)
bgdmodel = np.zeros((1,65),np.float64)
fgdmodel = np.zeros((1,65),np.float64)

cv.grabCut(src,mask,rect,bgdmodel,fgdmodel,5,mode=cv.GC_INIT_WITH_RECT)
mask2 = np.where((mask==1)   (mask==3), 255, 0).astype('uint8')
print(mask2.shape)
object = cv.bitwise_and(src, src, mask=mask2)
cv.imshow("object", object)

# 高斯模糊
se = cv.getStructuringElement(cv.MORPH_RECT, (3, 3))
cv.dilate(mask2, se, mask2)
mask2 = cv.GaussianBlur(mask2, (5, 5), 0)
cv.imshow('mask',mask2)

# 虚化背景
background = cv.GaussianBlur(background, (0, 0), 15)

# blend image
result = np.zeros((h, w, ch), dtype=np.uint8)
for row in range(h):
    for col in range(w):
        w1 = mask2[row, col] / 255.0
        b, g, r = src[row, col]
        b1,g1,r1 = background[row, col]
        b = (1.0-w1) * b1   b * w1
        g = (1.0-w1) * g1   g * w1
        r = (1.0-w1) * r1   r * w1
        result[row, col] = (b, g, r)

cv.imshow("result", result)
cv.waitKey(0)
cv.destroyAllWindows()

运行效果如下：

mask图像与背景图像

代码语言：javascript复制

app cut graph mask

0 人点赞