在滤波、变换、缩放等任务中,图像分割具有重要的意义。图像分割是将不同的对象划分为不同的部分,并将这些区域以明显的颜色或者记号标记出来。图像分割是使用轮廓、边界框等概念进行其他高级计算机视觉任务(例如对象分类和对象检测)的基础。良好的图像分割为我们后续的图像分类以及检测奠定了基础。
在计算机视觉中主要有3种不同的图像分割类型:
1.颜色分割或阈值分割
2.语义分割
3.边缘检测
在本文里,我们将介绍基于颜色的图像分割,并通过OpenCV将其实现。小伙伴可能会问,当我们拥有像Caffe和Keras这样的工具时,为什么要使用拥有21年历史的OpenCV库。与Caffe和Keras等现代SOTA DL方法相比,OpenCV虽然在准确性方面有一些落后,但是运行速度相较于上述方法具有得天独厚的优势。
跨框架进行图像分类任务的CPU性能比较
即使使用最著名的神经网络框架之一的YOLOv3进行对象检测时,其运行速度也是不尽如人意的。此外,Darknet使用OpenMP(应用程序编程接口)进行编译的时间几乎是OpenCV的18倍。这更加说明了使用OpenCV的速度是比较快速的。
在OpenCV和Darknet上进行YOLOv3培训时CPU性能
颜色分割可用于检测身体肿瘤、从森林或海洋背景中提取野生动物的图像,或者从单一的背景图像中提取其他彩色物体。下面几幅图是图像分割的几个典型示例。:
医学中的颜色分割
颜色分割示例
从以上示例中可以看出,尽管OpenCV是一种更快的方法,但是它对于图像的分割结果并不是非常的理想,有时会出现分割误差或者错误分割的情况
接下来我们将介绍如何通过OpenCV对图像进行颜色的分割。这里我们有一张含有鸟的图片,我们的目标是通过颜色分割尝试从图片中提取这只鸟。
含鸟的图片
首先我们导入完成该任务所需的所有库和这张图像:
代码语言:javascript复制import cv2 as cvimport matplotlib.pyplot as pltfrom PILimport Image!wget -nv https://static.independent.co.uk/s3fs-public/thumbnails/image/2018/04/10/19/pinyon-jay-bird.jpg -O bird.pngimg = Image.open('./bird.png')
接下来我们使用滤波器对该图像进行预处理,对图像进行模糊操作,以减少图像中的细微差异。在OpenCV中提供了4个内置的滤波器,以满足用户对图像进行不同滤波的需求。这4种滤波器的使用方式在下面的代码中给出。但是,针对于本文中需要分割的图像,我们并不需要将4种滤波器都使用。
代码语言:javascript复制blur = cv.blur(img,(5,5))blur0=cv.medianBlur(blur,5)blur1= cv.GaussianBlur(blur0,(5,5),0)blur2= cv.bilateralFilter(blur1,9,75,75)
下图是图像滤波模糊后的结果:
模糊后的图像
如果小伙伴对图像滤波感兴趣,可以在这里进行了解https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_filtering/py_filtering,这里再做过多的介绍。
接下来我们需要将图像从BGR(蓝绿色红色)转换为HSV(色相饱和度值)。为什么我们要从BGR空间中转到HSV空间中?因为像素B,G和R的取值与落在物体上的光相关,因此这些值也彼此相关,无法准确描述像素。相反,HSV空间中,三者相对独立,可以准确描述像素的亮度,饱和度和色度。
代码语言:javascript复制hsv = cv.cvtColor(blur2, cv.COLOR_BGR2HSV)
这个操作看似很小,但当我们尝试找到要提取的阈值或像素范围时,它会使我们的工作变得更加简单。
接下来是“颜色分割”的最重要一步,即“阈值分割”。这里我们将确定要提取的所有像素的阈值。使用OpenCV进行颜色分割中最重要步骤——阈值分割,这可能是一个相当繁琐的任务。即使我们可能想到通过使用颜色选择器工具来了解像素值,但是仍然需要进行不断的尝试,以便在所有像素中获取期望的像素,有些时候这也可能是一项艰巨的任务。具体操作如下:
代码语言:javascript复制low_blue = np.array([55, 0, 0])high_blue = np.array([118, 255, 255])mask = cv.inRange(hsv, low_blue, high_blue)
上面代码中最后一行的“Mask”将所有不在描述对象范围内的其他像素进行覆盖。程序运行结果如下图所示:
Mask
接下来,运行最后的代码以显示由Mask作为边界的图像。所使用的代码和程序运行结果在下面给出:
res = cv.bitwise_and(img,img, mask= mask)
从颜色分割中提取图像
那么通过上面的方式,我们就实现了基于颜色的图像分割,感兴趣的小伙伴们可以通过上面的代码和步骤进行尝试,看看能否满足自己的图像分割需求。