在机器视觉领域，想将深度学习应用于实际工程项目，并最终落地，会遇到很多问题：光照、遮挡等。而采集到的数据通常难以满足各种现实环境，需要进行数据增强操作。 imgaug是一个基于OpenCV的更高级的API，包含很多集成好的图像增强的方法。
安装方式：
代码语言：javascript复制conda config --add channels conda-forge
conda install imgaug导入和增强图像
输入的图像需要符合以下两种规格之一：
- 可以是4D的numpy数组，形状需要满足“NHWC”原则，即(N, height, width, channels)
- 也可以是一个由3D numpy数组组成的列表list，3D numpy数组的形状需要满足(height, width, channels) 对于灰度图像，其形状必须满足(height, width, 1)
并且所有的图像必须是numpy数组的uint8格式，数值需要是在0-255之间。
uint8是所有API测试最彻底的数据类型，其余的格式例如float32，需要查看imgaug API的文档是否支持。
图像导入函数
imgaug只是进行图像增强的库函数，其中并没有相关图像的读取和输出的函数。因此，需要使用其他的库进行图像的导入：
imageio
cv2.imread()
另外，值得注意的是，cv2.imread()函数返回的图像颜色空间是BGR，而不是RGB，因此，需要手动改变其通道组成： cv2.imread(path)[:, :, ::-1]
因此，提倡使用imageio进行图像的导入。
导入并增强一张图片
imagio.imread("/path/to/the/file.jpg")
windows: imagio.imread("C:pathtothefile.jpg") 返回的是一个uint8格式的numpy数组，形状为HWC--RGB空间。
代码语言：javascript复制import imageio
import imgaug as ia
%matplotlib inline
image = imageio.imread("./pick1.jpg") # Image格式
print("Original")
ia.imshow(image)Augmented:
imgaug没有读图像的语句，但是有显示图像的语句。
代码语言：javascript复制# 增强
from imgaug import augmenters as iaa
ia.seed(4)
rotate = iaa.Affine(rotate=(-25, 25)) # 旋转
image_aug = rotate(image=image) # 处理后是numpy数组格式
print("Augmented:")
ia.imshow(image_aug)Augmented:
可以看出，图像发生了[-25, 25]之间角度的旋转。
在使用imgaug中包含的数据增强功能时，需要先通过传参生成某种数据增强的实例，再通过实例对图像进行处理。
尝试一下ia.seed(4),观察是否可以让旋转的角度相同。
代码语言：javascript复制ia.seed(4)
image_aug = rotate(image=image)
print("Re-Augmented:")
ia.imshow(image_aug)Re-Augmented:
仿佛每次的结果都是一样的。
- 再试试更改一下数值。
ia.seed(5)
image_aug = rotate(image=image)
print("Augmented:")
ia.imshow(image_aug)Augmented:
结果发生了随机性的变化。
增强一个batch数量的图像
实际使用中，我们通常需要处理更多份的图像数据，而不是一张。此时，可以将图形数据按照NHWC的形式或者由列表组成的HWC的形式对批量的图像进行处理。
如下述代码，将一份图像存储多次形成一个batch数量的图像。经过处理后，使用np.hstack()对处理后的图像进行显示。
代码语言：javascript复制import numpy as np
images = [image, image, image, image, image]
images_aug = rotate(images=images)
print("Augmented batch：")
ia.imshow(np.hstack(images_aug))Augmented batch：
同时使用多种增强技术
之前使用的方法仅仅在一张图像或者多张图像上使用了一种Affine的增强技术，在实际深度学习模型训练中，往往需要同时使用多种图像增强技术，从而让模型适应变化的外界条件。
在使用多种图像增强技术时，可以使用imgaug中类似keras和Pytorch中Sequential方法，将多种增强技术拼接在一起。如下所示：
代码语言：javascript复制seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)),
iaa.AdditiveGaussianNoise(scale=(10, 60)),
iaa.Crop(percent=(0, 0.2))
])
images_aug = seq(images=images)
print("Augmented:")
ia.imshow(np.hstack(images_aug))Augmented:
Crop()默认会保持输入图像的尺寸，如果将keep_size=False,输入输出的尺寸将可能会发生变化。即该参数表示是否保持图像尺寸一致。
下述代码在Sequential中设置了random_order=True，并使用单张图片重复8次得到的结果。该参数表示是否启用随机顺序增强。
代码语言：javascript复制seq = iaa.Sequential([iaa.Affine(rotate=(-25, 25)),
iaa.AdditiveGaussianNoise(scale=(30, 90)),
iaa.Crop(percent=(0, 0.4))], random_order=True)
images_aug = [seq(image=image) for _ in range(8)]
print("Augmented:")
ia.imshow(ia.draw_grid(images_aug, cols=4, rows=2))Augmented:
增强图像（不同尺寸）
在收集训练集时，训练集的尺寸往往难以做到统一尺寸。之前的示例中也总是使用的相同尺寸的图像。下述代码介绍了不同尺寸图像的处理和展示。
对于不同尺寸的图像，肯定不能使用numpy数组组成NHWC的形式，只能将不同尺寸的图像存储于列表中。
代码语言：javascript复制 seq = iaa.Sequential([
iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge"), # crop and pad images
iaa.AddToHueAndSaturation((-60, 60)), # change their color
iaa.ElasticTransformation(alpha=90, sigma=9), # water-like effect
iaa.Cutout() # replace one squared area within the image by a constant intensity value
], random_order=True)
# load images with different sizes
images_different_sizes = [
imageio.imread("./pick1.jpg"),
imageio.imread("./flower.jpg"),
imageio.imread("./samoye.jpg")
]
# augment them as one batch
images_aug = seq(images=images_different_sizes)
# visualize the results
print("Image 0 (input shape: %s, output shape: %s)" % (images_different_sizes[0].shape, images_aug[0].shape))
ia.imshow(np.hstack([images_different_sizes[0], images_aug[0]]))
print("Image 1 (input shape: %s, output shape: %s)" % (images_different_sizes[1].shape, images_aug[1].shape))
ia.imshow(np.hstack([images_different_sizes[1], images_aug[1]]))
print("Image 2 (input shape: %s, output shape: %s)" % (images_different_sizes[2].shape, images_aug[2].shape))
ia.imshow(np.hstack([images_different_sizes[2], images_aug[2]]))Image 0 (input shape: (313, 500, 3), output shape: (313, 500, 3))
Image 1 (input shape: (621, 500, 3), output shape: (621, 500, 3))
Image 2 (input shape: (406, 500, 3), output shape: (406, 500, 3))
整理总结
本节教程主要包含以下几个方面的内容：
- 在利用imgaug图像增强的方法中，如何读取和显示图像； imageio.imread() imgaug.imshow() 不推荐使用opencv，因为其读入图像默认为BGR模式；
- 单/多张图像如何利用一/多种图像增强方法；
- 如何将不同尺寸的图像组合在一起进行图像增强。
本节教程中包含的图像增强的方法：
- iaa.Affine(rotate=(-25, 25))
- 实现仿射变换，本节仅利用了其中的旋转操作；
- iaa.AdditiveGaussianNoise(scale=(10, 60))
- 添加高斯白噪声
- iaa.Crop(percent=(0, 0.2))
- 实现裁剪，参数为裁剪比例
- iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
- 实现裁剪和边缘补充
- iaa.AddToHueAndSaturation((-60, 60))
- Hue空间调整饱和度
- iaa.ElasticTransformation(alpha=90, sigma=9)
- 随机弹性变换（仿射变换的一种）
- iaa.Cutout()
- 图像增强之 cutout 生成遮挡块
* CropAndPad使用效果：*
代码语言：javascript复制import imageio
import imgaug as ia
from imgaug import augmenters as iaa
import numpy as np
%matplotlib inline
image = imageio.imread("./pick1.jpg")
crop = iaa.CropAndPad(percent=(-0.2, 0.2), pad_mode="edge")
img_aug = crop(image=image)
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)Original
* AddToHueAndSaturation使用效果 *
代码语言：javascript复制import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline
image = imageio.imread("./pick1.jpg")
hue = iaa.AddToHueAndSaturation((-60, 60))
img_aug = hue(image=image)
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)Original
* ElasticTransformation使用效果 *
代码语言：javascript复制import imageio
import imgaug as ia
from imgaug import augmenters as iaa
%matplotlib inline
image = imageio.imread("./pick1.jpg")
trans = iaa.ElasticTransformation(alpha=90, sigma=9)
img_aug = trans(image=image)
print("Original")
ia.imshow(np.hstack([image, img_aug]))
#ia.imshow(image)
#ia.imshow(img_aug)Original
