欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
生成对抗网络是一项非常基础的技术,医学图像则是一个非常重要的应用方向,当前GAN在医学图像中陆续也有了一些比较重要的应用,本次我们来简单给大家推荐一些图像生成的工作。
作者&编辑 | 言有三
1 基础数据仿真GAN
医学图像领域数据获取和标注成本非常高昂,因此对数据的仿真有非常大的需求,基本的DCGAN模型已经被用于各类任务的数据增强。
文章引用量:1000
推荐指数:✦✦✦✦✧
[1] Frid-Adar M, Klang E, Amitai M, et al. Synthetic data augmentation using GAN for improved liver lesion classification[C]//2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). IEEE, 2018: 289-293.
[2] Chuquicusma M J M, Hussein S, Burt J, et al. How to fool radiologists with generative adversarial networks? A visual turing test for lung cancer diagnosis[C]//2018 IEEE 15th international symposium on biomedical imaging (ISBI 2018). IEEE, 2018: 240-244.
[3] Baur C, Albarqouni S, Navab N. MelanoGANs: high resolution skin lesion synthesis with GANs[J]. arXiv preprint arXiv:1804.04338, 2018.
2 有条件监督数据仿真GAN
有些数据的获取对人体会造成一些伤害,比如CT扫描的图片比MRI图片危害性更大,我们可以使用图像翻译框架Pix2Pix将某一个域的数据转换为另一个域的数据,比如MRI变成CT。另一方面,直接生成RGB图像可能受限于训练数据,但是我们可以基于图像翻译框架,从更加简单的数据形式,比如从同一个分割掩膜生成不同的彩色图片,从而实现数据集的扩充。
文章引用量:500
推荐指数:✦✦✦✦✦
[4] Nie D, Trullo R, Lian J, et al. Medical image synthesis with context-aware generative adversarial networks[C]//International conference on medical image computing and computer-assisted intervention. Springer, Cham, 2017: 417-425.
[5] Costa P, Galdran A, Meyer M I, et al. End-to-end adversarial retinal image synthesis[J]. IEEE transactions on medical imaging, 2017, 37(3): 781-791.
3 无条件监督数据仿真GAN
在有些场景中我们需要成对的不同类型的图像,比如在放射治疗中的MRI与CT,但是高质量成对数据获取难度高,图像翻译框架CycleGAN是一个不依赖于成对数据集的框架,可被用于从某一个域的数据转换为另一个域的数据。
文章引用量:500
推荐指数:✦✦✦✦✦
[6] Wolterink J M, Dinkla A M, Savenije M H F, et al. Deep MR to CT synthesis using unpaired data[C]//International workshop on simulation and synthesis in medical imaging. Springer, Cham, 2017: 14-23.
[7] Chartsias A, Joyce T, Dharmakumar R, et al. Adversarial image synthesis for unpaired multi-modal cardiac data[C]//International workshop on simulation and synthesis in medical imaging. Springer, Cham, 2017: 3-13.
4 三维生成GAN
医学图像数据本质上是三维的,前面介绍的一些工作大多是二维切片图像的仿真,这里我们再介绍一些三维仿真GAN的工作,相比于二维图片生成计算复杂度更高,因此一些新的工作致力于在生成高分辨率图片的同时,设计更加高效的生成架构。
文章引用量:500
推荐指数:✦✦✦✦✦
[8] Jin D, Xu Z, Tang Y, et al. CT-realistic lung nodule simulation from 3D conditional generative adversarial networks for robust lung segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2018: 732-740.
[9] Sun L, Chen J, Xu Y, et al. Hierarchical Amortized GAN for 3D High Resolution Medical Image Synthesis[J]. IEEE journal of biomedical and health informatics, 2022, 26(8): 3966-3975.
5 如何进行实战
由于本次推荐的论文与图像生成、图像翻译都有关联,为了帮助大家掌握相关前置知识!我们推出了相关的专栏课程《深度学习之图像生成GAN:理论与实践》,《深度学习之图像翻译GAN:理论与实践》,感兴趣可以进一步阅读:
【视频课】CV必学,超6小时,2大模块,循序渐进地搞懂GAN图像生成!
【视频课】CV必学,超7小时,3大模块,3大案例,掌握图像翻译与风格化GAN核心技术!
总结
本次我们介绍了基于GAN的医学图像生成与数据增强中的典型应用,从事医学相关方向的朋友可以通过阅读这些文章进行初步了解。