医学影像是深度学习取得极大成功的一个领域,而眼底图像是其中一个重要的分支。眼底图像是由单目相机捕获到的眼底的2D图像。
使用眼底图像可以用于对眼科疾病诊断分级、对病变点和重要的生物标记进行分割等等,对应深度学习中的分类、分割、检测、合成等多个任务。
如下图在Web of Science上使用特定关键词的检索结果所示,深度学习在眼底图像上的应用呈现逐年增长的趋势,特别是近两年的势头更加迅猛。
来自南开大学、首都医科大学北京同仁医院、起源人工智能研究院的研究人员综述了基于深度学习的眼底影像分析最新研究进展,并提出了未来的研究方向。(课题组网站:ics.nankai.edu.cn)
这篇综述论文《Applications of Deep Learning in Fundus Images: A Review》已被Medical Image Analysis接收,作者还建立了github,用于跟踪该领域的最新研究进展。
论文贡献
1)作者全面介绍了从2016年1月至2020年8月在眼底图像中应用深度学习方法的143篇高质量文章,涵盖了多种眼底疾病、多个具有挑战性的任务。
其中会议论文主要从CVPR、AAAI、MICCAI、ISBI、ICIP处收集,期刊主要从IEEE TIP、IEEE TMI、MIA、JAMA、JAMA Ophthalmology、Ophthalmology等处收集。
2)为了方便读者迅速找到感兴趣的内容,文章总结了一个如下图的知识图谱,并在文章的末尾为知识图谱附加了查找表,可以快速找到论文的信息。
3)作者对每篇文章的介绍都是非常细节的,几乎接近每篇文章的摘要。每个主题都对当前的应用进行了详细的总结和分析。并且在文章的最后列出了通用的局限和问题,给出了可能的解决方向。
主体内容
文章介绍的应用场景非常全面,可以从下方的饼状图中看出。对于病变点的分割和检测,作者介绍了MA,EX,HE,Drusen等病变点的单独分割和检测,和多种病变点的同时分割和检测。在重要生物标记的分割上,除了常见的血管分割、OD/OC分割,还介绍了Fovea分割和动静脉分类。
而疾病的诊断分级,除了广泛被研究的DR和青光眼,作者还介绍了多种其他疾病,包括AMD、DME、ROP、白内障、病理性近视、屈光不正、诊断系统性疾病以及同时诊断最高可达36种的多种疾病诊断。
作者还特别用一章的篇幅介绍了图像合成,这一任务在眼底图像中的应用也越来越广泛。除了这些,一些图像处理包括图像配准、图像增强、图像质量评估也有介绍。
数据集和实验结果
文章按任务将数据集总结成了表格,并列出了图片的张数、分辨率、使用相机和可得性。
其中可公开获取的数据集作者还尾注了网址,并且在线版本的论文中可得性一栏已经链接到了数据集的网址。
下面是用于血管分割的数据集汇总的示例。
作者还将介绍的论文的实验结果按数据集进行了总结,除了结果的指标外,作者还列出了每个应用的backbone和loss,方便读者从各个方面查找感兴趣的工作。
青光眼诊断分级的结果汇总实例如下所示。
总结与展望
在最后一章,作者进行了详尽的分析和总结。在肯定深度学习在眼底图像上的应用取得的成功的同时,也指出了当前的应用中存在的一些局限和问题。作者列出所有任务共有的不足,并提出可能的解决方向。
l Lack of high-quality labeled data:Weakly supervised learning、Image synthesis and enhancement、Federated learning
l Imbalance:Sections 2 to 5大部分方法可以用于解决此问题
l Poor generalization performance:Domain adaption
l High consumption of deep learning:使用更为轻量级的网络降低复杂性、用过量化网络权重压缩模型、模型修剪方法
l Lack of interpretability:Generating heatmaps等
论文地址:
https://arxiv.org/abs/2101.09864
GitHub地址:
https://github.com/nkicsl/Fundus_Review
课题组网站:
ics.nankai.edu.cn
原文链接:
http://ics.nankai.edu.cn/2021/0127/c12590a337635/page.htm
END