2021年1月21日，中国人工智能学会理事长、中国工程院院士、清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组与中国科学院生物物理所李栋课题组在《自然•方法》（Nature Methods）杂志发表了题为“光学显微成像中超分辨卷积神经网络的测评和发展”（Evaluation and development of deep neural networks for image super-resolution in optical microscopy）的论文。
该文综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现，提出傅立叶域注意力卷积神经网络（DFCAN, Deep Fourier Channel Attention Network）和傅立叶域注意力生成对抗网络（DFGAN，Deep Fourier Generative Adversarial Network）模型，在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。
图1. 深度学习超分辨显微成像方法观测细胞骨架的交错结构
为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现，以及建立基于深度学习的显微图像超分辨算法研究生态，戴琼海/李栋联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜（TIRF-SIM）、非线性结构光照明显微镜（Nonlinear-SIM）【Science，2015】和掠入射结构光照明显微镜（GI-SIM）【Cell，2018】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含四种不同复杂度的生物结构、九种不同信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率的高质量超分辨显微成像公开数据集，命名为BioSR。
以此为基础，该团队测试了多个现有超分辨神经网络模型的性能，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统线性结构光照明超分辨技术（Linear-SIM）和非线性结构光照明超分辨技术（Nonlinear-SIM）的效果进行比较，得到了不同模型的优越区域（priority region），即给出了不同模型实现足够好的超分辨成像效果、能够用于日常生物成像实验的成像条件。
但通过分析评测矩阵结果发现，现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）的成像条件下，而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。
为进一步拓展卷积神经网络在显微图像超分辨中的适用范围，提升超分辨成像和重建效果，戴琼海/李栋联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果，依据测评矩阵结果，其优越区域可以拓展至中高信噪比，可在实际生物成像实验中替代现有超分辨成像方法，应用场景得到较大程度的拓展。
图2. 傅立叶注意力机制和基于傅立叶域注意力卷积神经网络（DFCAN）、傅立叶域注意力生成对抗网络（DFGAN）结构光超分辨重建的活细胞成像
应用傅立叶域注意力卷积神经网络（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN）单张显微图像超分辨率预测和结构光照明超分辨重建方法，研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。例如：
（1）细胞中的线粒体内膜和线粒体拟核之间的相互作用，成像时程（>1200张超分辨图像）达到传统活体超分辨成像方法的10倍以上，观察到伴随着线粒体内脊形变的拟核分离和聚合现象；
（2）细胞中环形线粒体的行为，观察到环形线粒体会在细胞质流的推动下进行双向旋转，表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态；
（3）细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）的相互作用，观察到在内吞过程伊始时细胞微丝与网格蛋白小窝接触较少，而在内吞即将结束时细胞微丝频繁接触网格蛋白小窝，以帮助其脱离细胞膜；
（4）细胞中线粒体和内质网之间的相互作用，观察到线粒体的分裂和融合往往发生在其与内质网的接触位点附近。
戴琼海
李栋
作者简介
中国人工智能学会理事长、清华大学自动化系戴琼海教授与中国科学院生物物理所李栋研究员为共同通讯作者。清华大学自动化系博士生乔畅、中国科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第一作者。本研究得到了国家自然科学基金委、科技部、中国科学院、中国博士后科学基金、腾讯“科学探索奖”的资助。
文章链接：
https://www.nature.com/articles/s41592-020-01048-5
