By 超神经
「我高兴地在北京市的天安门广场上看红色的国旗升起」
快速阅读一下这个句子，大家可能会发现，只需「我在天安门广场看升旗」几个字，就能概述我们需要的信息，也就是说，无需逐字逐句地阅读，抓住重点即可破译全部信息。那么，科学研究是不是也能如此呢？
受此启发，研究人员将人工智能 (AI) 与显微技术结合，训练 AI 主动识别样本中的关键特征，供研究者分析。不同于传统显微技术中对样本的全点式扫描，AI 显微技术的方法彻底改变了研究人员获取样本数据的方式，显著加快实验进程，实现了微观层面的「快速阅读」。
作者 | 加零
编辑 | 雪菜、三羊
显微镜的原理是通过扫描样品产生空间分辨信号，收集信号进行分析，从而形成样品图像。随着仪器仪表技术的不断进步，显微镜的扫描速度和分辨率都有了很大提升。
但是，高分辨率的显微扫描实验有一些明显的缺点：产生的数据量庞大，且探针对样品的损伤也很大。以在 ≈10 nm 的分辨率下进行 1mm^3 体积的 X 射线成像为例，传统扫描方式会产生 10^15 体素的数据，并且需要相当大剂量的探针。
同时，样本中的大多区域信息密度低、可以直接忽略，反而是少部分的「边界、缺陷、特殊元素」区域包含丰富的信息量，需要重点研究。
精准定位信息密度大的关键区域，传统方法主要依赖经验丰富的操作员分析数据、指导探针扫描，这极大增加了工作量，拖慢实验进度。
那么，有没有可能引入 AI ，让它帮助研究者识别样本中的研究重点，加速数据采集和分析呢？
在 APS 进行自动暗场扫描显微实验的艺术图示
为此，美国阿贡国家实验室 (Argonne National Laboratory) 的研究人员开发了 FAST (Fast Autonomous Scanning Toolkit)，它是一个快速自动扫描套件，与传统显微镜研究样本的全点式扫描不同，FAST 允许 AI 自动识别扫描的位置，从而高效精准的获取样本信息。目前相关成果已发表于「Nature Communications」。
相关成果已发表于「Advanced Science」
FAST 科研人员在模拟测试 (simulations) 及暗场 X 射线 (dark-field X-ray) 显微镜实验中，对 WSe2 film 进行了 FAST 扫描，结果表明，<25% 的 FAST 扫描就足以准确地成像并分析样本。
论文链接：
https://www.nature.com/articles/s41467-023-40339-1
关注公众号，后台回复「显微」获取完整论文 PDF
实验过程
训练数据
利用通用图像训练算法
FAST 所采用的算法不需要利用大型数据集开展训练，AI 可利用通用图像识别感兴趣的区域。
训练数据由 MIT Libraries，USC-SIPI Image Database 和 Scikit-image software package 公开提供的图像生成。
所用的测试图像示例
FAST
快速自主扫描工具套件
FAST 全称 Fast Autonomous Scanning Toolkit，它结合了 SLADS-Net 方法、路径优化技术以及高效且模块化的硬件控制，是一个快速自主扫描工具套件，可用于基于同步加速器的扫描显微镜 (synchrotron-based scanning microscopy) 的实时采样和扫描路径选择。
FAST 工作流程
A：一组准随机 (quasi-random) 初始测量值被传输到边缘设备，依次生成初始样本估计，计算下一个要测量的候选点 (candidate points)，并计算出测量路径。新测量值与现有的测量值结合，计算新估计值，重复该过程直至达到完成标准。
B：候选点运算开始时会检查每个未被测量 point P（半径为 r）的局部邻域，已经测量过的点会高亮，从而生成 6 维特征向量。使用径向基核函数 (RBF) 内核将特征向量转换为 50 维向量，并作为多层神经网络 (NN) 的输入。接下来神经网络 (NN) 会通过测量 point P 对图像预期改进进行预测 (ERD)。选择 ERD 最高的一组未测量像素，作为下次测量的候选。
FAST 的训练不依赖具体的样本数据，就可以动态测量和重构一个复杂的（非二进制）样本，这与现有的基于 SLADS 的工作流程有所不同。此外，与获取时间 (acquisition time) 相比，其计算成本可以忽略不计，即使运行在低功耗边缘计算设备（放在同步加速器束线）上也是如此，这对于更通用的自主实验技术而言具有显著优势。
这些特性使得 FAST 能够应用于 APS hard X-ray nanoprobe beamline 上现有的高精度纳米级扫描 X 射线显微镜仪器。
性能验证
FAST
优于静态取样方法
为了验证 FAST 的性能，研究人员将其与另外 3 种静态取样技术进行了对比实验。
实验对象：即测试数据集，为一张 600 × 400 像素的暗场图像，代表 24 万个可能的测量位置，覆盖 900 × 600 μm 的物理区域，并包含多片不同厚度的 WSe2 切片；
对比方式：3 种静态采样技术分别为栅格 (RG, Raster grid) 采样、均匀随机 (UR, Uniform random) 采样、低差异 (LDR, Low-discrepancy) 准随机采样；
实验过程：在相同的扫描覆盖率下，生成 FAST、RG、UR 和 LDR 采样重建图像。
对比一：
FAST 与静态采样重建图像对比
A ：ground truth 图像，颜色刻度代表归一化强度
B-D：10% 扫描覆盖率下 RG、LDR 和 FAST 重建图像
结果显示：FAST 采样能够高保真地再现实验对象中边界、气泡和不同厚度水平之间的过渡区域。
对比二：
不同扫描覆盖率下
FAST 与静态采样方法性能对比
A：归一化平方平均数误差 (NRMSE) 随扫描覆盖率的变化，值越低性能越优；
B：结构相似性度量 (SSIM) 随扫描覆盖率的变化，值越高性能越优。
结果显示：FAST 采样效率高，在扫描覆盖率达到 27% 时，实现了稳定重建；静态取样的 3 种方法要达到同样的效果，则需要更长的时间。
对比三：
相同取样条件下，覆盖率 10% 时
FAST 及 2 种静态取样方法的实际测量位置
结果显示，FAST 重建结构相似性高，误差低。
未来可通过在 FAST 方法中使用更复杂的修复技术 (inpainting technique)，来进一步改善结果。
以上 3 组对比结果显示：
FAST 优于静态采样技术。FAST 会优先选择具有显著异质性的区域进行采样，而非均匀区域。这极大减少了在空白区域无效取样的时间，对稀疏样本特别有效。
FAST
具备高效、精准的暗场图像重建能力
在同步加速器光束线实验中，FAST 进一步展现了卓越性能。
此实验过程完全由 AI 自驱动进行，研究人员除启动 FAST 脚本外没有进行任何干扰。实验样本是变形的 WSe2 薄片，空间分辨率为 100 nm。
FAST 扫描的演进
A、C、E ：5% 、15% 和 20% 扫描覆盖率下 FAST 重建暗场图像；
B、D、F ：相应的实际测量点；
G ：通过全网格逐点扫描（100% 覆盖率）获得的图像；
A-G：颜色刻度显示了归一化强度；
H：仅显示在 15%-20% 覆盖率之间的采样点。
上图显示，低扫描覆盖率的情况下，FAST 方法优先识别了一些异质性区域，如气泡的边缘；随着扫描覆盖率逐步上升，重建结果越发清晰，在 15%-20% 的扫描覆盖率之间重建图像达到稳定。
20% 扫描覆盖率下，FAST 可清晰、准确地复制全扫描图像中所有主要特征，同时帮助实验节省约 80 分钟 (≈65%) 的时间，大大提高了实验效率。
AI 显微技术的未来
FAST 流程的优势不仅在提升显微数据采集效率，还在于广泛的应用范围。来自美国阿贡国家实验室的科学家 Tao Zhou 说「从 X 射线显微镜到电子显微镜再到原子探针显微镜，这种技术可以为任何需要二维扫描的显微镜研究赋能」。
未来，AI 技术也将在显微技术领域迎来更深入地应用。通过训练，AI 正逐步接手如自动化图像分析和识别、图像增强和重建、定量分析和疾病诊断等任务。
AI 显微技术，朝着更清晰、更高效、更精准的未来走去，科学研究的边界也将不断拓宽。
参考链接：
[1]https://www.nature.com/articles/s41467-023-40339-1
[2]https://phys.org/news/2023-10-artificial-intelligence-scientists-self-driving-microscopy.html
[3]A Supervised Learning Approach for Dynamic Sampling
—— 完 ——
