允中 发自 凹非寺 量子位 报道 | 公众号 QbitAI
X线是临床影像诊断最广泛的应用,具有重要的临床价值。
在美国,每年大约一半的医学影像学报告是基于X线的,其中绝大部分是胸部X线检查。在全球发展中国家,X线胸片的使用更加广泛,是早期发现肺结核、肺肿瘤、肺炎、尘肺、气胸等各类呼吸系统疾病的重要手段,是现代医学影像的“流量入口”。
鉴于X线胸片广泛和重要的临床价值,以及专业影像医生缺乏的普遍现象,吴恩达教授带领斯坦福机器学习团队,于2019年1月发布了大规模X线胸片数据集CheXpert。
CheXpert包含来自65,240名患者的224,316张胸部X线片及其放射学报告,旨在推动全球在人工智能技术应用于X线胸片诊断的发展。
CheXpert数据集主要来自于2002年10月至2017年7月之间收治于斯坦福医院的患者。与之前NIH发布的ChestX-ray14数据集建立方法类似,斯坦福机器学习团队通过自然语言处理技术从放射学报告中挖掘出14种胸部疾病的标签信息。
但是与ChestX-ray14相比,CheXpert数据量更大,数据源多样性显著提升,同时使用了更加精确的自然语言处理系统来挖掘疾病标签信息,是目前最具影响力的人工智能X线胸片数据集。
为了验证与人类专家相比,人工智能算法解读X线胸片目前已达到何种水平,斯坦福团队还提供了500例测试数据,并通过8名放射科持证在岗的专业医生进行标注,其中5名医生标注结果的多数投票作为“金标准”(Ground Truth),另外3名医生的标注结果作为人类专家的基线进行测试。
测试指标包括针对5种胸部疾病:肺不张 (Atelectasis)、心脏肥大 (Cardiomegaly)、肺实变 (Consolidation)、肺水肿 (Edema)、胸腔积液 (Pleural Effusion)的二分类的平均AUC (Area under the Curve of ROC)值。对于AI算法,测试指标还包括在这5种疾病上算法平均超越了几名放射科医生。斯坦福机器学习团队发表的基线模型取得了平均AUC值0.907,在5项测试中平均超过了1.8名放射科医生的成绩。
7月31日,国内的九峰医疗AI算法团队以平均AUC值0.926的成绩,远超第二名,登顶CheXpert国际竞赛。这是开赛以来,AI算法首次超越所有参与测试的三名放射科专业医生,表明AI算法在CheXpert数据集上已经取得了超越人类的水平。对此,CheXpert大赛主要组织者给予了一致好评。
九峰医疗AI团队在此次比赛中采取了多种提升模型性能的策略,包括针对X线胸片的数据降噪和数据增强,基于densenet和注意力金字塔(Pyramid Attention)的主干网络,以及动态平衡正负样本的损失函数等,并系统进行了控制变量分析(ablation study),评估了各项策略对提升算法性能的贡献。详细的技术报告和代码开源将于近期公布。
此次夺冠,是九峰医疗团队继2018年8月夺得斯坦福大学MURA(骨骼X线数据集)大赛榜首后,再一次登顶X线人工智能算法国际竞赛。
九峰医疗于2015年5月成立,团队成员中有国内外一流的人工智能算法科学家、放射学专家、临床专家和医疗行业资深企业家和职业经理,长期专注于人工智能及互联网技术在基层医疗领域的应用。
自成立以来,九峰医疗与灰鸟基金、哈佛医学院等全球医疗及科技领导者合作,在医学人工智能领域自主创新,拥有发明专利16个,软件著作权16项。2019年3月,前百度硅谷人工智能实验室科学家李祎加入九峰医疗,任首席人工智能科学家,并在南京配合鼓楼医院资深影像科专家迅速搭建人工智能研发团队。
九峰医疗研发团队还自主开发了云端标注工具,算法工程师与临床资深放射科医生共同制定并执行严格的标注准则,所有线上算法筛查结果均经过医生团队的二次审核,目前人机一致性已经达到90%以上。
△ 李祎博士 九峰医疗首席人工智能科学家
与斯坦福机器学习团队推动X线影像人工智能算法不谋而合,九峰医疗抓住覆盖广大基层医疗卫生机构且是多数基层机构仅有的影像设备——X线,以提升X线医学影像诊断能力为切入点,在成立伊始即在国内开展人工智能肺部常见病筛查技术项目。
九峰医疗通过云计算部署模式,实现远程医疗互联互通和数据实时监测,充分发挥X线设备的分诊、诊断和筛查功能,弥补基层医疗影像专业人才不足的现状,促进基层诊疗能力提升,打造广覆盖、高质量、低成本、高效率的AI医疗范式。
目前,九峰医疗的产品已覆盖中国上千家基层医疗机构,服务覆盖两千万人群,累计业务量近三百万次。
开源地址: https://github.com/deadpoppy/CheXpert-Challenge
— 完 —