作者:Will Douglas Heaven
翻译:王晓颖
校对:wwl
本文长度为2000字,建议阅读5分钟
如果需要靠AI来扭转病人的处境,那我们需要了解当人类真正地使用AI时,它在现实情况下到底是怎么工作的。
标签:AI 人工智能 医学
在实验室里超级精确的谷歌医学AI用到现实生活中略有不同。
新型冠状病毒(covid-19)使得世界上很多国家的医疗资源到达了使用的临界点。毫不意外地,很多人都希望人工智能(AI)可以加速病人筛查并且缓解临床人员的压力。但是从谷歌医学(Google Health:如果你想了解关于深度学习工具在实际临床医学设置中的影响,会最先查阅的平台)的一个研究表明哪怕是最精确的人工智能若未能根据医疗临床场景定制,那么当其实际使用到医学中时依然会让情况变得更糟。
链接:
https://www.blog.google/technology/health/healthcare-ai-systems-put-people-center/
现有的部署临床环境AI的规则主要关注精确度,例如美国食品和药物管理局(FDA)的审核标准以及欧洲的CE 认证标准,对于AI 必须使病人的治疗结果提升到什么程度并没有明确的要求,其主要原因是很多实验目前还未运行。但是一位在Google Health 的UX 研究员 Emma Beede 提出:“这些需要改变。在AI工具被大量部署之前,我们必须理解AI 工具将如何在实际场景中为人类工作——特别是医疗服务。”
Google 第一个可以在实际环境下测试工具的机会是在泰国。这个国家的卫生部建立了一个目标,每年要筛查60%的糖尿病病人的糖尿病性视网膜病变,这种病变如果早期不被发现可能会导致病人失明。但是在病人接近450万,而视网膜专家只有200名——每名专家面对的病人近乎美国的两倍的实际情况下,临床上实现这个目标很艰难。Google通过的CE认证涵盖泰国,但还需要FDA的认证。所以为了验证AI是否能够帮助,Beede 和她的同事在泰国的11家诊所中配备了深度学习系统来探查糖尿病病人的眼部病变。
在泰国使用的系统中,护士在检查中为病人的眼部拍摄影像并且发送这些照片给其他地方的专家——这个过程至多需要10周。由Google Health研发的AI识别糖尿病视网膜病变的系统可以达到超过90%的精准度——该团队将其称为可以与人类专家水平相近似——并且,原则上,在十分钟内给出结果。这个系统可以分析出图片中的指示症状,比如阻滞或渗漏的血管。
听起来令人惊叹。但是实验室能提供的精确度评估只有这些。它没有说明任何AI在复杂的现实生活环境中是如何表现的,而这正是Google Health团队想要发现的。几个月来,它们观察护士进行眼部扫描,并且采访他们使用新系统的体验。反馈并不是完全正面的。
当系统正常工作时,AI 确实能够加速进度。但是有时甚至无法给出结果。就像大部分的图片识别系统,深度学习模型是在高质量的影像基础上训练的;为了保证精确度,低于质量阙值的图片不会用于训练。当护士们一小时扫描几十个病人时,经常会拍摄到光线不太好的图片,超过五分之一的照片都被拒绝识别了。
那些图片被系统拒绝的病人被告知他们需要在另一个时间访问其他诊所的专家。如果他们发现因为工作没有时间或者他们没有车,情况会变得非常不方便。另外,护士有时也会觉得很疲惫,特别是当他们确信被拒绝识别的图片中没有显示任何疾病征兆且后续预约不必要的时候 。他们有时会花费时间重新拍摄或者编辑被AI拒绝识别的图片。
一个护士正在使用视网膜扫描仪拍摄病人眼球后照片(Google)
因为这个系统需要上传照片到云端进行处理,几个网络连接差的诊所也会造成延迟。一个护士说道: “病人希望实时反馈结果,网速比较慢时病人就会抱怨。。“他们从早上6点开始等待,然而前面两个小时我们只能筛查10个病人。”
Google Health 团队现在正和当地的医疗人员合作一起设计新的工作流程。比如,护士需要收到培训,以自主判断临界情况的病例。这个系统自身也需要调整以便更好地处理不完美的图像。
冒着抵触风险
“这是一个对于任何有兴趣在现实环境里上手来实际实施AI 解决方案的人来说,都很重要的研究。”在加拿大滑铁卢大学为医学影像学研究AI的 Hamid Tizhoosh说到。Tizhoosh对于急于公布新AI工具的行为持批判态度,他认为过于仓促。他说有的时候,一些工具是由没有医疗知识的团队开发和发布的。他将Google研究视为一个及时的提醒,实验室中得到的精确度只是第一步。
Michael Abramoff,一位在爱荷华医院临床大学的眼科医生兼计算机科学家,花费数年时间仍在研发一个可以用来诊断视网膜疾病的AI,他也是与IBM Watson 合作的初创公司IDx Technologies的CEO。Abramoff是一名医疗服务AI的支持者,但是他也很谨慎并且不希望操之过急,担心若操之过急人们对AI产生了不好的体验而产生相应的抵触心理。他表示,“我也很庆幸Google 展现出了他们愿意调查诊所的实际工作流程”道。“医疗服务的意义远不止算法。”
Abramoff也质疑了在精确度上拿AI工具和人类专家比较的意义。他表示,当然,我们不想AI做出坏决定。但是人类医生们一直持反对态度。一个AI系统需要融入流程,让其不确定性的来源被充分讨论,而不是被简单地拒绝。
合理使用则收益颇丰。当其正常运作时,Beede和她的同事们看到了AI是如何帮助擅于其本职工作的人们工作得更好。“有一个护士完成了1000个病人的筛查,有了这个工具她无人可挡。”Beede说道“病人们不会在意是AI还是人类读取他们的图片。他们只关心自己当时的体验。”
原文标题:
Google’s medical AI was super accurate in a lab. Real life was a different story
原文链接:
https://www.technologyreview.com/2020/04/27/1000658/google-medical-ai-accurate-lab-real-life-clinic-covid-diabetes-retina-disease/
编辑:王菁
校对:林亦霖
译者简介
王晓颖( Shirley),UIUC毕业,目前在Coursera上自学Python课程,对AI,Python,数据分析以及Matplotlib等等都很感兴趣,希望能够认识更多厉害的人,保持学习的能力,接触新鲜的事物并从中学习,成为更好的自己。