在过去的五年中，美国食品和药物管理局已经批准了40多种不同的人工智能产品。然而，据《科学美国人》报道，所有在美国销售的产品都没有经过随机对照临床试验的性能评估。
如果经过适当的测试和控制，人工智能系统可以成为强大的工具，帮助医疗专业人员发现被忽视的症状，改善健康结果。例如，一个用于检测糖尿病、眼病的人工智能工具在数百名患者中进行了测试，结果表明，它有助于发现糖尿病病变、视网膜病变的早期迹象，若发现可疑症状，就会把患者转到医疗专家那里。
如果不仔细测试，医疗专业人员用来辅助诊断治疗的人工智能系统就有可能会对病人造成伤害，而不是避免伤害。《科学美国人》的这篇文章详细阐述了依赖人工智能诊断疾病的一个潜在问题，举了一个人工智能用于分析胸部x光片，并检测哪些患者可能患上肺炎的例子。虽然该系统在纽约西奈山医院测试时被证明是准确的，但在其他医院的图像测试中却失败了。研究人员发现，人工智能能够区分便携式x光系统生成的图像和放射科生成的图像，医生对病得长期不能下床的病人使用便携式胸透系统，会造成更大的误诊风险。
人工智能系统通常针对电子健康记录进行培训，但许多电子健康记录往往不完整或不正确，因为它们的主要目的通常是计费，而不是照顾病人。例如，KHN进行的一项调查发现，病人的医疗记录中有时会出现危及生命的错误，比如包含不适当药物的药物清单。
除此之外，疾病往往比人工智能工程师和科学家所能预料到的更复杂，因此，随着人工智能变得越来越多产，人工智能开发人员与卫生部门合作，确保他们的人工智能系统得到彻底测试，以及监管机构为人工智能诊断工具的可靠性制定标准，这些，都是非常重要的。
