由上图所示,此项研究中,谷歌健康采取三个步骤完成了对AI系统的评估。
第一步,是将AI系统的预测结果与临床实践中历史诊断结果进行对比,评估了系统的有效性。在这一部分结果中,钼靶检查后医生召回患者进行进一步的检查被视为是医生有效诊断的标准。由于来自英国的每一项钼靶检查都是由两位读片人解读,意见一致时当时诊断即为最终诊断意见,不一致时则援引第三人的诊断意见进行综合评估。而来自美国的检查是由一位放射科医生解读并给出诊断意见,因此将两个数据集分开与AI系统进行对比。评估结果表明,与英国的第一位读片人和美国的读片人对比,AI系统判断的绝对特异性分别显著提高了1.2%〔95%置信区间为(0.29%,2.1%)〕和5.7%〔95%置信区间为(2.6%,8.6%)〕,绝对敏感性分别提高了2.7%〔95%置信区间为(3%,8.5%)〕和9.4%〔95%置信区间为(4.5%,13.9%)〕。而与英国的第二位读片人和一致性诊断结果对比,AI系统的判断的敏感性和特异性均显示非劣效性。总的来说,AI系统的判断要优于临床读片医师,并且可以大大降低二次读片人的工作量。临床读片医师和AI系统在癌症预测方面的对比第二步,通过一个只以英国的数据集为基础开发出的版本,对来自美国的数据集进行重新测试,评估了系统的普适性。结果显示,AI系统判断的特异性和敏感性优于读片医生的平均水平。AI系统与6名放射科医生在乳腺癌预测方面的对比第三步,将AI系统的诊断结果与6名美国放射科医生的诊断结果进行对比,评估了系统的准确性。为确保人工诊断的一致性,6名医生均依照《乳房X光检查质量标准法》(MQSA)读片。AI系统和放射科医生同时按照美国放射学会提出的乳腺影像报告和数据系统(BI-RADS)对从美国数据集中抽取的张乳腺钼靶结果进行解读。结果表明,AI系统在诊断方面的表现优于放射科医生的平均水平,同时AI系统在每个病例中识别恶性病变的能力也优于放射科医生。AI系统和放射科医生对特殊病例的诊断差异总之,经过综合判断,AI系统有望快速检测到30%-40%需要优先诊断的病例,并在后续的随访中诊断出5/6的癌症。然而,研究人员也发现,对于一些病例,医生可以发现病灶并给出正确诊断,但AI系统则没有检出。反之,一些病例AI系统可以诊断出,放射科医生却漏诊了。而通过分析美国数据集,显示AI系统的敏感性优势集中在对侵袭性癌症(例如侵袭性小叶癌或导管癌)的识别上,而不是对原位癌(例如导管癌)的识别。这些结果提示,综合AI系统和读片医师的判断结果可有效提高临床诊断的准确性。
最后,需要注意的是,在AI系统与放射科医生的诊断对比研究中,抽取的6名医生都经过专业化的训练,但在临床诊断中,并非所有的读片医师都具有同等丰富的经验,因此,AI系统在诊断方面的优越性可能要超过此项研究中的预测结果。作者:识林-柠参考资料[1]ScottMM.etal.InternationalevaluationofanAIsystemforbreastcancerscreening.Nature..[2]RodríguezRA.etal.DetectionofBreastCancerwithMammography:EffectofanArtificialIntelligenceSupportSystem.Radiology.DOI:10./radiol.181371.长按下方
本文编辑:佚名
转载请注明出地址 http://www.aolainiesitade.com/allstdly/9026.html