炒了这么久的人工智能帮助诊断新型冠状病毒肺炎，真的管用吗？

大数据文摘出品

来源：discovermagazine

编译：张大笔茹

尽管机器学习有望作为一种强大的医学工具，但统计学家警告说，当前的模型存在严重的缺陷。

多年来，许多人工智能发烧友和研究人员一直坚信机器学习将改变现代医学。他们已经开发了数千种算法来诊断癌症，心脏病和精神病等疾病。现在正在通过识别肺部CT扫描和X射线图像中的模式来训练算法来检测新冠病毒。

许多模型旨在预测哪些患者的病情最严重，哪些需要呼吸机。如果这些模型是准确的，它们将在为医生提供测试和治疗冠状病毒患者发挥巨大优势。

但使用AI辅助治疗真正的COVID-19患者的吸引力似乎还不够。世界各地的统计学家都对绝大多数机器学习模型的质量以及如果医院采用它们可能造成的危害表示关注。

“它使很多人感到恐惧，因为我们知道模型可以用来做出医疗决定，”荷兰乌得勒支大学医学中心的医学统计学家Maarten van Smeden说。 “如果模型不好，他们可能会使医疗决策更糟， 因此实际上可能会伤害患者。”

Van Smeden与一大批国际研究人员共同领导一个使用标准化标准评估COVID-19模型的项目。该项目是BMJ有史以来的首次现场审查，这意味着40名（且正在不断增长）审查员团队正在随着新模型的发布而积极地更新他们的审查。

到目前为止，他们对COVID-19机器学习模型的审核结果并不理想：严重缺乏数据，缺乏来自广泛研究领域的必要专业知识。其实新的COVID-19算法所面临的问题根本就不是新问题：医学研究中的AI模型多年来一直存在严重缺陷，诸如van Smeden这样的统计学家一直在努力发出警告来遏制这一局面。

在COVID-19大流行之前，范德比尔特大学的生物统计学家弗兰克·哈雷尔（Frank Harrell）在全国范围内与医学研究人员就当前医学AI模型的问题进行了广泛的讨论。他经常借用著名经济学家的话来描述这个问题：医学研究人员正在使用机器学习来“折磨他们的数据，直到找出结果”。

这些数字证明了Harrell的主张，绝大多数医学算法几乎不符合基本质量标准。2019年10月，由英国伯明翰大学的刘晓轩和Alastair Denniston领导的一组研究人员发表了第一个系统综述，旨在回答这个时髦却难以捉摸的问题：机器在诊断患者方面是否能比医生更好？他们得出的结论是，从医学成像检测疾病时，大多数机器学习算法都可以与人类医生媲美。然而，还有另一个令人震惊的发现-自2012年以来，在发表的关于疾病检测算法的总共20,530项研究中，只有不到1％的方法学严谨性足以纳入其分析。

研究人员认为，绝大多数AI研究的糟糕表现与近期医学界对AI的过度宣传直接相关。科学家越来越希望将AI添加到他们的研究中，期刊也希望比以往更多地使用AI发布研究。丹尼斯顿说：“与出版物中没有AI的情况相比，发表前的研究质量并不理想。”

以前算法的主要质量问题也出现在COVID-19模型中。随着COVID-19机器学习算法的数量迅速增加，它们正迅速成为该领域已经存在的所有问题的缩影。

就像他们的前任一样，新的COVID-19模型的缺陷始于缺乏透明度。统计人员很难简单地弄清楚特定COVID-19 AI研究的研究人员实际所做的事情，因为这些信息通常没有记录在他们的出版物中。van Smeden说：“他们的文章如此糟糕，我不能理解这些模型输入的含义，更不用说输出的内容了，这太恐怖了。”

由于缺乏文件资料，van Smeden的团队无法确定最初从何处建立模型的数据，因此很难评估模型是否对疾病的严重程度做出准确的诊断或预测，也不清楚该模型在应用于新患者时是否会有准确的结果。

另一个普遍的问题是，训练机器学习算法需要大量数据，但范·斯梅登（van Smeden）说，他的团队审查的模型很少使用。他解释说，复杂的模型可能具有数百万个变量，这意味着要建立准确的诊断或疾病进展模型，必须包含数千名患者的数据集。但是范·斯梅登（van Smeden）表示，当前的模型甚至无法接近这个标准，最多只有数百个数据集。

这些小型数据集并不是由全球缺少COVID-19案例引起的。van Smeden说，相反，研究人员之间缺乏协作，导致各个团队依靠自己的小型数据集。各个领域的研究人员没有一起工作，这为研究人员开发和微调模型提供了很大的障碍，这些模型对于增强临床护理很有意义。正如van Smeden指出的那样，“不仅需要建模人员的专业知识，还需要统计学家，流行病学家和临床医生共同努力，以做出切实有用的东西。”最后，van Smeden指出，即使在大流行期间，人工智能研究人员也需要始终保持质量与速度之间的平衡。毕竟，快速模型（坏模型）最终会浪费时间。

他说：“我们确实想找到好的模型，但不想成为统计警察。如果有好的模型，我认为可能会有很大的帮助。”

相关报道：

点「在看」的人都变好看了哦！