斯坦福大学 & 哈佛大学 | 使用多模态预训练大模型来提高胸部X射线报告的生成准确率

​

【推荐理由】本文提出了对比X-射线报告匹配（X-REM），这是一种新颖的检索式放射学报告生成模块，它使用多模态图像-文本匹配得分来衡量胸部X射线图像和放射学报告之间的相似度以进行报告检索。

Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray Report Generation

Jaehwan Jeong, Katherine Tian, Andrew Li, Sina Hartung, Fardad Behzadi, Juan Calle, David Osayande, Michael Pohlen, Subathra Adithan, Pranav Rajpurkar

【论文链接】https://arxiv.org/pdf/2303.17579.pdf

【摘要】自动生成临床准确的放射学报告可以提高患者护理水平。以往的报告生成方法依赖于图像字幕模型，往往由于缺乏相关领域知识而生成不连贯和错误的文本，而检索式尝试常常检索与输入图像无关的报告。在本文中，作者提出了对比X-射线报告匹配（X-REM），这是一种新颖的检索式放射学报告生成模块，它使用图像-文本匹配得分来衡量胸部X射线图像和放射学报告之间的相似度以进行报告检索。作者观察到，使用语言-图像模型计算图像-文本匹配得分可以有效地捕捉图像和文本之间常常丢失的细粒度交互。在自然语言和临床指标方面，X-REM优于多个先前的放射学报告生成模块。生成的报告的人工评估表明，与基线检索方法相比，X-REM增加了零错误报告的数量并降低了平均错误严重程度。

​Read More