医学图像报告生成：知识驱动的编码、检索与改写方法

"这篇论文提出了一种新的方法——基于知识的编码、检索、改写（Knowledge-driven Encode, Retrieve, Paraphrase, KERP）来解决医学图像报告的生成问题。该方法结合了传统的知识和检索基础方法与现代学习基础方法，以实现准确且稳健的医学报告生成。KERP将医疗报告的生成分解为明确的医学异常图学习和后续的自然语言建模两个阶段。它首先使用编码模块将视觉特征转化为结构化的异常图，通过融入先验的医学知识；接着，检索模块根据检测到的异常检索文本模板；最后，改写模块根据具体案例重写这些模板。KERP的核心是一个称为图变换器（Graph Transformer, GTR）的通用实现单元，它可以动态地在不同领域的图结构数据（如知识图谱、图像和序列）之间转换高级语义。实验表明，该方法能生成具有结构化和鲁棒性的报告，包含精确的异常描述和可解释的注意力区域，在两个医学报告基准上达到了最先进的结果，同时在医疗异常和疾病分类准确性方面表现最佳，并提升了人类评估性能。" 在医学图像报告生成领域，KERP方法解决了将视觉信息与语言表达有效融合的问题，同时也考虑到了医学专业知识的融入。它通过编码模块利用深度学习技术将图像特征转化为一个表示异常的图结构，这种结构有助于模型理解图像中的关键信息。然后，通过检索模块，模型能够基于异常图检索到与之匹配的文本模板，这些模板提供了报告的基本框架。接下来，改写模块在模板基础上根据特定病例进行个性化修改，以生成符合实际情况的、连贯的报告内容。 图变换器（GTR）是KERP的核心创新，它能够处理多域的图结构数据，包括知识图谱、图像和序列数据。GTR能够捕获不同数据源之间的复杂关系，从而在生成报告时实现跨模态的语义转换，确保生成的报告既具有结构化信息，又具备对异常情况的准确描述。 实验结果证明，KERP在两个医学报告基准测试中表现优秀，不仅提高了医学异常和疾病分类的准确性，还改善了人类评估的性能，这意味着生成的报告不仅在技术指标上表现出色，而且在可读性和解释性方面也得到了认可。KERP为医学图像报告自动化生成提供了一个强大且灵活的框架，有望在未来进一步推动医学影像分析和诊断的自动化进程。