放射学发现图形增强对比学习的自动印象生成

+v：mala2277获取更多论文用于放射学发现总结的图形增强对比学习Jinpeng Hu胡锦鹏，Zhuo Li李卓伟，Zhihong Chen陈，ZhenLi李珍，Xiang Wan万湘<$$>，Tsung-Hui Chang张宗辉<$香港中文大学（深圳）深圳市大数据中国广州琶洲实验室，邮编510330陈{jinpenghu，zhuoli3，zhihongchen}@link.cuhk.edu.cn李wanxiang@sribd.cn珍，张宗辉，李丽珍，张宗辉，张宗辉摘要放射学报告的印象部分总结了发现部分中最突出的观察结果，是放射科医师与医生交流的最重要部分。总结结果是耗时的，并且对于没有经验的放射科医生来说可能容易出错，因此自动印象生成已经引起了相当大的关注。在编码器-解码器框架下，大多数先前的研究探索了引入额外的知识（例如，静态预定义临床本体或额外背景信息，mation）。然而，他们通过单独的编码器对这些知识进行编码，将其视为模型的额外输入，这在利用其与原始发现的关系 为了解决这一局限性，我们提出了一个统一的框架，用于以集成的方式利用额外的知识和原始发现，以便关键信息（即，关键词及其关系）可以以适当的方式表达以促进印象的产生。详细地说，对于每个输入的发现，它是由一个文本编码器编码，并通过其实体和依赖树构建一个图。然后，图 形 编 码 器 （ 例 如 ， 采 用 图 神 经 网 络（GNNs）对所构造的图中的关系信息进行建模。最后，为了强调研究结果中的关键词，引入了对比学习，以将正样本（通过掩蔽非关键词构建）映射得更近，并将负样本（通过掩蔽关键词构建）推开。OpenI和MIMIC-CXR上的实验结果证实了该方法的有效性。11介绍放射学报告记录了放射学研究中的关键观察结果，并在通信中发挥着至关重要的作用。*同等贡献。[2]通讯作者。1我们的代码发布于https://github.com/jinpeng 01/AIG_CL。图1：调查结果和相应的例子-图中还示出了关系信息请注意，Δ表示删除的单词。放射科医生和内科医生之间的沟通。放射学报告通常包括描述医学观察细节的发现部分和总结最突出观察结果的印象部分。印模是放射学报告中最关键的部分，但总结结果的过程通常很耗时，并且对于经验不足的放射科医生来说很容易出错因此，自动印模生成（AIG）近年来引起了极大的关注，并且在该领域中提出了许多方法（Zhang et al. ，2018; Gharebagh etal. ，2020; MacAvaney et al. ，2019; Shieh etal. ，2019）。大多数现有的研究集中在将额外的知识的一般编码器-解码器框架。例如，Zhang等人（2018）通过单独的编码器利用放射学报告中的背景部分，然后将其用于指导解码过程，以增 强 印 象 生 成 。 类 似 地 ， MacAvaney 等 人（2019）和Gharebagh等人（2020）提出从发现中提取本体信息，并使用编码器对这些信息进行编码以促进解码过程。虽然这些方法带来了显着的改善，他们只是杠杆-arXiv：2204.00203v1 [cs.CL] 2022年4+v：mala2277获取更多论文−Y∈--LXX···图2：我们提出的具有图和对比学习的方法的整体架构。图中示出了在t1和t步骤处的示例输入和输出，其中顶部是具有用于存储关键词之间的关系信息的图的主干序列到序列范例，底部是具有特定的正例和反例的对比学习m是指掩码向量。将额外的知识和发现分开（即，通过额外的编码器）。因此，他们的表现在很大程度上依赖于额外知识的质量，额外知识和发现之间的进一步关系没有被探索。在本文中，我们提出了一个统一的框架，以综合的方式利用发现和额外的知识，使关键信息（即，关键词及其关系）可以适当的方式加以利用。具体地说，对于每个输入查找，我们通过自动提取的实体和依赖树构建一个词图，其嵌入来自文本编码器。然后，我们通过图编码器（例如，图神经网络（GNN））。最后，对比学习等人，2016）来对原始发现进行标记化，并获得源输入序列=x1，x2，x N，其中N是中的标记的数量。 目标是找到一个序列Y=y1，. 是的，其中，L是印象的长度，并且是生成的标记，并且V是所有可能标记的词汇表。生成过程可以形式化为：Lp（Y|X）=p（yt|y1，. . . ，yt−1，X）（1）t=1然后训练模型以最大化Y的负条件对数似然，给定X：θ=argmaxlogp （ yt|y1 ， ... ， yt−1 ， X ，A;θ）引入的目的是强调调查结果中的关键词，以映射阳性样本（通过掩蔽θt=1（二更）非关键词）靠近和推开否定词（由屏蔽关键词构成），如图1所示。以这种方式，关键词及其关系通过上述两个模块以集成的方式被利用对比学习和图形编码器），以促进AIG。在两个数据集上的实验结果（即，OpenI和MIMIC-CXR）表明，我们提出的方法达到了最先进的结果。2方法我们遵循AIG的标准序列对序列范式。首先，我们利用WordPiece（Wu其中，θ是模型的参数，A代表-表示关系图中的边我们提出的方法的概述如图2所示。我们的模型包含三个主要组成部分，即，图增强编码器、对比学习模块和解码器。详细信息见以下小节。2.1关系图印象通常描述关键的异常，从相应的发现中总结出更简洁的描述，有时使用关键短语来表达观察结果。为+v：mala2277获取更多论文-∈J·J·例如，结果文本中的一句话“有一个左胸腔积液，大小很小”。在印象中，“小”被简化为一个关键词因此，发现中的关系信息在准确的关键短语生成中起着至关重要从结果中识别出四种类型的医学实体，即解剖学、观察、解剖学修饰语和观察修饰语，它们构成了印象中的大部分重要医学知识（Hassan-pour和Langlotz，2016）。WordPiece去kenization通过频繁子词来表示每个实体，并将同一实体中相邻的任意两个子词连接起来，以增强实体内部的联系，保持实体的完整性。例如，实体此外，我们还需要考虑实体与其他词语之间的语义关系，如描述症状部位和程度的词语，这对于准确记录异常是必要的。例如，在文本跨度“双侧小胸腔积液”中<“small”因此，我们构造了一个依存树来提取实体和其他词之间的语义关系，从他们的中心词到自己的方向。我们还使用WordPiece将这些词拆分为子词，并将所有源子词连接到具有原始方向的相应目标词然后使用构造的子字图提取关系信息，其中边由A表示。2.2图形增强编码器近年来，预训练模型不仅在一般摘要任务中占主导地位，而且由于其在特征表示方面的强大能力，也在多模态任务中占主导地位（Wu etal. ，2021; Zhanget al. ，2020a; Yuan et al. ，2021，2022）。因此，在我们的方法中，我们利用预训练模型BioBERT（Lee et al. ，2020）在大型生物医学语料库上训练作为我们的文本编码器。每个标记xi的隐藏状态hi由文本编码器[h1，h2，···，hn]=fte（x1，x2，···，xn）（3）算法1：生成示例Input：s：graph enhanced token representationA：关系图输出：spsn反面例子：sp←s，sn←sm=[1e6] R1：N，d=尺寸2：Vkey=Extract_subword_index（A）3：对于j=0至N，4：如果j在V键中，则5：sn←m6：else：7：sp←m8：如果结束9：结束这 里 ， fte （ ） 指 的 是 预 先 训 练 的 基 于Transformer 的 文 本 编 码 器 （ 即 ， BioBERT（Lee et al. ，2020）），并且hi是用于表示对应的令牌xi的d维特征向量。 由于GNN在从图结构中提取特征方面是众所周知的，并且在文本生成任务中表现出了很好的前景（Jia etal. ，2020; Hu等人，2021），我们采用基于GNN的编码器来从对应的子字图捕获关系信息。该过程可以表述为：z=fge（h，A），（4）其中，fge（）是图形编码器，z是从图形中提取的特征向量。接下来，为了将关系信息合并到token表示中，我们将z和h连接起来，并利用全连接层将其减少到与z和h相同的维度：s=MLP（[h1<$z1，h2<$z2，···，hn<$zn]），（5）其中s是最终的令牌表示。2.3对比学习仅依靠GNN编码器来捕获关系信息仍然缺乏从发现中完全掌握重要单词信息的能力，因为图是在训练或测试之前预定义的。近年来，对比学习通过集中正样本与负样本进行对比，在学习和区分有意义的知识方面显示出强大的能力，并在许多任务上带来了显著的改进，如提高摘要的忠实性，区分重要信息以增强表征能力，D+v：mala2277获取更多论文∈ −X··sentation（Cao和Wang，2021; Zeng et al. ，2021年）。我们希望我们的模型对研究结果中包含的关键词更加敏感为此，我们应用了一个对比学习模块来集中积极的对，并将消极的对分开，这旨在帮助模型区分重要信息和次要信息。我们将关系图中具有边的标记视为关键标记，因为它们包含用于描述关键观察的重要信息，如2.1. 为了构造一个正例，我们将s中的每个非关键标记表示掩码为常数向量mRd，所有元素1e6，因此该实例可以合并关键信息并删除不重要的单词。同时，我们利用类似的方法来掩盖重要的令牌表示在s作为m，以获得一个负的例子sn。生成正例和反例的细节在算法1中示出请注意，在我们的模型中，我们不考虑相同小批量中的其他实例作为负例，这与许多现有方法不同（Kim et al. ，2021; Giorgi et al. ，2020年），因为我们的目标是确定关键内容，而不是在一个小批次中扩大各种发现之间的差异。此外，放射学报告不像普通文本那样多样化，它主要由固定的医学术语和一些定语词组成，前者用于记录关键信息，后者用于保持句子流畅和语法正确。之后，我们采用随机初始化的基于变换器的编码器来对s，sp，sn，re-transformer进行建模，其可以被公式化为：b=fce（s），（6）bp=fce（sp），（7）bn=fce（sn），（8）其中fce（）表示对比编码器。b、bp和bn是从编码器提取的中间状态，它们也是d维向量。然后， 我们计算余弦相似度对于n∈e，sim（b1，b2）=bT1b2DATAT型不下雨DEVTESTR出口编号2400292576一个VG。WF37.8937.7737.98OPEN I一个VG。SF5.755.685.77一个VG。Wi10.4311.2210.61一个VG。SI2.862.942.82R出口编号122,0149571,606模仿-CXR一个VG。WF一个VG。SF一个VG。Wi55.786.5016.9856.576.5117.1870.677.2821.71一个VG。SI3.023.043.49表1：两个基准数据集的统计数据，其中OPEN I随机分割，MIMIC-CXR官方分割，包括报告数量，平均基于时间的长度（AVG. SF，AVG. SI）、平均基于字的长度（AVG. WF，AVG. WI）的IMPRESSION和FINDING。在这篇文章中，1。2.4解码器在我们的模型中的解码器是建立在一个标准的Transformer（Vaswani et al. ，2017），其中表示S被功能化为解码器的输入，以便改进生成过程。详细地，在每个解码步骤处将s与从先前步骤生成的令牌一起发送到解码器，并且因此可以通过下式yt=fe（s1，s2，···，sn，y1， ···，yt−1），（十）其中fE（）指的是基于变换器的解码器，并且重复该过程直到获得完整的印象。此外，为了有效地将关键词信息纳入解码过程，我们将印象生成和对比目标的损失总结为其中，lge是基本的序列间损失，λ是控制对比损失的权重3实验环境3.1数据集b1我们的实验是在以下两个方面进行的：有效对，表示为sim（b，b）和sim（b，b）。我们遵循罗宾逊等人。 （2020年）制定《对比模块培训目标esim（bi，bp）/τ数据集：O PEN I（Demner-Fushman et al. ，2016）和MIMIC-CXR（Johnson et al. ，2019年），前者包含印第安纳大学收集的3268份报告，后者是lcon=−logN. esim（b，bp）/τ+esim（b，bn）/τ、j=1+v：mala2277获取更多论文我我包含124577份报告的更大数据集注意我们介绍的报告数量是统计的，其中τ是预处理之后的温度超参数。 我们遵循（Hu et al. ，2021年;（九）+v：mala2277获取更多论文DATAOPEN IMIMIC-CXR表2：基线和我们的方法在OPEN I和MIMIC-CXR数据集上的比较。R-1、R-2和R-L分别指ROUGE-1、ROUGE-2和ROUGE-L。P、R和F-1分别代表查准率、查全率和F1得分。Zhang等人，2018年）通过删除以下情况下的报告来过滤报告：（1）没有发现或没有印象部分;（2）发现少于十个单词，或印象少于两个单词。 对于O PEN I，我们遵循（Hu et al. ，2021）在我们的实验中将其随机分为2400：292：576的训练/验证/测试集。对于MIMIC-CXR，我们应用两种类型的分裂，包括官方分裂和随机分裂，比例为8：1：1，类似于（Gharebagh et al. ，2020）。我们在表1中报告了这两个数据集的统计数据。3.2基线和评估为了探索我们的方法的性能，我们使用以下作为我们的主要基线：• BASE（Liu和Lapata，2019）：这是一种骨架序列到序列模型，即，预训练的编码器和随机初始化的基于Transformer的解码器。• BASE +GRAPH和BASE +CL：它们与BASE具有相同的架构，前者包含一个额外的图形编码器来增强关系信息，后者引入了一个对比学习模块来帮助模型区分关键词。此外，我们还比较了我们的方法与现有的研究，包括两个提取求和方法，例如，LEXRANK （ Erkan 和 Radev ， 2004 年 ） 、TRANSFORMER EXT（Liu和La-pata，2019），以及为抽象模型提出的模型。例如，在一个实施例中，T RANSFORMER ABS（Liu和La-pata，2019）、O NTOLOGY ABS（Gharebagh等人，，2020）、WGS UM（TRANS +GAT ） 和 WGS UM （ LSTM+GAT ）（Hu et al. ，2021年）。事实上，事实一致性（FC）在放射学报告生成中至关重要（Liu et al. ，2019; Chenetal. ，2020）。继Zhang et al.（2020 c）; Huetal. （2021），我们通过两种类型的指标评估我们的模型和三条基线：总结和FC指标。对于摘要度量，我们报告ROUGE-1（R-1），ROUGE-2（R-2），和ROUGE-L（R-L）。此外，对于FC指标，我们利用CheXbert（Smit et al. ，2020）2来检测与来自参考印象和生成印象的疾病相关的14个观察结果，然后计算这两个识别结果之间的精确度、召回率和F1得分。3.3实现细节在我们的实验中，我们使用biobert-base-cased-v1.13作为我们的文本编码器，并遵循其默认模型设置：我们使用12层自注意和768维嵌入。此外，我们采用节（张等人。，2020 d）以提取医学实体和依赖树，依赖树用于构造图并生成正例和反例。我们的方法是基于BertSum（Liu和Lapata，2019） 4的代码实现的。此外，我们使用了一个2层图atten-tion网络工作（G A T）（Veli cko vi c′etal. ，2017年）5与隐藏大 小 为 768 作 为 我 们 的 图 形 编 码 器 和 6 层Transformer与768隐藏大小和2048前馈滤波器大小的对比度编码器。解码器也是一个6层Transformer，具有768个维度，8个注意头和2048个前馈滤波器大小。请注意，在所有实验中，λ均设置为1，更详细的超参数见A.1。在训练过程中，我们使用Adam（Kingma和Ba，2014）来优化模型中的可训练参数。2FC 仅 适 用 于 MIMIC-CXR ， 因 为 CheXpert 是 为MIMIC-CXR设计的。我们从github.com/stanfordmlgroup/CheXbert3我们从https://github.com/dmis-lab/biobert获得BioBERT4我们从github.com/nlpyang/PreSumm5自先前的研究（Hu et al. ，2021）已经表明，G A T（Veli cko v ic′etal. ，2017）在印象生成中更有效，我们选择GAT作为我们的图形编码器。MODEL胭脂R-1 R-2 R-LFCF-1BASE62.7453.3262.86---BASE +CL63.5354.5863.13---BASE +图形63.2954.1263.03---BASE +GRAPH+CL64.9755.5964.45---BASE47.9232.4345.8358.0550.9053.01BASE +CL48.1533.2546.2458.3451.5853.70BASE +图形48.2933.3046.3657.8051.7053.50BASE +GRAPH+CL49.1333.7647.1258.8552.3354.52+v：mala2277获取更多论文OPEN IMIMIC-CXRMODELR ANDOM 分裂R-1 R-2 R-L官方 分裂R-1 R-2 R-LR ANDOM 分裂R-1 R-2 R-LLEX RANK（Erkan和Radev，2004年）14.634.4214.0618.117.4716.87---TRANS EXT（Liu和Lapata，2019）15.585.2814.4231.0016.5527.49---PGN（LSTM）（参见et al. （2017年）63.7154.2363.3846.4132.3344.76---TRANS ABS（Liu和Lapata，2019）59.6649.4159.1847.1632.3145.47---ONTOLOGY ABS †（Gharebagh et al. ，2020年）------53.5740.7851.81WGS UM（LSTM）†（Hu et al. ，2021年）64.3255.4863.9747.4833.0345.4354.9743.6453.81WGS UM（T RANS）†（Hu et al. ，2021年）61.6350.9861.7348.3733.3446.6856.3844.7555.32OURS64.9755.5964.4549.1333.7647.1257.3845.5256.13表3：我们提出的模型与之前关于OPEN I和MIMIC-CXR的研究在ROUGE度量方面的比较。†是指直接引用原始论文的结果。4结果和分析4.1图形和对比学习的效果为了探索我们提出的方法的有效性，我们在两个基准数据集上进行实验，结果报告在表2中，其中BASE+GRAPH+CL代表我们的完整模型。我们可以从结果中得到几点意见第一，在R-1 、 R-2 和 R-L 方 面 ， BASE+GRAPH 和BASE+CL都比BASE获得更好的结果第二，在两个数据集上，BASE+GRAPH+CL的性能明显优于所有基线，证实了我们提出的方法在结合图和对比学习方面的有效性。这可能是因为图表和对比学习可以从不同的方面提供有价值的信息，前者主要记录关系信息，后者带来关键词知识，因此，两者的精心第三，当比较这两个数据集时，我们的完整模型在OpenI上的三个基线上的性能增益比MIMIC-CXR上的性能增益这可能是因为与MIMIC-CXR相比，OpenI数据集相对较小，并且具有较短的平均基于单词的长度，使得图更容易记录关系，并且更容易通过比较正面和负面示例来进行对比学习以识别关键词第四，我们可以在MIMIC-CXR数据集上的FC指标上发现类似的趋势，其中较高的F1分数意味着我们的完整模型可以生成更准确的印象，这要归功于其在关键词识别和关系信息提取方面的更强大的能力。4.2与以往研究的在本小节中，我们进一步将我们的模型与上述数据集上的现有模型进行比较，结果见表3。有几点意见。首先，我们的模型和ONTOLOGYABS之间的比较显示了我们的设计在这项任务中的有效性，我们的模型实现了更好的性能，尽管两者都通过纳入关键的医疗信息来增强印象生成。这可能是因为通过比较每个发现的正面和负面例子，我们的模型对关键信息更敏感，在区分基本信息和次要信息方面更智能，有助于在模型中嵌入更准确和有价值的信息其次，我们可以观察到我们的模型在R-1，R-2和R-L方面优于所有现有模型。一方面，将对比学习和图有效地结合到序列到序列模型中是一种更好的解决方案，可以改善特征提取，从而提高解码过程的鲁棒性。另一方面，预训练模型（即，BioBERT）是一种比现有研究更强大的生物医学文本建模特征提取器，TtransformerABS，ONTOL-OGYABS和PGN，利用随机初始化编码器。第三，与那些复杂的模型相比，例如，WGSUM利用节提取实体，并构造两个额外的图编码器从词图中提取特征，然后将其作为背景信息和动态引导信息，以增强解码过程，从而提高印象生成，我们的模型可以通过一种更直接的方法获得更好的性能+v：mala2277获取更多论文等于赢得失去Rouge -175100708065606055405020450关键可读性准确性完整性40[0，25][25（第45段）[45，65）[65，85） [85，105）[105，125）[125，最大值]调查结果长度图3：人体评价结果，其中-和反斜线分别表示BASE+GRAPH+CL与参比品和BASE。黄色、绿色和蓝色代表我们的模型输了，等于竞争对手赢了。4.3人工评价我们进一步进行人工评估，以更好地理解所生成的印象的质量，并减轻ROUGE度量的限制。随机选择来自B ASE和B ASE + GRAPH +CL的在MIMIC-CXR上生成的一百个印象以及它们 相 应 的参 考 印 象 用 于 专 家 评 估 （ Ghare-baghet al. ，2020）。此外，我们遵循胡等人。（2021）分别使用四个指标：关键性，可读性，准确性和完整性。我们邀请了三位医学专家根据这四个指标对这些生成的印象进行评分，结果如图3所示。一方面，与BASE相比，我们可以发现我们的模型在所有四个指标上都表现出色，其中来自我们模型的16%，25%，18%和8%的印象比BASE获得更高的质量。另一方面，将我们的模型与参考印象进行比较，我们的模型在关键性、准确性和完整性方面获得了接近的结果，我们的模型输出的86%、78%和92%至少与放射科医生一样好其主要原因可能是，在积极的例子中删除的许多单词被用来保持序列流畅，我们的模型倾向于将它们识别为次要信息，导致我们的模型在可读性度量上获得相对较差的结果。4.4分析我们对调查结果长度和案例研究进行了进一步的分析。图4：BASE和我们的模型在MIMIC-CXR测试集上生 成 的 印 象 的 R-1 得 分 ， 其 中 OURS 代 表BASE+GRAPH+CL。为了测试基于单词长度的发现的有效性，我们将MIMIC-CXR测试集上的发现分为七组，并在图4中给出每组的R-1分数。我们有以下几点意见。首先，随着发现长度变长，BASE和我们的模型的性能趋于下降，除了第二组，即，[25，45]，因为短文本对于编码器来说更容易捕获有效特征，这与先前的研究一致（Dai etal. ，2019）。其次，我们的模型在所有组中的表现都优于BASE，进一步说明了我们的模型的有效性，无论结果的长度如何。第三，我们可以从图4右上角的增量图中观察到一条具有下降趋势的灰线，表明我们的模型（即，BASE+GRAPH+CL）在较短的发现上往往比在较长的发现上获得更好的改善。这是因为较长的发现通常包含相对更多的次要信息，因此对比学习区分关键知识更具挑战性。案例研究为了进一步展示我们的图表和对比学习方法如何帮助产生发现，我们对两个案例进行了定性分析，结果如图5所示，文本上不同的颜色表示不同的关键信息。与BASE模型相比，该模型能够生成更完整的印象，几乎涵盖了所有的关键异常。相比之下，BASE模型无法识别所有关键信息，例如，（基地71.04我们增量5改进型R-1465.993261.33159.2154.0152.8750.9950.2149.5448.0546.1045.4744.5644.01数字+v：mala2277获取更多论文图5：从BASE和BASE +GRAPH+CL生成的印象以及参考印象的示例。图中的黄色节点表示这些单词包含在实体中。右侧病例中的“左侧少量胸腔积液此外，我们的模型可以生成更准确的immunities与一个合适的词来表示的可能性和一个更好的修饰语来描述观察。一方面，在图5中，左例中的 另一方面，在左侧情况下，根据其原始发现中的短语“正面和侧面”，我们的模型可以生成同义词“双侧”，以更具体地5相关工作最近，NLP技术已经广泛应用于医学领域，例如医学实体识别（Liu et al. ，2021b; Zhao etal. ，2019）、放射学报告生成（Chen et al. ，2021; Zhanget al. ， 2020b; Liu et al. ， 2021a）、AIG等。印象生成可以被认为是近年来引起了大量关注的一种类型的摘要任务，并且存在许多用于解决一般抽象摘要的研究（参见等人，，2017; Li et al. ，2020; You et al. ，2019; Huang et al. ， 2020 ） 。You et al.（2019）设计了一种新的焦点注意机制和显著性选择网络，配备在编码器和解码器中，以增强摘要生成。Li等人（2020）提出了一种以关键词为导向的抽象句概括方法，该方法利用双注意和双复制机制来整合原始序列和关键词的语义。许多方法建议介绍一般汇总模型的具体设计，以解决放射学印象生成问题（Zhang et al. ，2018; Gharebaghet al. ，2020; MacAvaney et al. ，2019; Hu etal. ， 2021; Abachaet al. ， 2021 年 ） 。MacAvaney 等 人 （ 2019 ） ; Gharebaghet al.（2020）从研究结果中提取了突出的临床本体术语，然后通过单独的编码器将其纳入摘要器，以增强AIG。 Hu等人 （2021）进一步引入了预定义的词图来记录显著词以及它们的内部关系，然后采用两个单独的图编码器来利用图来指导解码过程。这些方法中的大多数利用单独的编码器来编码预定义的知识（例如，本体术语和词图），然后利用这些术语和词图来增强印象生成。然而，他们往往过度依赖于预先提取的本体和词图的质量与这些模型相比，我们的方法提供了一种替代解决方案，可以在图和对比学习的帮助下稳健地提高关键信息提取。6结论在本文中，我们建议将图形和对比学习相结合，以更好地结合有价值的功能，以促进印象的产生。具体来说，我们利用图形编码器从由医学实体和依赖树构造的图形中提取关系信息，以增强来自预训练文本编码器的表示此外，我们采用对比学习来帮助模型区分关键信息和次要信息，同时提高对代表重要词的敏感性。+v：mala2277获取更多论文通过比较正面和负面的例子。此外，我们在两个基准数据集上进行了实验，结果表明了我们提出的方法的有效性，其中新的国家的最先进的结果。确认本研究得到了广东省重点领域研究发展计划（2020B0101350001）、国家自然科学基金项目“临床文本标准化分析的基本算法与技术”（12026610）和香港中文大学广东省大数据计算重点实验室的支持引用Asma Ben Abacha ， Yassine M'rabet ， YuhaoZhang，Chaitanya Shivade，Curtis Langlotz，andDina Demner-Fushman. 2021. Mediqa 2021医疗领域总结共享任务概述。第20届生物医学语言处理研讨会论文集，第74曹舒阳和王璐。2021. CLIFF：提高文摘忠实性和真 实 性 的 对 比 学 习 . arXiv 预 印 本 arXiv ：2109.09209。陈志宏，沈雅玲，宋岩，向晚。2021.用于放射学报告生成的跨模态记忆网络。在第59届计算语言学协会年会和第11届自然语言处理国际联合会议的会议记录（2011年：长论文），第5904-5914页。陈志宏，宋岩，张宗辉，万Xi- ang。2020.通过内存驱动的Transformer生成放射学报告。2020年自然语言处理经验方法会议（EMNLP）论文集，第1439戴梓航，杨志林，杨一鸣，海梅G卡-博内尔，阔克 勒 ， 和 鲁 斯 兰 萨 拉 胡 迪 诺 夫 。 2019.Transformer-XL：固定长度上下文下的注意语言模型。在计算语言学协会第57届年会的会议记录中，第2978Dina Demner-Fushman 、 Marc D Kohli 、 Marc BRosen-man 、 SonyaEShooshan 、 LaritzaRodriguez、Sameer Antani、George R Thoma和Clement J McDon-ald。2016.准备放射学检查的集合以供分发和检索。Journal of the AmericanMedical Informatics Association，23（2）：304-310.Günes Erkan和Dragomir R Radev. 2004. Lexrank：Graph-based Lexical Centrality as Salience in TextSummarization. 人工智能研究杂志，22：457Sajad Sotudeh Gharebagh ， Nazli Goharian 和 RossFilice。2020.关注医学本体论：临床文摘的内容选择。 在第58届年会的会议记录中计算语言学协会，第1899-1905页。John M Giorgi，Osvald Nitski，Gary D Bader，andBo Wang. 2020. Declutr：无监督文本表示的深度对比学习。arXiv预印本arXiv：2006.03659。Saeed Hassanpour和Curtis P Langlotz。2016.从多机构放射学报告中提取信息。人工智能在医学，66：29-39。胡金鹏，李建玲，陈志宏，沈亚玲，宋岩，向晚，常宗辉。2021年放射学发现的词图引导总结。计算语言学协会的调查结果：ACL-IJCNLP 2021，第4980-4990页。Luyang Huang，Lingfei Wu，and Lu Wang. 2020.知识图增强的语义驱动完形填空的抽象概括。在计算语言学协会第58届年会的会议记录中，第5094- 5107页。贾瑞鹏，曹延安，唐恒柱，方芳，曹聪，王世。2020.基于层次注意异构图网络的神经抽取摘要 。 在 2020 年 自 然 语 言 处 理 经 验 方 法 会 议（EMNLP）的会议记录中，第3622Alistair EW Johnson，Tom J Pollard，Nathaniel RGreenbaum ， Matthew P Lungren ， Chih-yingDeng ， Yifan Peng ， Zhiyong Lu ， Roger GMark，Seth J Berkowitz，and Steven Horng. 2019.MIMIC- CXR-JPG，一个大型的公开可用的标记胸片数据库。arXiv预印本arXiv：1901.07042。Taeuk Kim ， Kang Min Yoo ， and Sang-goo Lee.2021. BERT句子表征的自我引导对比学习。arXiv预印本arXiv：2106.07345。Diederik P Kingma和Jimmy Ba。2014. Adam：一种随机优化方法。arXiv预印本arXiv：1412.6980。Jinhyuk Lee ， Wonjin Yoon ， Sungdong Kim ，Donghyeon Kim，Sunkyu Kim ，Chan Ho So ，and Jaewoo Kang. 2020. Biobert：一种预先训练的生物医学语言表示模型生物医学文本挖掘Bioinformatics，36（4）：1234-1240.+v：mala2277获取更多论文Haoran Li，Junnan Zhu，Jiajun Zhang，ChengqingZong，and Xiaodong He. 2020.关键词引导的抽象句子摘要。在AAAI人工智能会议论文集，第34卷，第8196Guangyi Liu ， Yinghong Liao ， Fuyu Wang ， BinZhang ， Lu Zhang ， Xiaodan Liang ， XiangWan，Shaolin Li，Zhen Li，Shuixing Zhang，etal. 2021 a.医学视觉语言测试：用于covid-19 ct报告生成的医学视觉语言测试，具有交替学习功能 。 IEEE Transactions on Neural Networks andLearning Systems，32（9）：3786Guanxiong Liu ， Tzu-Ming Harry Hsu ， MatthewMc- Dermott，Willie Boag，Wei-Hung Weng，Peter Szolovits，and Marzyeh Ghassemi. 2019.临床准确的胸部X射线报告生成。在医疗保健会议的机器学习中，第249-269页。PMLR。杨柳和米拉拉·拉帕塔。2019.使用预训练编码器的文本摘要。在2019年自然语言处理经验方法会议 和 第 九 届 自 然 语 言 处 理 国 际 联 合 会 议（EMNLP-IJCNLP）的会议记录中，第3721杨柳，田元禾，常宗辉，宋武，向晚，严嵩。2021b的最后一页。中文医学文本的分词与医学概念识别研究。第20届生物医学语言处理研讨会集，第213Sean MacAvaney，Sajad Sotudeh，Arman Cohan，Na- zli Goharian，IshTalati和Ross W Filice。2019.Ontology-awareClinicalAbstractiveSummarization. 第42届国际ACM SIGIR信息检索研究与开发会议论文集，第1013Joshua Robinson，Ching-Yao Chuang，Suvrit Sra，and Stefanie Jegelka. 2020. 硬负样本的对比学习。arXiv预印本arXiv：2010.04592。阿比盖尔·西，彼得·J·刘，克里斯托弗·D·曼宁。2017.直接了当：使用指针生成器网络进行总结。第55届计算语言学协会年会论文集（第1卷：长文），第1073-1083页。谢德威、庄永松、苏尚宇、陈云农。2019.从结论生成看医学随机对照试验。第十届健康文本挖掘 和 信 息 分 析 国 际 研 讨 会 论 文 集 （ LOUHI2019），第108-117页。Akshay Smit、Saahil Jain、Pranav Rajpurkar、AnujPa- reek 、 Andrew Y Ng 和 Matthew Lungren 。2020年。Che