多头自注意条件GAN：学习排序与信息检索生成对抗网络

阵列15（2022）100205结合多头自注意和条件生成对抗网李金钟a，曾焕a，彭磊a，朱景文b，刘志宏ca井冈山大学电子与信息工程学院计算机科学与技术系，吉安，中国b中国吉安井冈山大学数学与物理学院数学系c中国吉安井冈山大学网络信息中心A R T I C L E I N F OMSC：41A0541A1065D0565D17保留字：学习排序信息检索生成对抗网络条件生成对抗网多头自注意机制Ranking模型A B S T R A C T现有的学习排名的方法往往忽略了排名功能之间的关系。如果能够充分利用它们之间的关系，可以提高学习排序方法的性能。针对这一问题，本文提出了一种结合多头自注意机制和条件生成对抗网（CGAN）的学习排序方法，命名为 *GAN-LTR。 该方法改进了用于Web搜索的信息检索生成对抗网络（IRGAN）框架的一些设计思想，将卷积层、多头自注意层、残差层、全连接层、批归一化和丢弃技术集成到条件生成对抗网络（CGAN）的生成器和丢弃器中，构建了一种新的网络模型。卷积神经网络用于提取隐藏层的排序特征表示，并捕获特征之间的内部相关性和交互信息。采用多头自注意机制融合多个向量子空间中的特征信息，获取特征的注意权值，从而为不同的特征分配合适的权值。在MQ 2008-semi learning to rank数据集上的实验结果表明，与IRGAN相比，我们提出的学习排序方法 *GAN-LTR总体上在各项性能指标上具有一定的性能优势1. 介绍搜索和推荐是互联网时代最主要的信息获取方式，而学习排名是其中的关键技术之一。Learning to rank [1]是利用机器学习的方法训练排序模型来解决排序问题，是信息检索和机器学习的研究热点，在搜索引擎、推荐系统等实际应用中占有重要地位。越来越多的学习排序方法被广泛应用于这些场景。近年来，随着深度学习技术的爆炸式发展，设计学习排名方法以使用深度学习算法或模型（诸如生成对抗网络[2]、递归神经网络[3]、卷积神经网络[4]、深度神经网络[5]和深度Q网络[6]）来解决信息检索中的排名问题已经成为学术界和工业界的主流方法。文献[7]深入研究了在信息检索中应用浅层或深层神经网络来训练排序模型的相关问题。GoogleTensorFlow框架中的深度学习算法，其中包含多种基于深度神经网络的学习排名方法。目前的学习排序方法只考虑了单个特征与排序结果之间的相关性，而没有考虑特征间的局部组合与排序结果之间的相关性。针对这一问题，提出了一种结合多头自注意机制和条件生成对抗网的学习排序方法，该方法考虑排序特征之间的关系，挖掘潜在特征，并为学习排序模型分配相应的权值，本文的主要贡献如下。(1) 将多头自注意与条件生成对抗网（CGAN）相结合，提出了一种基于信息检索生成对抗网（IRGAN）的改进学习排序方法--*GAN-LTR。据我们所知，*GAN-LTR是最先进的。(2) 我们的 *GAN-LTR方法构建了一个新的生成器和卷积器的网络模型，它集成了卷积层，∗ 通讯作者。电子邮件地址： zenghuan0123@163.com（H. Zeng）。https://doi.org/10.1016/j.array.2022.100205接收日期：2022年3月2日;接收日期：2022年5月31日;接受日期：2022年6月3日2022年6月16日在线提供2590-0056/© 2022作者。爱思唯尔公司出版这是一篇基于CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）的开放获取文章。可在ScienceDirect上获得目录列表阵列期刊主页：www.elsevier.com/locate/arrayJ. Li等人阵列15（2022）1002052将多头自注意层、残差层、全连接层、批量归一化、丢弃技术等改进融入CGAN框架的生成器和消隐器中(3) 一组实验进行和分析。实验结果表明，与当前学习排名方法IRGAN的前沿方法相比，我们的 *GAN-LTR在多个性能指标上都取得了较好的效果，特别是，我们的方法具有更快的收敛速度。2. 相关工作本文研究了结合多头自注意机制和条件生成对抗网的学习排名方法。与本文密切相关的主要工作包括：基于生成对抗网络的学习排序方法、基于注意机制的学习排序方法和基于注意机制的生成对抗网络2.1. 基于生成对抗网络的利用生成对抗网络解决信息检索问题的第一个开创性工作是Wang提出的信息检索生成对抗网络（IRGAN 等[2]，实现了信息检索建模中生成检索模型和判别检索模型两大思想流派的统一描述。IRGAN借鉴了GAN中生成器与检索器对抗的思想，采用博弈论中的极小极大算法，将生成式检索模型和判别式检索模型整合到一个统一的框架中，一种对抗训练的方式，使两种模型能够相互改进，最终使检索到的文档更加准确。满分论文获得SIGIR2017最佳论文提名奖，既极具创新性，又极具实用性。就像GAN在其他领域一样，它带来了研究范式的变化信息检索[9]。目前，少量的工作已经改进或扩展了IRGAN。Deshpande等人。[10]提出了两种受自对比估计和协同训练影响的模型，以提高IRGAN的性能。Jain等人。[11]通过基于邻近策略优化（PPO）的新型优化目标和基于Gumbel-Softmax的采样技术改进了IRGAN的收敛性。 Lu et al. [12]提出了一个个性化对抗训练框架PSGAN，用于有限和嘈杂点击数据的个性化搜索，以缓解个性化搜索中高质量用户数据和嘈杂数据稀缺的问题。PSGAN框架是在IRGAN框架的基础上进行扩展的，对生成的模型进行了改进，以训练注意力 对于那些通过对抗训练难以区分的训练数据，使用最大似然估计来评估文档的个性化相关性，使用生成器来学习相关文档的分布。该框架提出了基于文档选择和基于查询生成的两个模型，有效地提高了个性化搜索的质量。Park等人[13]提出了一种不同于IRGAN的对抗性采样和训练框架，用于学习具有隐式反馈的Ad-hoc检索模型，并将对抗性训练应用于成对学习以排名框架。虽然已有一些改进方法，但由于IRGAN训练的不稳定性和其简单的网络模型，其性能仍有一定的改进空间。2.2. 基于注意机制将注意力机制应用于学习排序任务，已经证明它可以成功地集中在不同的方面，输入[14]。Wang等人[14]注意力机制研究了学习排序的列表问题，提出了一种新的基于注意力的深度神经网络，该网络利用注意力机制合并查询和搜索结果的不同嵌入，并利用列表方法对搜索结果进行排序。Jiang等人[15]提出了一种使用注意力机制、递归神经网络和最大池技术的显式结果多样化学习框架，该框架使用注意力机制来捕获在选择下一个文档时要关注的子主题。Zhang et al.[16]提出了一种用于结构化地图搜索的基于注意力的学习排名模型，这是一种新型的学习排名的深度神经网络架构。Qin等人。[17]提出了一种基于自注意网络的学习排名方法，用于搜索结果多样化任务。该方法利用自注意力对候选文档与子主题之间的相互作用进行建模，能够综合度量候选文档整体之间的关系以及候选文档对不同子主题的覆盖程度。Sun等人。[18]探索了通过使用正则化的自我注意来学习排名的文档之间的交互建模。Pobrotyn等人。[19]研究了上下文感知学习与自我注意机制的排名，并提出了一个可学习的，上下文感知的，基于自我注意的评分函数，它不仅允许在损失水平上对项目间依赖关系建模，而且还允许在损失水平上对项目间依赖关系建模。在计算项目上述研究表明，将注意机制融入到学习排名方法中有助于提高学习成绩 排名方法。2.3. 基于注意机制的目前，由于注意机制的一些优良特性，将注意机制应用于生成式对抗网络的研究已成为一些研究者追求的热点， 并逐步形成了一些良好的 研 究 成 果 。Zhang 等 人 。 [20] 提 出 了 自 注 意 生 成 对 抗 网 络（SAGAN），它将自注意机制集成到卷积GAN框架中。自注意模块是卷积结构的补充，使得每个像素与其他像素相关联，并有助于对不同图像区域之间的长距离、多级依赖性进行建模。Xu等人。[21]将注意力机制添加到GAN中，并提出了名为AttnGAN的注意力生成对抗网络模型，用于从文本描述中合成图像。Emami等人。[22]提出了一种新的空间注意力GAN模型，即SPA-GAN，它将注意力机制引入到生成对抗网络架构中，以帮助生成器更多地关注源域和目标域之间最具区别性的区域，从而产生更逼真的输出图像。Jiang等人[23]提出了一种使用基于自注意的生成对抗网络的超分辨率磁共振图像重建方法，该方法将自注意机制集成到超分辨率GAN框架中，以计算输入特征的权重参数上述研究表明，将注意力机制引入GAN有助于GAN关注一些重要和关键的信息，从而提高GAN的性能因此，基于上述这些研究基础，并受其思想的启发，本文拟将注意力机制与生成式对抗网络相结合，设计学习排序方法，即提出一种方法， 学习排名，名为 *GAN-LTR，它结合了多头自注意力和条件生成对抗网（CGAN）[24]。*GAN-LTR方法将改进IRGAN框架应用于Web搜索的一些设计思路，即该方法将卷积层、多头自注意层、残差层、全连接层、批量归一化和丢弃技术集成到CGAN框架的生成器和丢弃器中。此外，利用软符号激活函数代替IRGAN中的双曲正切激活函数，构造新的网络模型，进一步提高了学习排序方法的性能。J. Li等人阵列15（2022）1002053Fig. 1. *GAN-LTR的总体框架3. 一种结合多头自注意机制和条件生成对抗网的学习坦克方法 *GAN-LTR的整体框架，它集成了多头自注意机制和条件生成对抗网络（CGAN），如图所示。1.一、 在此图中，右侧是CGAN的框架，通过将查询树设置为CGAN的约束来控制生成的文档;左侧是CGAN中为生成器和查询树重新构建的新网络模型，生成器和查询树使用相同的网络模型。在新的网络模型中，转置是输入矩阵的转置操作，批归一化（BN） 是批量归一化操作，在模型中多次使用，以缓解梯度消失的问题，从而提高网络的稳定性。Flatten是对输入矩阵的一种展平操作，用于将矩阵转换为一维向量。Activation表示激活函数，relu和softsign用作激活函数，其中relu用作网络模型前几层输出的激活函数，softsign用作最后两层中tanh激活函数的替代，以更好地缓解梯度消失的问题。Dropout表示隐藏的神经元被随机停用，L2正则化用于防止模型的过拟合。该网络模型包括卷积层、多头自注意层、残差层和全连接层等，其中加法运算RNN表示残差层，Dense Layer表示全连接层。生成器网络和卷积神经网络使用相同的网络模型，其网络模型的主要过程是：首先分别用几个大小为1 ×���、2 ×���、3 ×���的卷积核对输入特征进行卷积，以实现对输入特征的局部特征提取;其次，针对不同的卷积结果，采用多头自注意层和残差层实现全局特征提取;第三，将多头自注意层的输出扩散为一维向量，将批量归一化和残差层累加后的结果输入到全连接层，得到与排名特征;然后，对输出的全连接层进行全连接层和残差层操作;最后，输出文档分别属于全连接层后的正例和反例的预测得分。* GAN-LTR中生成器和判别器的网络模型的主要层详细描述如下：卷积J. Li等人阵列15（2022）1002054������表示e���=w1第���k个k（���）的八个，并且0≤���≤1。���层、多头自注意层、剩余层和全连接层。3.1. 卷积层卷积网络具有局部收敛和权值共享的特点。局部相关特征可以避免全连接网络参数过多的缺点，并且可以提取局部特征之间的相关性，单个卷积核对特征提取进行权值分担也避免了参数过多Kim [25]探索了用于句子分类的卷积神经网络。受其卷积层思想的启发，我们将其应用于 *GAN-LTR的网络模型。假设∈是文档的第n个特征向量，其中是文档中每个特征的特征向量维数，则具有长度���������������������可以表示为：������=（[1，2，������������������������根据文献[26]中多头注意的思想，我们将多头自注意的计算过程分为以下三个步骤。步骤1：线性变换。 在卷积层的输出被激活和转置之后，获得计算自我注意力分数所需的矩阵和V，并且它们的参数矩阵分别被设置为、和。然后，对三个矩阵进行线性变换，并以相同的维数但不同的初始参数，即对、和进行不同的投影。步骤2：自我注意力计算。对于每个头，注意力得分和 通过缩放点积方法计算，并通过Softmax函数对注意力分数进行归一化，然后将注意力分数及其对应的矩阵加权并求和，以获得第11个头部的自注意力结果，如等式5所示。���（1）和（2）。������������������这个函数的作用是：更一般地，设������：���+���作为文档的拼接特征向量������，������+1，.，+���。卷积���������A������������������������ (,,)=���������������������(√���)(1)操作是将卷积核应用于窗口���������文档要素的大小为������：+− 1，以生成新要素������，即， ������=（���������∶���+���−1+���），其中偏置值���∈，并且是线性函数。核函数作用于文档特征{���1∶���，���2∶��� +1，������������������������������������...，−+1∶}中所有可能的窗口，以生成维度为−+1的新特征映射=[1，2，...，−+1]，其中填充有效。当填充相同时，将添加空白区域，以便最终特征映射为���������������对于 *GAN-LTR中的卷积层，我们首先将将特征文档化到列向量中，并执行批处理法线-A������������ =��������� A������������������������（��� 、������（2）步骤3：拼接和线性变换。将多个磁头的自注意结果拼接，然后进行线性变换，以获得最终的多头自注意输出，如等式（1）所示（三）、������������������������������������������������������������������������A������������������������ (,化操作，然后卷积处理后的文档特征密钥的维度，以及 ∈������������������×������，∈������������������×������，分别使用大小为1 ×10、2 ×10、3 ×10的卷积核∈������������������ ×������ 和0 ∈ℎ������×������������������ 是参数矩阵���其中，卷积步长为1，填充相同，得到三个卷积核数为n×n的特征矩阵，其中n表示卷积核数，n表示文档特征向量的维数，n表示特征向量的维数。在每个特征矩阵被激活和转置之后，它被用作多头自注意层的输入。3.2. 多头自注意层多头自注意机制源于Google提出的Trans- former模型[26]。它是一种特殊的内部注意力机制，用于建模元素之间的依赖关系，可以直接计算序列本身的注意力，并重新分配每个位置的权重，以获得更合理的特征表示。多头自注意层由多个自注意层组成，可以并行计算。查询、键和值矩阵分别用、和表示，、和都是一样的。 假设有多个头，每个头在计算过程中通过线性变换将、、和变换到一个子空间中。每个头的线性变换的参数是不同的并且是可学习的，以便确保该模型从不同的表示子中学习相关特征，分别表示元素向量的维数。������������������3.3. 残余层剩余网络只是在输入和输出之间添加一个跳过连接，而不添加新类型的网络层。在残差网络中，输入残差通过网络层进行变换以获得输出值（），然后将输出值（）与输入值（）求和以获得最终输出（），即（）���=������（通过对剩余模块的叠加，可以使整个网络的训练随着网络深度的加深而稳定Xie等人。[27]探索了聚合残差变换深度神经网络受其聚合残差变换思想的启发，我们将其应用于 *GAN-LTR的网络模型。 为了考虑残差层的性质，并考虑残差的各个部分对最终结果的整体影响，我们在残差网络中添加了影响因子α和β， （）=+（），其中和是梯度下降的可训练超参数，并且0≤≤ 1和0≤≤ 1。������������当k= 1，如果n= 1，（n）将退化为一般的残差网络，否则它将成为加权剩余网络。 更一般地说，如果有多个网络具有相同维度大小的输出，那么空间[26]。本文提出的方法 *GAN-LTR结合了（） = ∑������������(���), where��� denotes the number of networks,������������并聚合这些特征以获得更高级别的特征。对于 *GAN-LTR中的多头自注意层，其核心思想是计算每个排名特征与所有其他排名特征之间的关系，而这些特征与特征之间的关系在一定程度上反映了不同特征之间的相关性和重要程度。它的输入由查询、键、和值，其输出为经过多头拼接和线性变换后的多头自注意矩阵。为 残余 层 在 *GAN-LTR， 它 用于 网络分别在以下三种情况下，即，添加剂操作包括：首先，将卷积层的输出与多头自注意层的输出连接起来，以提高下游任务的稳定性;其次，将三个多头自注意层的输出连接起来，以线性逼近不同的输出;再次，将具有相同维数输出的全连接层连接起来 以进一步编码有用的上游特征和下游特征。多头自注意层，用于对内部依赖关系进行建模J. Li等人阵列15（2022）1002055⟨⟩3.4. 全连接层全连通层，通过线性函数实现不同线性空间的相互映射。通过加入激活函数，增强了全连通层的分类效果，避免了梯度消失。对于 *GAN-LTR中的全连接层，即图1中的Dense层，在CGAN的生成器和卷积器的网络模型中使用了三个空间，分别是：（1）将残差层中第二种情况输出的平坦化和批量归一化结果线性空间，其具有与输入特征的维度相同的维度大小，用于从高维空间映射到低维空间。这里，relu函数被用作激活函数。(2)网络模型的最后两层是两个全连接层，对应于IRGAN中的两个全连接层。但在这里，软符号函数被用作激活函数，IRGAN中双曲正切的激活函数被修改为具有更平滑曲线的软符号激活函数，以避免梯度消失。4. 实验对比与分析为了验证我们提出的学习排名方法的性能，*GAN-LTR结合了多头自注意机制和条件生成对抗网，我们重新编写了IRGAN实验代码1，并在相同的MQ 2008学习排名数据集上进行了实验-半应用于Web搜索实验并将实验结果与IRGAN应用于Web搜索数据集进行了比较分析。 对于学习排名的其他代表性方法，即，RankNet，LambdaRank和LambdaMART，由于文献[ 2 ]中已经将IRGAN与它们进行了性能比较，因此它们的实验结果表明，IRGAN方法在所有度量（包括@，@，A和）上都带来了显著的性能提升������������������������。因此，*GAN-LTR仅与IRGAN进行比较，本文不再重复与这些方法的比较。我们在IRGAN [2]中使用相同的评估指标来比较*GAN-LTR和IRGAN，即平均精密度（A），������������������������ 归一化 贴现 累积 增益 （@） 和Mean Reciprocal Ranking（），它们是信息检索领域学习排序的常用标准排序性能指标。因此，对于这些评价指标的计算方法和公式，请参考相关文献[28]，在此不予理会。4.1. 实验装置在将IRGAN应用于Web搜索的一些实验设置之后，我们对MQ 2008-学习排名的半数据集进行预处理，即所有相关值大于0被视为正样本，所有相关值为0或-1的查询-文档对被视为未标记样本。同时，将MQ 2008-semi数据集按4：1随机分为训练集和测试集，并采用了IRGAN的采样方法和训练过程等。将IRGAN应用于Web搜索的实验结果发现，当epoch > 100时，IRGAN-Pointwise训练处于稳定状态，因此将epoch的值设置为100以减少训练时间，而其他参数与原始论文中的IRGAN参数保持一致对于IRGAN-Pairwise的训练，我们通过参数调整将GAN的生成器的学习率设置为0.0003，并将训练器和生成器的训练epoch数分别设置为30和25在此参数设置的基础上，对 *GAN-LTR和IRGAN的实验结果进行了比较和分析。1 https://github.com/geek-ai/irgan表1*GAN-LTR和IRGAN在MQ 2008-semi数据库上的排名性能比较。学习排序方法精密度@3精密度@5精密度@10MAPIRGAN-逐点0.1873 0.1619 0.1190 0.1801*GAN-LTR-逐点0.1968 0.1771 0.1314 0.1936IRGAN配对0.1968 0.1657 0.1248 0.1923*GAN-LTR-成对0.2000 0.1752 0.1276 0.2036学习排序方法NDCG@3NDCG@5NDCG@10MRRIRGAN逐点0.20870.21630.23770.3487*GAN-LTR-逐点0.2192 0.2304 0.2484 0.3407IRGAN配对0.2204 0.2208 0.2440 0.3497*GAN-LTR-成对0.2274 0.2348 0.2565 0.35734.2. 结果和讨论在 秩序 到 促进 的 性能 比较 在伊朗，*GAN-LTR在一些性能指标和IRGAN的学习曲线上也遵循相同的设置，这些设置适用于MQ 2008-学习排名的半数据集上的网络搜索。表1显示了*GAN-LTR和IRGAN在MQ 2008-semi数据集上逐点和成对学习排名方法的排名性能指标的比较，������������������������@, @, A , and . 为结果如表1所示，可以看出在绝大多数情况下，*GAN-LTR在每个相应的评估指标上都优于IRGAN。其原因主要是由于卷积神经网络和多头自注意机制的融合，可以有效地提取查询词、文档>，获得排序特征之间的相关性，并为不同的排序特征分配不同的权重。 由于多头自注意机制的存在，可以得到多个向量子空间内的权重分配，使得排序特征在k，k内的权重分配更加合理，增强了重要排序特征的贡献，从而提高了学习排序方法 *GAN-LTR的性能图图2显示了在MQ 2008-semi数据集上进行对抗性训练之前，*GAN-LTR和IRGAN的预训练模型的非对抗性学习曲线的变化。图3和图4分别显示了在MQ 2008半数据集上进行对抗训练期间，*GAN-LTR和IRGAN的逐点和成对学习排名方法的学习曲线的变化。它们都是在相同的超参数下获得的结果（包括训练时期的数量，学习率，批量大小等）。 具体而言，图中所示的结果。2反映了最后一个是循环数，循环数为5，循环数为5。 从该图中可以看出，*GAN-LTR的预训练模型对于评估指标RQS-RQS-RQS-@5和RQS-@5的表现优于IRGAN的预训练模型。此外，我们还可以看到，我们提出的方法*GAN-LTR的收敛速度比IRGAN更快。因此，我们提出的方法 *GAN-LTR在评估指标和收敛性方面优于IRGAN。主要原因是 *GAN-LTR的预训练模型中集成了多头自注意层，可以捕捉排名特征的注意权重，并为重要的排名特征分配更高的权重，从而整体提升 *GAN-LTR方法的性能。结果显示在Fig. 3反映了GAN-LTR和IRGAN的逐点学习排序方法中各自生成器的对抗学习曲线在评价上的性能变化 标准最后一次，我会告诉你的。 和 @5，其随着时期的数量迭代地进化。 结果显示在Fig. 4反映对抗性学习曲线的演变在成对学习中，分别使用生成器和鉴别器对IRGAN和 *GAN-LTR的方法在评价标准J. Li等人阵列15（2022）1002056图二、在 MQ 20 0 8 半 数 据 集 上 进 行 对 抗 训 练 之 前 ，*GAN-LTR和IRGAN的预训练模型的学习曲线。图三. *GAN-LTR和IRGAN在MQ 2008半数据集上的逐点学习曲线。见图4。 *GAN-LTR和IRGAN在MQ 2008半数据集上的成对学习曲线。������������������������迭代次数为@5和@5。 从这两个图中的结果可以看出，在迭代训练的早期阶段，评估标准@5和������������������������通过 *GAN-LTR和IRGAN的逐点和成对学习排名方法获得的平均值@5主要原因是 *GAN-LTR和IRGAN方法中的生成网络和递归网络导致了提高了连续对抗博弈的生成能力和判别能力，从而提高了各个评价指标的价值。在迭代训练的后期， 各评价指标的权重趋于稳定，上下波动，表明各方法的对抗性训练已达到稳定状态。此外，从整体来看，图。3和4也表明，*GAN-LTR的各项性能指标曲线大致在IRGAN之上，说明*GAN-LTR训练得到的相应性能指标获得了更好的效果，即 *GAN-LTR的性能优于IRGAN。同理，这样的结果主要原因还是 由于CGAN中结合了卷积神经网络和多头自注意机制等技术。最后，与性能准则@5和������������������������图2所示的预训练模型的结果，图2所示的性能标准的结果。3和4显示出优越的性能，表明CGAN的迭代对抗训练可以提高 预训练模型（这里是非对抗训练模型）的性能在一定程度上。J. Li等人阵列15（2022）10020575. 结论针对现有的学习排序方法往往忽略排序特征之间的关系这一事实，提出了一种新的学习排序方法--*GAN-LTR，一种基于条件生成对抗网（CGAN）的多头自注意机制。该方法采用了IRGAN的抽样方法和训练过程，并改进了将IRGAN框架应用于Web搜索的一些设计思路。* GAN-LTR在IRGAN的基础上做了以下改进：在CGAN的网络模型中，增加卷积层和多头自注意层，提取文档的局部特征和全局组合特征，并为不同的排序特征分配适当的权重，增加残差层，避免网络过深导致的梯度消失和退化问题，增加批量归一化，增强网络的稳定性，增加dropout技术，随机去激活隐藏单元，避免过拟合，并且激活函数双曲正切tanh函数被修改为具有更平滑曲线的软符号激活函数以避免梯度消失。在MQ 2008-semi learning to rank数据集上的实验结果表明：与IRGAN应用于Web搜索的实验结果相比，本文提出的学习排名方法 *GAN-LTR在各项性能指标上都取得了更好的效果。整体来看，*GAN-LTR具有一定的性能优势。CRediT作者贡献声明李金钟：概念化，方法论，软件，形式分析，调查，资源，写作Huan Zeng：概念化，方法论，软件，验证，形式分析，数据管理，写作雷鹏：撰写、审校、编辑、监督. Jingwen Zhu：调查，监督，项目管理，资金获取.刘志宏验证，可视化。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢本研究得到了国家自然科学基金（62141203、61762052），江西省自然科学基金（20212 BAB 202021）和江西省自然科学基金（20212BAB 202021）的资助。江西省教育厅科技计划项目，批准号：GJJ180574和GJJ 201015;吉安市科技先导计划，批准号2021[8]基11号。所有作者均已阅读并同意手稿的出版版本引用[1]李洪志学习为信息检索和自然语言处理排序。Synth Lect Lang Technol 2014;7（3）：1-121.[2]王军，于亮，张伟，龚勇，徐勇，王斌，张平，张丹. Irgan：一个统一生成和判别信息检索模型的极大极小博弈。第40届国际ACM SIGIR会议的研究和发展信息检索。2017年，p.515-24[3]Zhu X，D. K. Listwise通过探索独特的评级来学习排名。第13届Web搜索和数据挖掘国际会议（WSDM'20）的开幕式。2020年，p. 三比七[4]Liu X，Van De WeijerJ，Bagdanov AD. 利用 未标记 数据 在 CNNS通过自监督学习来排名。IEEE Trans Pattern Anal Mach Intell2019;41（8）：1862-78.[5]艾Q，王X，Bruch S，Golbandi N，Bendersky M，Najork M.使用深度神经网络学习分组多元评分函数。2019年ACM SIGIR信息检索理论国际会议（ICTIR'19）。2019年，p. 85比92[6]夏尔马河使用列表学习来对深度Q网络进行排名。2020年，arXiv预印本arXiv：2002.07651。[7]郭军，范毅，庞丽，杨丽，艾青，扎马尼，吴春，克罗夫特，程旭. 深入研究用于信息检索的神经排序模型。Inf ProcessManage 2020;57（6）：102067.[8] 2009年10月23日，李文辉，李文TF排名：可扩展的tensorflow库，用于学习排名。第25届ACM SIGKDD知识发现数据挖掘国际会议论文集&。2019年，p.2970-8[9]张伟信息检索的生成对抗网络：基础与进展。第41届国际ACM SIGIR&信息检索研究发展会议。2018，p. 1375-8。[10] Deshpande A，Khapra MM.评估信息检索的生成对抗框架。2020年，arXiv预印本arXiv：2010.00722。[11] Jain M，Kamath SS.使用PPO改进IRGAN中的收敛。In：Proceedings第7届ACMIKDD CoDS和第25届COMAD。2020年，p. 328-9[12] 陆S，窦智，俊X，聂建英，温建荣. Psgan：一个针对有限和嘈杂的点击数据的个性化搜索的极大极小游戏。第42届国际ACM SIGIR信息检索研究与发展会议论文集。2019年，p. 555-64[13] Park DH，Chang Y.半监督信息检索的对抗性采样和训练。 万维网会议（World WideWeb Conference，WWW'19） 2019,p. 1443-53.[14] 作者：Wang B，Klabjan D.基于注意力的深度网络，用于学习排名。 2017年，arXiv预印本arXiv：1702.06106。[15] 姜志，窦志，赵文新，聂建勇，岳明，温 J-R 监督 搜索 通过副主题注意实现结果多样化。IEEE Trans Knowl Data Eng2018;30（10）：1971-84.[16] 张C，埃文斯MR，Lepikhin M，Yankov D.用于结构化地图搜索的快速注意力学习排名模型。第44届国际ACMSIGIR信息检索研究与开发会议论文集。2021,p.942-51[17] 秦X，窦智，温俊荣.使用自我注意力网络使搜索结果多样化。第29届ACM信息知识管理国际会议论文集&。2020年，p. 1265-74.[18] Sun S，Duh K.建模文档交互以学习使用正则化的自我注意力进行排名。2020年，arXiv预印本arXiv：2005.03932。[19] Pobrotyn P，Bartczak T，Synowiec M，Biaobrzeski R，BojarJ.情境感知学习与自我注意力排名2020年，arXiv预印本arXiv：2005.10084。[20] Zhang H，Goodfellow I，Metaxas D，Odena A.自我注意生成对抗网络。第36届机器学习国际会议论文集。2019年，p. 7354-63[21] 徐T，张P，黄Q，张H，甘Z，黄X，何X. Attngan：细粒度注意力生成对抗网络的文本到图像生成。2018年IEEE/CVF计算机视觉和模式识别会议论文集。2018，p. 1316-24。[22] Emami H，Aliabadi MM，Dong M，Chinnam RB. Spa-gan：用于图像到图像翻译的空间注意力gan。IEEE Trans Multimed 2020;23：391[23] 姜明，支明，李英，李涛，张军。基于自注意力的生成对抗网络算法的MR图像超分辨率重建。中国科学（信息科学）2021;51（6）：959-70.[24] Mirza M ， Osindero S. 条 件 生 成 对 抗 网 。2014 年 ， arXiv 预 印 本 arXiv ：1411.1784。[25] Kim Y.用于句子分类的卷积神经网络。2014年，arXiv预印本arXiv：1408.5882。[26] Vaswani A，Shazeer N，Parmar N，UszkoreitJ，Jones L，Gomez AN，KaiserJiang，Polosukhin I.注意力就是你所需要的。在：第31届会议的会议记录神经信息处理系统（NIPS 2017）。2017年，p.5998-6008[27] Xie S，Girshick R，Dollár P，Tu Z，He K.深度神经网络的聚合残差变换。在：2017年IEEE计算机视觉和模式识别会议（CVPR'17）的论文集。2017年，p.5987-95[28] Chakrabarti S，Khanna R，Sawant U，Bhattacharyya C. 结构化学习非平滑排名损失。第14届ACM SIGKDD知识发现和数据挖掘国际会议论文集。2008年，p. 88比96