基于神经查询扩展模型的FAQ检索技术

10630基于神经问题到答案翻译的查询扩展0Atsushi OtsukaNTT媒体智能实验室，NTT公司，神奈川县横须贺市，日本otsuka.atsushi@lab.ntt.co.jp0Kyosuke NishidaNTT媒体智能实验室，NTT公司，神奈川县横须贺市，日本nishida.kyosuke@lab.ntt.co.jp0Katsuji BesshoNTT媒体智能实验室，NTT公司，神奈川县横须贺市，日本bessho.katsuji@lab.ntt.co.jp0Hisako AsanoNTT媒体智能实验室，NTT公司，神奈川县横须贺市，日本asano.hisako@lab.ntt.co.jp0Junji TomitaNTT媒体智能实验室，NTT公司，神奈川县横须贺市，日本tomita.junji@lab.ntt.co.jp0摘要0我们提出了一种新颖的基于神经查询扩展模型的常见问题（FAQ）检索技术。随着问答系统和移动通信的发展，FAQ检索系统已广泛应用于站点搜索和呼叫中心支持。然而，FAQ检索经常存在查询和答案文档之间的词汇差距。为了弥合这些差距，我们设计了一个基于编码器-解码器模型的查询扩展模型，作为一种深度神经网络的一种类型。该模型通过使用问答对文档学习问题答案中出现的单词，并从输入的查询生成扩展查询以检索答案文档。我们在多领域FAQ检索任务中评估了我们提出的技术。实验结果表明，我们的技术比以前的方法更准确地检索FAQ。0CCS概念0• 信息系统 → 信息检索查询处理；• 计算方法 →人工智能；自然语言处理；0关键词0查询扩展，FAQ，编码器-解码器模型0ACM参考格式：大塚敦，西田恭介，別所克二，浅野久子和冨田淳二。2018年。基于神经问题到答案翻译的查询扩展用于FAQ问答。在WWW'18Companion：2018年网络会议伴侣，2018年4月23日至27日，法国里昂。ACM，纽约，美国，6页。https://doi.org/10.1145/3184558.31915370本文发表在知识共享署名4.0国际（CC BY4.0）许可下。作者保留在其个人和公司网站上传播作品的权利，并附有适当的归属。WWW'18 Companion，2018年4月23日至27日，法国里昂。©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.319153701 引言0随着问答（QA）系统的普及，常见问题（FAQ）检索系统在移动和语音通信方面引起了特别关注[25]。FAQ检索系统使用户能够通过将输入的查询与FAQ进行比较来找到解决问题的信息。FAQ检索系统通过结合信息检索和自然语言处理技术实现。FAQ系统计算查询和FAQ之间的相似度。早期的研究提出了通过增强相似度计算[1，16，21，31]和预处理[14]来提高FAQ检索性能的技术。FAQ检索系统仍然存在一个关键问题：查询和FAQ之间的词汇差距。以前的研究考虑的查询和问题之间的差距大多是释义或正字法变体。然而，查询和答案之间的差距通常无法通过释义来解释，因为答案描述了问题的原因或解决方法。因此，很难计算查询和答案之间的相似度分数。为了解决这个问题，以前的研究提出了一种方法来弥合查询和答案之间的差距[3，7，18，27，28]。这些技术基于词语或短语对来对齐问题和答案。在本文中，我们提出了一种用于弥合查询和答案之间差距的FAQ检索方法。我们的检索方法分别计算问题和答案的相关性分数。答案相关性分数是通过由查询扩展模型生成的扩展查询计算的。我们的查询扩展模型基于编码器-解码器模型，该模型经常用于许多自然语言应用，如机器翻译系统[22]或对话系统[24]。该模型学习从问题到答案的单词翻译，而无需单词对齐或共现。我们的贡献总结如下。0•我们提出了一种基于神经编码器-解码器翻译模型的查询扩展模型，用于FAQ检索中的答案检索。与以前的研究不同，我们的模型通过端到端的方式从训练语料库中学习翻译，而不需要单词对齐。0Track: 第一届混合问答与结构化和非结构化知识国际研讨会 (HQA'18) WWW 2018, 2018年4月23-27日, 法国里昂10640输入查询0Q 计算问题分数 Q + A0查询扩展模型0预处理0计算答案分数0计算聚合分数0排序QA0结果排序QA0图1：FAQ检索流程0•我们通过使用一个包含不同问题类型的多领域FAQ语料库来评估所提出模型的效果，并证明该模型在事实型FAQ中特别有效。02 初步0在本节中，我们首先定义FAQ检索任务，然后解释用于答案检索的查询扩展模型。0定义1[FAQ检索]：FAQ检索是本文的主要任务。我们将该任务定义为根据与输入查询相关性的顺序输出前K个问答(Q&A)文档的文档检索。0定义2[FAQ]：FAQ是一组问答文档。一个问答文档包含一个问题的一个答案，并用自然语言描述。0定义3[查询]：输入查询由m个用自然语言或关键词列表描述的单词组成。0定义4[查询扩展模型]：查询扩展模型是一个将输入查询转换为0到N个单词的翻译模型。该模型根据转换函数f将查询转换为单词。函数f通过使用训练Q&A语料库的学习过程进行训练。03 方法0在本节中，我们描述了使用基于编码器-解码器的查询扩展模型进行答案检索的方法。我们的FAQ检索过程的流程如图1所示。首先，我们解释如何计算用于排序Q&A文档的分数。接下来，我们描述了计算答案分数的查询扩展模型。0嵌入0独热编码0LSTM00输出0嵌入0独热编码0LSTM0输出0解码0注意力0编码0嵌入0独热编码0嵌入0独热编码0嵌入0独热编码0投影隐藏0图2：用于计算答案文档分数的查询扩展模型的架构。这里，w0、w1和w2表示输入单词，w'0和w'1表示输出。03.1 使用问题和答案分数进行FAQ检索0我们计算查询和FAQ之间的相关分数以输出结果。相关分数通过聚合问题和答案分数计算得到。当我们给出输入查询Q和Q&A文档di时，聚合分数S(Q, di)通过线性加权和计算如下：0S(Q, di) = αSq(Q, d(i, q)) + βSa(Q', d(i, qa))(1)0其中α和β是可学习参数，采用学习排序方法[15]，Sq(Q, d(i,q))表示Q&A文档的查询和问题之间的相关分数，Sa(Q', d(i,qa))是扩展查询Q'和Q&A文档d(i,qa)之间的相关分数。问题分数Sq通过使用Word2vec[17]创建的词向量的质心向量之间的余弦相似度计算得到。答案分数Sa是基于Okapi BM25[19]的关键词匹配得分。03.2 答案的查询扩展模型0我们用图2展示了用于计算答案得分的查询扩展模型。我们提出的查询扩展模型基于带有注意机制的编码器-解码器模型，这是一种使用深度神经网络的生成模型[2]。在自然语言处理中，编码器-解码器模型被用作对话处理的序列到序列模型（Seq2Seq）[24]或机器翻译[22]。Seq2Seq将单词序列作为输入，并输出翻译后的单词序列。输入单词由编码器神经网络编码。在Seq2Seq中，单词被表示为向量。这些向量是独热向量，具有|V|-维元素（|V|是词汇表中唯一标记的数量）。词汇表中第v个标记的独热向量是一个二进制向量，除了第v个元素被设置为1之外，其他元素都是0。嵌入层将每个独热向量投影到E维连续向量空间中，其中E是权重矩阵We∈RE×|V|0Track: 第一届混合问题回答与结构化和非结构化知识国际研讨会（HQA'18）WWW 2018年4月23日至27日，法国里昂et = Wext(2)Seq2Seq considers the word orders of input queries by usingLong Short-Term Memory (LSTM) in the encoder, but users donot always input a natural language sentence when they use FAQretrieval systems. Thus, we use a multi layer perceptron (MLP) toexclude the effect of word order in the encoder. The outputs of theprojection layer hp and context layer hc are lucubrated,Wpet(3)h Wchp(4)tf d,w=freq d,w)tfidf d,w=tfw(6)10650Seq2Seq通过在编码器中使用长短期记忆（LSTM）考虑输入查询的单词顺序，但用户在使用FAQ检索系统时并不总是输入自然语言句子。因此，我们使用多层感知机（MLP）来排除编码器中单词顺序的影响。投影层hp和上下文层hc的输出被研究了出来，0h p = 00其中Wp∈RE×E和Wc∈RE×E表示可学习的模型参数。输出单词由解码器神经网络生成。解码器LSTM接收编码器创建的隐藏状态hc，并输出状态向量h j。输出层将状态向量转换为单词标记。计算标记y j 的出现概率为0P ( y j  | y 0 , y 1 , ... y j − 1 , x ) = δ ( W d h j  +  b d0其中权重矩阵Wd和偏置向量bd是模型参数，hj是解码器LSTM输出的状态向量，δ表示softmax函数。根据概率向量y j的最大值元素来决定输出的标记。03.2.1模型学习的语料库改革。我们使用问答文档进行模型训练。问题用作输入，答案用作输出。如上所述，查询扩展不一定要输出语法正确的句子，但需要能够识别文档的关键词。因此，我们通过使用查询扩展模型来改革训练语料库，以生成有益的关键词。我们对语料库应用排序和修剪两个过程。我们引入了两个过程。排序过程。我们根据单词的重要性对输出句子的单词进行排序，以训练查询扩展模型。如果模型按照语法进行训练，模型的第一个输出通常是一个主语词，如“我”。然而，这些词对查询没有好处，因此我们按照重要性对训练语料库的输出词进行排序，使重要的词先输出。我们使用tfidf进行排序[8]。tfidf是一种数值统计量，旨在反映一个词对于一个集合或语料库中的文档的重要性，计算公式如下：0idf ( w ) = log | 0df ( w ) +10其中frec(d,w)表示文档d中词w的词频，|D|是语料库中文档的数量。我们首先计算训练语料库中的idf，并根据tfidf对输出词进行排序。此外，我们还将排序过程应用于输入词以设置输入词的限制。0表1：实验中的FAQ数据集。数值表示测试查询（query）、训练问答文档（training）和测试问答文档（test）的数量0领域 查询 训练 测试0智能手机 843 442,181 150 化妆品 100 67,737100 人际关系 100 71,591 1000修剪过程。我们使用基于编码器-解码器模型的查询扩展模型的输出作为查询。如果输出词语在目标文档中不存在，则不使用这些词语进行检索，即使它们在FAQ领域中非常具有特征性。此外，训练语料库中的词汇量增加，训练时间也会增加。在本文中，我们修剪训练语料库中FAQ文档中不存在的词语。这个过程仅应用于输出词语。模型需要允许各种输入词语，因为用户使用各种词语输入查询。因此，我们仅修剪输出词语，以提高检索的准确性和模型训练的速度。04 实验和结果 4.1 数据集0我们根据之前的研究[9]选择了表1中显示的三个领域创建了FAQ语料库。他们分析了通信问答（CQA）网站上的问题和答案类型，并报告说可以根据答案内容对问答文档进行分类。在智能手机领域，大多数问题是事实型的，答案内容必须准确、智能或正确（他们称之为“内容”领域）。另一方面，人际关系领域的答案很多是主观或情感性的（称为“社交情感”领域）。化妆品领域是“内容”和“社交情感”类型的混合体。我们旨在评估我们提出的方法在各种类型的问答文档中的效果。我们使用日本CQA网站的问答文档作为训练语料库。在CQA网站上，每个问题都有几个答案。我们将问题和最佳答案的配对作为我们查询扩展模型的输入和输出。对于测试数据集，两名工作人员在不看任何文档的情况下创建了测试查询句子，涵盖了各个领域。然后，我们从日本问答网站收集包含查询词语的问答文档，并为每个查询选择了最佳的问答文档。智能手机测试集中每个查询至少有一个正确的FAQ文档（平均答案数量为4.0）。化妆品和人际关系测试数据集每个查询有一个正确的文档ID。04.2 实验配置0为了评估我们提出的方法在FAQ检索任务中的有效性，我们使用了信息检索中的标准评估指标Precision@K，其中K的取值范围为1到5。Precision@K指标是对应测试查询的前K个输出中包含正确问答文档的比例。对于包含多个正确文档的智能手机领域，我们使用了另一个指标0论文题目：第一届混合问题回答与结构化和非结构化知识的国际研讨会（HQA'18）WWW 2018，2018年4月23日至27日，法国里昂0.720.680.660.60.470.710.670.640.580.450.610.590.550.480.390.690.640.610.540.4300.10.20.30.40.50.60.70.8＠５＠４＠３＠２＠１precisionbaseline１baseline2Word2vecProposed0.90.870.860.820.720.880.850.820.760.670.860.830.790.740.670.90.880.830.760.6300.20.40.60.81＠５＠４＠３＠２＠１precisionbaseline１baseline2Word2vecProposed0.890.870.860.790.60.870.860.810.770.610.830.820.810.690.580.880.840.820.730.5700.20.40.60.81＠５＠４＠３＠２＠１precisionbaseline1baseline2Word2vecProposed10660图3：智能手机领域包含正确问答的查询比例0图4：化妆品领域包含正确问答的查询比例0表2：智能手机数据集中的nDCG值0基准方法1 Word2vec 提出的0nDCG@5 0.377 0.408 0.4490nDCG@5（标准化折扣累积增益）是用于评估输出排名准确性的指标（有关nDCG的详细信息，请参见[6]）。比较方法。在实验中，我们使用了两种基准方法和一种比较方法。基准方法1和2使用没有任何扩展模型的查询。基准方法1是基于查询和问题之间的相似度得分进行FAQ检索（仅使用公式1的第一个术语）。基准方法2基于使用问题和答案的得分（使用公式1的所有术语）。为了将我们的模型与使用答案的方法进行比较，我们还使用了基于Word2vec的查询扩展方法[12,17]。基于Word2vec的扩展查询是基于向量空间中的语义相似性生成的。检索得分通过公式1计算。04.3 结果04.3.1FAQ检索的准确性。图3、4和5显示了Precision@K的结果。请注意，基准1表示仅使用问题的相似度得分。基准2表示同时使用问题和答案的相似度得分。大多数仅使用答案而没有扩展查询的基准2的结果精度较差。0图5：包含正确问答的查询比例（人际关系领域）0基准1的结果表明，查询扩展对于改善FAQ检索的性能是有效的。此外，我们提出的方法比基于Word2vec的方法提高了更多的精确度。表2显示了智能手机数据集中nDCG@5的结果。我们的方法在nDCG@5方面取得了最佳结果。我们对前1个结果应用了Mc-Nemar的检验。检验结果表明，我们的方法在智能手机数据集中与基准1（p <.05）存在显著差异，并在化妆品数据集中存在边际显著差异（p <.10）。在人际关系数据集中，提出的方法与基准之间没有显著差异。在智能手机和化妆品数据集中，我们的方法在所有K值上都比两种基准方法的Precision@K更好。然而，人际关系数据集显示出不同的趋势。我们的查询扩展模型对于智能手机数据集中的内容文档非常有效。大多数内容文档能够为问题提供明确的答案。另一方面，大多数社交情感文档不包含明显的问题答案。因此，我们假设我们的查询扩展模型无法学习如何将问题转化为社交情感文档中的答案。04.3.2查询扩展模型的输出。表3显示了查询扩展的示例，表4显示了我们的查询扩展模型输出的单词数量。我们的模型输出可变数量的单词。内容领域从我们的查询扩展模型输出了许多单词。相比之下，社交情感领域的扩展单词比内容类型领域少。这一趋势表明，我们的模型在内容领域中的学习效果优于社交情感领域。此外，如4.3.1所示，内容领域的结果比社交情感领域更好。我们认为我们的模型及其输出在FAQ检索任务中是有效的。基于Word2vec的查询扩展模型基于语义词相似性，因此其扩展单词大多是同义词。另一方面，我们提出的方法输出与查询不是同义词的单词。例如，在智能手机领域中，扩展词“side”似乎与查询“如何调高音量？”没有相似之处。然而，这些单词具有0追踪：第一届混合问答与结构化和非结构化知识国际研讨会（HQA'18）WWW 2018年4月23日至27日，法国里昂4.493.092.5610670表3：查询扩展示例。“Word2Vec”表示通过单词向量的相似性生成的单词（比较方法），而“proposed”是提出的查询扩展模型的输出。请注意，这些示例是从日语翻译成英语的。0领域查询扩展0智能手机查询：如何调高音量？0Word2vec：降低，音量，设置，低音，上下0提议：静音，音量，扬声器，声音，侧面，设置0查询：如何在海外旅行期间避免高昂的通信费用？0Word2vec：金钱，数据包，领域，巨大0建议：关闭，酒店，漫游服务，开启，飞行模式0化妆品查询：什么是最好的夏季护肤方法？0Word2vec：商品，节省时间，洁面霜，外出0提出的：防晒霜，紫外线，皮肤斑点0查询：最好的冬季护肤方法是什么？0Word2vec：商品，磨砂膏，洁面霜，FANCL，面膜0提出的：护理，面膜，滋润，霜0人类查询：成年人约会的费用0人际关系 Word2vec：昂贵，超过，节省，教育费用0提出的：表达，聪明，账单分摊0查询：被甩后如何重新变得好起来？0Word2vec：干净，挥之不去，忘记，勇气0提出的：心碎，忘记0表4：我们模型在每个领域的平均输出词数0智能手机 化妆品 人际关系0表5：通过比较修剪和未修剪语料库，在智能手机领域的词汇量和平均训练时间0修剪后 未修剪0词汇量 2,507 12,926时间（1个epoch）[秒] 1620.2 4540.90这是因为许多智能手机在侧面有一个音量控制开关，所以它们之间有一个关系。这意味着我们的模型能够学习问题和答案之间的潜在词语关系。此外，我们的模型能够检测化妆品示例中“夏天”和“冬天”等查询之间的细微差异。表5显示了词语修剪过程在训练时间方面的有效性，如第3.2.1节所述。通过词语修剪过程，原始语料库的词汇量减少了20％，训练速度提高了约65％。05 相关工作0FAQ通常用于QA，它是一种基于聊天的信息提供系统[4，10，13]。QA系统使用知识库[5]和推理[23]为输入的问题推断答案。深度神经网络现在被用于QA系统[20,26]。在本文中，我们使用一个CQA数据集进行模型学习。CQA是一个社交平台，允许用户发布问题，以便稍后由其他用户回答。[30]使用循环神经网络创建了一个排名度量网络，以找到专家用户。[29]0提出了一种使用主题模型的高质量Q&A文档检索方法，该方法假设问题和答案之间存在共享的潜在主题。06 结论0我们提出了一种基于编码器-解码器的查询扩展模型，该模型从FAQ检索的输入查询中生成额外的关键词，以考虑答案文档。实验结果表明，我们的方法在具有不同Q&A特征的三个领域中显著提高了FAQ文档检索的准确性。特别是，我们的方法在包含明显答案的内容类型Q&A文档方面表现优于其他方法。我们的未来工作是改进查询扩展模型。特别是，我们将解决那些没有明显答案或多个答案的问题，例如人际关系Q&A领域的问题。0参考文献0[1] Amit Agarwal, Bhumika Gupta, Gaurav Bhatt, and Ankush Mittal. 2015.Construc- tion of a Semi-Automated Model for FAQ Retrieval via Short MessageService. Proc of the 7th Forum for Information Retrieval Evaluation (FIRE2015)(2015), 35–38. [2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. 2015.Neural Machine Translation by Jointly Learning to Align and Translate. Proc of the5th International Conference on Learning Representations(ICLR2015) (2015). [3]Adam Berger, Rich Caruana, David Cohn, Dayne Freitag, and Vibhu Mittal. 2000.Bridging the Lexical Chasm: Statistical Approaches to Answer-finding. Proc of the23rd Annual International ACM SIGIR Conference on Research and Development inInformation Retrieval (SIGIR2000) (2000), 192–199. [4] Robin D. Burke, Kristian J.Hammond, Vladimir A. Kulyukin, Steven L. Lytinen, N. Tomuro, and S. Schoenberg.1997. Question Answering from Frequently Asked Question Files: Experiences withthe FAQ Finder System. Technical Report of the University of Chicago (1997). [5]Zihang Dai, Lei Li, and Wei Xu. 2016. CFO: Conditional Focused Neural QuestionAnswering with Large-scale Knowledge Bases. Proc of the 54th Annual Meeting ofthe Association for Computational Linguistics (ACL2016) (2016), 800–810.0Track: 第一届结构化和非结构化知识混合问答国际研讨会(HQA'18) WWW 2018, 2018年4月23-27日, 法国里昂10680[6]  Kalervo Järvelin and Jaana Kekäläinen. 2002. 基于累积增益的信息检索技术评估.ACM信息系统交易 20, 4 (2002), 422–446. [7]  Jiwoon Jeon, W. Bruce Croft, and JoonHo Lee. 2005. 在大型问题和答案档案中查找相似问题.第14届ACM国际信息与知识管理会议论文集 (CIKM2005)  (2005), 84–90. [8]  KarenSparck Jones. 1972. 术语特异性的统计解释及其在检索中的应用.  文献学杂志 28 (1972),11–21. 第1期. [9]  Soojung Kim and Sanghee Oh. 2009.用户在社交问答网站上评估答案的相关性标准.  美国信息科学与技术协会杂志 60, 4 (2009),716–727. [10]  Kanako Komiya, Yuji Abe, Hajime Morita, and Yoshiyuki Kotani. 2013.使用Q&A网站语料库的问答系统：查询扩展和答案候选评估.  Springerplus  2, 396 (2013),1–11. [11]  Govind Kothari, Sumit Negi, Tanveer A. Faruquie, Venkatesan T.Chakaravarthy, and L. Venkata Subramaniam. 2009. 基于短信的FAQ检索界面. (2009),852–860. [12]  Saar Kuzi, Anna Shtok, and Oren Kurland. 2016.使用词嵌入进行查询扩展.  第25届ACM国际信息与知识管理会议论文集(CIKM2016)(2016), 1929–1932. [13]  Jochen L. Leidner and Chris Callison-Burch. 2003.使用FAQ答案注入评估问答系统.  第6届CLUK研究研讨会论文集 (2003). [14]  JohannesLeveling. 2012. 去除停用词对基于短信的FAQ检索的影响.第17届自然语言处理和信息系统国际应用会议论文集 (NLDB2012)  (2012), 128–139. [15]Tie-Yan Liu. 2009. 信息检索的学习排序.  信息检索基础趋势 3, 3 (2009), 225–331. [16]Shahbaaz Mhaisale, Sangameshwar Patil, and Kiran Mahamuni. 2013.使用加权编辑距离进行基于短信的FAQ检索.  第4届和第5届信息检索评估论坛后续论文集(FIRE2012&2013)  (2013), 8:1–8:4. [17]  Tomas Mikolov, Kai Chen, Greg Corrado, andJeffrey Dean. 2013. 向量空间中词语表示的高效估计.  CoRR  abs/1301.3781 (2013). [18]Stefan Riezler, Alexander Vasserman, Ioannis Tsochantaridis, Vibhu Mittal, and YiLiu. 2007. 统计机器翻译用于答案检索中的查询扩展.  第45届计算语言学年会论文集(ACL2007)  (2007), 464–471. [19]  Stephen Robertson and Hugo Zaragoza. 2009.概率相关框架：BM25及其扩展.  信息检索基础趋势 3, 4 (2009), 333–389.0[20]  Min Joon Seo, Aniruddha Kembhavi, Ali Farhadi, and Hannaneh Hajishirzi.2016. 双向注意力流用于机器理解.  第5届国际学习表示会议(ICIR2017)论文集 (2016). [21]Anwar D. Shaikh, Mukul Jain, Mukul Rawat, Rajiv Ratn Shah, and Manoj Kumar.2013. 提高基于短信的FAQ检索系统的准确性.计算机科学讲义(包括子系列人工智能和生物信息学) 7536 LNCS (2013), 142–156. [22]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 2014. 序列到序列的神经网络学习.第27届国际神经信息处理系统会议(NIPS2014)论文集 (2014), 3104–3112. [23]  AdamTrischler, Zheng Ye, Xingdi Yuan, Jing He, and Philip Bachman. 2016.一种用于稀疏数据上的机器理解的并行分层模型.  第54届计算语言学年会(ACL2016)论文集(2016), 432–441. [24]  Oriol Vinyals and Quoc V. Le. 2015. 一种神经对话模型.2015年ICML深度学习研讨会论文集 (2015). [25]  Jotsna Waghmare and M A Potey.2015. 基于短信的FAQ检索系统综述.  国际工程与计算机科学杂志 4, 2 (2015),10259–10263. [26]  Jason Weston, Sumit Chopra, and Antoine Bordes. 2015.记忆网络.  第5届国际学习表示会议(ICLR2015)论文集 (2015). [27]  Xiaobing Xue, JiwoonJeon, and W. Bruce Croft. 2008. 问题和答案档案的检索模型.  第31届国际ACMSIGIR会议论文集 (SIGIR2008) (2008), 475–482. [28]  Zheng-Tao Yu, Zhi-Yun Zheng,and Shi-Ping Tang ; Jian-Yi Guo. 2005. 用于中文问答系统中答案文档检索的查询扩展.2005年机器学习和控制论国际会议论文集 (2005), 72–77. [29]  Kai Zhang, Wei Wu,Haocheng Wu, Zhoujun Li, and Ming Zhou. 2014.在社区问答中检索具有高质量答案的问题. (2014), 371–380. [30]  Zhou Zhao, Qifan Yang,Deng Cai, Xiaofei He, and Yueting Zhuang. 2016.基于排名度量网络学习的社区问答专家查找. (2016), 3000–3006. [31]  Guangyou Zhou,Yin Zhou, Tingting He, and Wensheng Wu. 2016.使用神经网络学习的语义表示进行社区问答检索.  知识-基于系统 93, C (2016), 75–83.0主题：第一届混合结构化和非结构化知识问答国际研讨会（HQA'18） WWW 2018，2018年4月23日至27日，法国里昂