智能QA系统的应用：提升知识社区回答效果

3130如何提高付费获取知识社区中的回答效果：智能QA系统的探索性应用0Yihang Cheng 天津大学chengyihang@tju.edu.cn0Xi Zhang 天津大学jackyzhang@tju.edu.cn0Hao Wang360搜索实验室cashenry@126.com0Shang Jiang 天津大学shanjiangtju@tju.edu.cn0摘要0社区问答（CQA）最近出现并在人们中间流行起来。在沟通过程中，不同的知识可以合并。最近，一些供应商使用付费获取知识的商业模式，将这些知识转化为货币利益，从而应用了付费获取知识的社区（PKC）。即使PKC有趣的商业模式，仍然存在一些问题需要解决，其中最突出的问题之一是提问者可能需要很长时间才能选择最有价值的答案，导致提问者无法为合适的回答者付费。已经有一些先前的研究关注了这个问题，但在平台上的问题和答案变得越来越复杂时，仍然没有找到令人满意的解决方案。随着认知计算技术的发展，将智能QA系统应用于PKC中以提高回答的效果可能是可能的。在本文中，我们试图研究如何将智能QA系统应用于PKC平台以提高回答的效果。为了解决匹配复杂问题和答案的问题，我们提出了一个基于普通智能QA系统的四模块QA模型。与普通智能QA系统相比，我们的模型使用类别来使用传统的机器学习方法对问题进行分类。我们使用相应问题的每个类别中的答案作为一个数据集，使用相应问题的每个实体中的答案作为另一个数据集，最后，这两个数据集组成文档数据库。然后，我们通过比较两个数据集的TF-IDF加权词袋向量或包含关键词的新答案来获得过去答案中的最佳答案，通过PKC的特征（包括中心性和金钱）使用长短期记忆（LSTM）算法。我们在从QA社区收集的1222个用户的QA网站数据集上进行了探索性实验。我们提出的模型预计能够提高QA的效果并改进付费获取知识社区的商业模式。01 引言最近，社区问答（CQA）在知识和学习应用中成为一种趋势[1]。在Yahoo!Answer中，超过8千万个问题已经由社区解决[2]。同样，在世界上还有百度知道、360问答等其他CQA平台。CQA成功的原因有几个：1）准确和个性化的答案：如果人们只能得到适合他们的答案，他们将乐意再次使用这种方式。2）社交需求：CQA平台具有点赞和评论功能，可以为用户之间的社交联系提供机会。3）知识创造：CQA平台为不同领域的人才提供了一个交流环境，以创造新的跨学科知识。0本论文发表在知识共享署名-非商业性-禁止演绎 4.0国际许可协议下。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW '18 Companion 2018年4月23日至27日，法国里昂。©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。DOI: https://doi.org/10.1145/3184558.31863420考虑到早期CQA平台的成功，从业者将付费获取知识的商业模式应用到平台中。在付费获取知识的过程中有两种方式：1）第一种是用户为可能正确回答用户问题的专家付费，称为系统性付费获取知识社区（PKC），例如Fenda和Ximalaya；2）第二种方式是用户为回答者付费，无论他们是谁，他们的答案都是最好的，称为奖励功能PKC，例如Zhihu或BaiduKnows，其过程如图1所示。它们之间最大的区别是用户是否提前知道答案，第一种是，而第二种则相反。尽管已经有许多研究集中在PKC上，但一个基本问题仍未得到很好的回答：1）用户是否得到了他们真正想要的东西？2）如果没有，原因是什么，我们可以采取什么措施有效提高用户的满意度？对于第一个问题，在平台上进行问答的过程中，由于主题、问题长度或对问题解释的清晰程度，他们可能无法得到答案[2]。对于第二个问题，有很多人提出了一些基本问题[3]，比如“美国总统是谁？”，这些问题太容易引起关注。这些问题可能导致这些平台的回答率较低。以前的工作使用了不同的方法来解决这些问题，但大多数工作不能满足用户的需求，不能及时给出正确和个性化的答案。随着智能QA系统的发展，将机器智能应用于PKC平台可能是一种有效的方法。但也存在挑战，最关键的挑战是如何以适当的方式将机器智能与PKC平台结合起来。本文主要将智能QA系统视为机器智能的表现形式，将智能QA和PKC平台结合起来。我们的工作主要使用类别来对用户发布的问题进行分类，并使用长短期记忆（LSTM）与PKC平台特征来训练每个类别和每个实体的答案，基于基本QA系统。然后，我们可以使用我们的训练模型获得的关键词来回答用户提出的问题。02相关工作 2.1关于付费知识社区的先前工作0付费知识社区（PKC）是一种新的应用。通常，PKC是从普通CQA平台发展而来，但更具体和先进。由于很少有研究关注这个特定的平台，我们将从CQA的文献中讨论。在CQA中，信息搜索者可以通过向其他参与者发布问题并让他们回答来获得答案。然而，CQA并不总是有效的：在某些情况下，用户可能需要几分钟、几小时甚至几天才能得到完美的答案[4]。以前的工作主要旨在找出没有回答的问题的原因。杨等人[2]发现没有回答的问题的原因取决于内容特征、启发式特征（如长度和时间）。还有一些以匹配回答者和问题为目标的先前工作。李和金[5]提出了一个称为问题路由（QR）的框架，根据回答者在前几天的表现进行排名，将问题路由到排名靠前的回答者。0跟踪：认知计算WWW 2018，2018年4月23日至27日，法国里昂 YES OR NO?P1P(n-1)P(n)P2…P represents the price experts set How much should I pay?Is the answer correct?3140你想支付的金额0问题0用户回答者0回答0专家0价格游戏0回答0系统化的PKC0奖励函数PKC0用户0图1：PKC平台的流程关于在PKC中寻找合适的专家的问题，Riahi等人[6]使用潜在狄利克雷分配模型和分段主题模型将问题正确地路由给专家，表明统计主题模型有助于获得更好的专业推荐。张[7]将QA社区建模为一个专业图，并提出了一种专业排名算法。杨等人[8]提出了主题专业模型（TEM），通过整合文本内容模型和链接结构分析，将主题和专业知识进行建模。这些方法确实提高了答案的质量和准确性，但随着问题和答案变得越来越复杂，它们的效果也在迅速下降。02.2智能问答系统以往的研究主要集中在提高现有问答环境中的回答效果。如果问题和答案变得更加复杂，等待时间可能会更长。随着认知计算的发展（即一种模拟大脑机制的计算方法[9]），智能问答系统应运而生，通过智能问答系统可以减少等待时间并提高效果。智能问答系统与PKC平台的结合是认知计算的实现。智能问答系统的研究主要旨在提高回答的准确性。陈等人[10]使用检索器中的TF-IDF和阅读器中的RNN，成功使机器回答开放领域的问题，在斯坦福问答数据集（SQuAD）上实现了69.5%的准确率和78.8%的F1分数。这些比例反映了机器可以回答我们的基本问题。为了提高回答问题的效果，Eunsol等人[11]还在阅读器中使用文档摘要，使得长文档可以有效利用。至于回答质量的提高，何等人[12]提出了一种端到端的问答系统。至于问题处理的改进，基于普通问答系统，崔等人[3]提出了KBQA模型，该模型使用类别和模板对问题进行分类。郝等人[13]提出了一种结合知识库（KBs）的问题新表示方法。尽管越来越多的研究人员关注智能问答系统，但很少有研究关注如何将PKC平台与智能问答系统集成。本文尝试将智能问答系统应用于PKC平台。我们的工作在PKC领域可能具有一些潜在的贡献，具体如下：1.我们提出了四个模块模型来描述PKC中的智能问答系统，它们是问题模块、文档模块、学习模块和匹配模块。特别是，学习模块具有PKC平台中的中心性和金钱特征，而匹配模块是与普通智能问答系统相比的全新模块。2.我们将PKC平台的点赞数和评论数等特征添加到智能问答系统中，使得我们的模型能够适应PKC平台的实际环境。0在本节中，我们以技术方式提出我们的研究问题。表1显示了所有定义和符号。定义1：回答。回答指的是回答问题的过程。由专家或知情人回答的文本或语音称为内容，由内容表示，从发布问题到回答问题的时间由T表示，对应问题的主题由TP表示，提出回答的人称为回答者，由A表示。每个回答都有这四个特征，因此它显示为一个四元组回答的内容，回答问题的时间，回答问题的主题，回答者。所有回答组成了一个称为A的数据集。0A = 0� ������ |��回答的内容，回答问题的时间，回答问题的主题，回答者）回答的类别，回答的实体∈ 回答集合，回答的类别 ∈ 类别集合。0定义2：问题。问题指的是发布问题的过程，也包括许多特征。内容由问题的内容表示，问题发布的时间由问题的时间表示，对应问题的主题由问题的主题表示，发布问题的人称为提问者，由提问者表示。与回答不同的特征是类别，表示主题下的具体分类，例如情感中的友谊，表示为问题的类别。类似地，它显示为一个五元组问题的内容，问题发布的时间，问题的主题，发布问题的人。所有问题组成了一个称为Q的数据集。0Q =0� �������� | ��问题的内容，问题发布的时间，问题的主题，发布问题的人）问题的类别，问题的实体 ∈问题集合，问题的类别 ∈ 类别集合。0在描述定义和符号之后，我们可以以统一的方式描述问题的过程。问题回答问题：当在PKC平台上出现一个新问题时，我们可以使用模型提供一个答案，这个答案的关键词是一些关键词。这个问题的结果可以通过比较现有答案和答案机器提供的答案来评估。0表1：定义的符号0定义 符号 描述0回答0回答的内容0问题被回答的时间0回答问题的主题对应的问题的主题回答问题的人0问题0问题的内容0问题发布的时间问题的主题发布问题的人0某个主题下的类别0我们的模型4.1基本框架智能QA系统主要有两个部分：检索器和阅读器[10]。基于基本的智能QA系统，我们可以开发一个包括4个模块的新的复杂模型：问题模块、文档模块、学习模块和匹配模块（图2）。问题模块是通过聚类算法和贝叶斯概率建立问题的类别和模板的映射；文档模块是构建包括不同类别和不同实体的问题答案的训练集；学习模块将通过LSTM算法学习文档模块的数据集特征；最后，匹配模块是将每个类别的训练结果和问题中每个实体的训练结果进行匹配的过程，然后可以得到带有关键词的预测。这四个模块的组合和匹配不同训练数据集的两个结果是0Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France Track: Cognitive Computing WWW 2018, April 23-27, 2018, Lyon, France3150我们工作的最大贡献。每个模块的原理在第4.2节中解释。4.2我们模型的原理在这部分中，我们主要解释了四个模块的原理，并在最后构建了我们模型中新问题的完整生命周期的过程。1.问题模块：Cui等人[3]提出了一个KBQA来处理问题，他们使用最大概率和类别来分类问题。类别和模板给出了新的定义。0问题模块0学习模块0匹配模块0文档模块0结果0类别和实体0类别和实体0带有特征（中心度和金钱）的LSTM0图2：我们基本框架的概述 在我们的模型中， ��是主题的分类，例如情感、友谊、爱等。同时，我们可以提取每个问题的实体来获取该问题的模板。例如，问题“I have a problem about computer,how to open the MAC and how to get the factory code of thiscomputer?”通过提取，该问题的模板是“how to open the$entity?”和“how to get$entity?”然后我们可以使用K-means聚类来对类别进行聚类，并得到相应主题下的所有类别。最后，我们使用贝叶斯概率来估计模板的类别，具体公式如下。0P(类别|模板) = ∏ P(词语|类别) * P(类别) = ∏ P(词语|类别) * P(词语) =10∑ P(类别|词语) * ∏ P(词语|类别) =10P = max(P(类别1|模板), P(类别2|模板), ...)0P(类别1|模板) … P(类别n|模板)0P是最大概率，对应的类别是模板所属的类别。在这个公式中，P(类别|模板) =P(类别) *P(模板|类别)可以通过现有数据集进行学习。到目前为止，每个问题除了问题本身之外还有自己的类别和实体。 2.文档模块和学习模块：因为学习模块是为了学习文档模块的结果，所以将这两个模块一起解释可以更容易理解。我们将PKC的特征（中心度和金钱）加入到LSTM算法中，并根据不同的类别和不同的实体进行两次训练。对于PKC中的问题，通常有两种情况：一种是问题在过去已经有了答案，另一种是问题没有答案，也就是说是新问题。 (1)已经有答案的问题：第一种情况可以通过已经回答的问题与当前提出的问题之间的相似度来解决。我们的模型使用TF-IDF算法将词语转化为向量，具体公式如下[14]。0TF的计算公式为：TF =词语在文档中出现的次数/ 文档中的总词语数0IDF的计算公式为：IDF =log(总文档数/包含档数)0词语：词语 i0在公式中，i和j是问题中的词语，因此我们可以使用TF和IDF的乘积来表示一个问题中的词语。最后，我们可以得到新问题与已经回答的每个问题之间的相似度。(2)新问题：我们向用户展示前五个答案，如果用户选择其中一个答案，回答就结束了。如果没有选择，回答就转换为回答新问题的方式。普通的智能问答系统只包含第一部分，然而，在PKC平台上不断有新问题进入，因此智能问答系统应该有一些方法来应对这个问题。因此，这部分是我们工作的重要贡献。在回答新问题的过程中，我们使用LSTM来预测答案的内容。循环神经网络语言模型(RNNLM)在统计语言建模方面显示出了显著的优势[15]。Shi等人[16]也应用了在RNN中添加门的LSTM来提高预测的准确性。我们使用LSTM与PKC平台具有的一些特征，如中心度和金钱。内容可以转化为一个词向量 �� 1,  � 2,  � 3 …  ���，因此问题就是预测这个向量。获取向量的完整方法如下： �� 1,  � 2,  � 3 …  ���  =  ������1 ′ ,  � 2 ′ ,  � 3 ′ …  �� ′ 。  �� ′ ��  ∈ 1,2,3 …  ��� 是 �� 的向量，代表答案中的词语。 ��′由几个元素组成。这些元素的解释如下： 词语特征：   � ���� − ������� ����  =  ����������� ,  ������ ,  ����������������� 。  ����������� 代表�� 的实体。如果 �� 是实体，则值为1，否则值为0。������ 代表此答案中的词频。���������������� 代表 ��的前一个词语。 词语嵌入：  � ���� − ���������� ����  = E ����。我们可以提前训练常见的词语，如“你好”，人称代词等，因为这些词语会因为词频的原因影响对其他词语的训练结果。 词语专家特征：   � ���� − ������ ����  =  ���������������������� ,  ����������。PKC平台与普通QA的不同之处在于听众的数量和答案的金钱。听众数量越多，金钱越多意味着该词语通常由专家说出，因此该词语可能是这些问题的答案。类似地，我们可以按照上述方法训练每个实体对应的答案。然而，它们的不同之处在于LSTM算法中的词语特征。在上述过程中，词语特征中有  �����������，但在每个实体的答案的学习过程中没有，因为训练集在这个学习过程中具有相同的实体。学习的完整过程如图3所示。 3.匹配模块：我们通过学习模块得到训练好的模型，在模块中，我们使用模型来预测两种结果：一种是每个类别答案的学习过程的结果，另一种是与问题相对应的每个实体答案的学习过程的结果。当我们得到这两种结果时，我们可以得到它们的所有词语，并去除与问题无关的词语，最后得到适合的关键词。我们的模型的匹配过程如图3所示。 N:1TemplateTemplate… … category… … ��������� =�ℎ� ������ �� ����� ����ℎ ������he ������ �� ����� ���������� ������ ℎ�� ������ =�ℎ� ������ �� ����� ����ℎ ������he ������ �� ����� ���� ������ ℎ�� �� − ����� = 2 ∗ ��������� ∗ ��������������� + ������ 3160类别0主题0问题0聚类0一个新的问题 一个已经回答过的问题0一个真正新的问题0预测20答案0答案0LSTM算法0与实体相关的特征0与实体无关的特征0预测10最终结果0通过过去的答案回答0问题模块0文档模块0匹配模块0学习模块0图3：我们模型中的学习过程05 实验  5.1 数据  在最近的研究中，评估数据集通常是标准数据集，如SQuAD[17]、CNN/Daily Mail[18]。由于PKC平台的特殊性，我们使用PKC平台的数据集。我们从一个中国社区收集了1222个问答网站，涵盖了从大数据到电影等各种主题。数据集中有六个主题，每个主题可以涉及生活、互联网等各种主题。该社区是拥有专业知识的人群中最好的社区之一，问题是正常的，但答案在中国是逻辑和有证据的。同时，在社区中，该平台有许多主题，如情感、健康、就业等。因此，我们的数据在主题上是全面的，在PKC市场上具有实际意义。   5.2 结果和讨论我们可以设计三个指标来评估我们的模型，分别是精确度、召回率和F1分数[19]。第一个指标是我们模型预测的关键词的精确匹配，即关键词完全出现在已被广泛接受的现有答案中的数量与预测答案中的单词数量的比率，我们可以将其定义为我们模型的精确度。第二个指标是关键词完全出现在已被广泛接受的现有答案中的数量与预测答案中的单词数量的比率，我们可以将其定义为我们模型的召回率。F1分数是它们的调和平均值。详细的公式如下所示。0考虑到PKC平台的内容会随时间发展，我们选择了问题：“如何选择最便宜的商品，而且在‘双十一’（11月11日）真的便宜吗？”作为我们的实验问题。我们使用聚类方法将这个问题定义为互联网类别。由于这个问题是新的，所以我们的模型应该自己回答这个问题。然后，这个问题的实体是‘双十一’，训练数据集是互联网类别和‘双十一’实体的问答网站。同时，为了评估我们模型的准确性，我们0计算我们模型得到的答案的精确度、召回率和F1分数，并进行一些比较。为了评估我们的模型是否更适合PKC平台，我们选择了普通的RNN算法作为对比模型。我们可以得到这两个模型在不同关键词数量下的精确度、召回率和F1分数，包括5个、10个和20个关键词。详细结果如图4所示。根据普通RNN算法和我们模型的比较结果，我们发现我们的模型在PKC平台上比普通RNN算法更好。同时，我们可以发现随着关键词数量的增加，召回率和F1分数在减少，而精确度在关键词数量增加时保持稳定。因此，在实验中，高权重的词语被预测得更准确。然后，我们可以比较我们模型不同迭代次数的不同结果，结果如图5所示。我们可以发现10000次迭代的结果是最好的，尽管40000次迭代的精确度和F1分数在关键词数量较少时更好，但整体预测结果小于另外两种方式。因此，更多的迭代可能不会导致更好的结果，因为存在局部最优解。  5.3 改进方向在本文中，我们只使用了两个方面的实验来评估我们的模型。我们只使用了一个问题作为评估问题，这在未来的研究中可以改进。首先，我们将尝试用我们的模型回答更多的问题，这意味着我们的模型可以训练更多的数据，这些变化将提高我们模型的效果。其次，我们可以删除与问题无关的一些信息和一些具有很大主观意义的信息。第三，可以将机器理解添加到学习模块的实现中，这可能会提高学习和回答的结果。最后，我们可以改变学习模块的学习比率，找到最合适的比率，因为根据本研究的发现，指标和迭代之间的关系仍然不明显。  6. 结论本文旨在研究如何将智能问答系统应用于PKC环境中。根据结果，我们主要有两个发现：1）我们模型在问答中的精确度可以达到其他CQA领域中普通回答的水平，并且我们模型在PKC平台上优于普通RNN算法。2）我们的模型可以提高回答的效果。我们的工作还具有一些商业意义：1）我们的工作旨在提高PKC平台的回答效果，这是PKC平台上最突出的问题之一。2）我们试图将智能问答系统与PKC平台集成，提出了智能问答的四个模块，可以被平台采用。3）从认知计算的角度，结合机器学习和用户行为理论，我们研究了如何解决问答问题，这可能被研究人员和从综合和跨学科的角度来看，从而提高用户的满意度。未来的工作可能会集中在以下几个方面：1）在更大和真实的数据集上进行更多的实验。2）从其他PKC平台收集数据来训练模型，以便比较它们的优缺点。3）研究如何输入问题可以得到更正确的答案，以及在PKC平台中可以使用的其他特征。4）探索这项工作是否真的可以增强PKC的商业价值，换句话说，这项工作是否可以提高用户的满意度或公司的利益。0赛道：认知计算WWW 2018，2018年4月23日至27日，法国里昂 3170图4：普通RNN和我们的模型的比较0图5：我们模型不同迭代的比较0参考文献0[1] 刘洋，边杰，Agichtein，E. 预测社区问答中信息寻求者的满意度。国际ACMSIGIR信息检索研究与开发会议（2008），483-490。[2]杨磊，包胜，林琼，吴晓，韩东，苏忠，于洋。分析和预测社区问答服务中未回答的问题。AAAI人工智能会议（2011），1273-1278。[3]崔伟，王辉，王辉，宋洋，Hwang，S.W.和王伟。KBQA：学习基于QA语料库和知识库的问答。VLDB学报，10，5（2017），565-576。[4]Agichtein，E.，Liu，Y.和Bian，J.建模社区问答中信息寻求者的满意度。ACM数据发现知识交易，3，2（2009），1-27。[5]李斌和金一。将问题路由到社区问答服务中的适当回答者。ACM国际信息与知识管理会议（2010），1585-1588。[6]Riahi，F.，Zolaktaf，Z.，Shafiei，M.和Milios，E.在社区问答中找到专家用户。第21届国际万维网会议（2012年4月16日至20日），791-798。[7]张健，Ackerman，M.S.和Adamic，L.在线社区的专业网络：结构和算法。国际万维网会议（2007），221-230。[8]杨磊，邱明，Gottipati，S.，朱峰，江健，孙浩和陈志。CQArank：共同建模社区问答中的主题和专业知识。ACM国际信息与知识管理会议（2013），99-108。[9]王宇。关于认知计算。国际软件科学与计算智能杂志，1，3（2012），1-15。[10]陈东，Fisch，A.，Weston，J.和Bordes，A.阅读维基百科以回答开放领域的问题。第55届年会计算语言学协会会议（2017年7月30日至8月4日）。[11] Choi E，H.D.，UszkoreitJ等。粗粒度到细粒度的长文档问答。第55届年会计算语言学协会会议，1，1（2017），209-220。[12]何森，刘超，刘凯，赵健，何森，刘超，刘凯和赵健。在序列到序列学习中结合复制和检索机制生成自然答案。计算语言学协会会议（2017），199-208。[13]郝洋，张阳，刘凯，何森，刘振，吴浩，赵健，郝洋，张阳和刘凯。一种基于交叉注意力结合全局知识的知识库问答端到端模型。计算语言学协会会议（2017），221-231。[14]Wu，H.C.，Luk，R.W.P.，Wong，K.F.和Kwok，K.L.将TF-IDF术语权重解释为做出相关决策。ACM信息系统交易，26，3（2008），55-59。[15]Shi，Y.，Zhang，W.Q.，Liu，J.和Johnson，M.T.RNN语言模型与词聚类和基于类的输出层。欧亚地区音频语音和音乐处理杂志，2013，1（2013），22。[16]Shi，Z.，Shi，M.和Li，C.基于循环神经网络语言模型的字符预测。IEEE /ACIS国际计算机和信息科学会议（2017）。[17]Rajpurkar，P.，Zhang，J.，Lopyrev，K.和Liang，P.SQuAD：10万多个文本机器理解问题。2016年经验方法自然语言处理会议论文集（2016年11月1日至5日）。[18] 陈东，Bolton，J.和Manning，C.D.彻底检查CNN/每日邮报阅读理解任务。第54届年会计算语言学协会会议（2016年8月7日至12日）。[19]郝伟，颜梅，秦勇，洪志，常英和熊辉。一种面向本地和外地用户的位置-情感感知推荐系统。第23届ACMSIGKDD国际知识发现与数据挖掘会议（2017年8月13日至17日），1135-1143。0主题：认知计算 WWW 2018，2018年4月23日至27日，法国里昂