基于潜在话题和语篇建模的多人在线会话新入口预测的神经网络模型研究

1663基于潜在话题和语篇建模的多人在线会话新入口预测王灵芝lzwang@se.cuhk.edu.hk香港中文大学中国香港XingshanZengzxshamson@gmail.com华为诺亚摘要随着社交媒体的日益普及，在线人际沟通在人们的日常信息交流中发挥着至关重要的作用。由于其在许多场景中的应用，新人是否以及如何更好地参与社区引起了人们的极大兴趣。虽然一些早期社会化研究取得了显著的成果，但这些研究主要集中在基于小群体的社会学调查上。 为了帮助个人度过早期社会化阶段并参与在线对话，我们研究了一个新的任务来预测-看看新人的消息是否会在多方对话中得到其他参与者的回应（以下简称成功的新进入预测）。这项任务将成为在线助理和社交媒体研究的重要组成部分 为了进一步研究表明这种参与成功的关键因素，我们采用了一个无监督的神经网络，变分自动编码器（VAE），检查新来者的聊天历史和会话的持续上下文的主题内容和话语行为。此外，两个大规模的数据集，从Reddit和Twitter，收集支持新条目的进一步研究 在Twitter和Reddit数据集上进行的大量实验表明，我们的模型显著优于所有基线和流行的神经模型。对新进入行为的其他可解释和视觉分析揭示了如何更好地参与他人的讨论。CCS概念• 以人为中心的计算→协作和社会计算;·信息系统→个性化。1代码和数据集可在https://github.com/Lingzhi-WANG/上公开获取。本作品采用知识共享署名国际协议（Creative Commons AttributionInternational）授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9096-5/22/04。https://doi.org/10.1145/3485447.3512285井梨jing-amelia.li邮件polyu.edu.hk香港理工大学中国香港黄锦辉kfwong@se.cuhk.edu.hk香港中文大学中国香港关键词反应预测，新人社会化，多方对话，潜变量学习ACM参考格式：Lingzhi Wang，Jing Li，Xingshan Zeng，and Kam-Fai Wong.2022年基于潜在话题和语篇建模的多人在线会话新条目成功预测。 在ACM WebConference 2022（WWW '22）的会议记录中，2022年4月25日至29日，虚拟活动 ， 法 国 里 昂 。 ACM ， 美 国 纽 约 州 纽 约 市 ， 10 页 。https://doi.org/10.1145/3485447.35122851介绍在线对话是我们日常交流-许多人现在转向社交媒体分享想法和交换信息，特别是在面临疫情爆发（如COVID-19）导致的封锁时。 进入正在进行的对话（在线和离线[1]）需要一个社交过程，新人寻求获得反馈，早期的社交体验对新人有长期的影响[12]。在我们的日常生活中，人们应该参与各种各样的对话，从推进项目合作的在线会议到形成个人意识形态的闲聊。然而，并不是每个人都擅长社交[25]，由于分散，分散和匿名的基于文本的交互，在线新人面临特殊的困难[2，12]。对于新手来说，参与在线多方对话是相当具有鉴于这些问题，迫切需要开发一个会话管理工具包来预测会话因此，在这里，我们专注于一个新的任务来预测成功的新条目-一个新的消息是否该任务受到了前人的一些研究成果的启发，如新人我们使用“收到回复”来表示成功参与的原因(2)我们进行了一个有趣的人工评估（见表6），结果显示，在四个指标中，收到回复的帖子比没有回复的帖子更成功。因此，我们决定采用这样的定义，以简化任务，减轻数据收集和建设的负担。总体而言，这WWWTrovato和Tobin等人16642：听起来像肥胖。第1章：[Yup]（IMG>）NSFL5. NSFL是什么意思我在周围见过...…历史对话1 for5：U：Pizza.在家做吧。���5.尝试深盘！把它和枫糖熏火腿放在一起，…2005年历史对话2：U：......美国和中国对这项技术很感第5条：…历史对话3 for5：U：OP没看到【恶魔】（URL>）���这是一部很好的电影，虽然五年后...…%：PaulaDeen在她的烹饪节目中让人油炸黄油。$：这是谁干的？！是这个人吗？？！IMG1：黄油。人们油炸和吃黄油。图1：左边的Reddit对话（Ui：第i个用户）.U3成功地进行了一次订婚（即收到回复，为了节省篇幅，我们在这里省略）。右栏显示了U3任务可以帮助新人避免扼杀对话[26]并降低退出的风险[2]，因为沉默的结果可以被解释为粗鲁或不友好[18]，并降低新人 更重要的是，我们的研究将潜在地有利于聊天机器人或在线销售机器人的开发，以了解在多方对话中何时、如何说什么，因为他们应该尽可能少地说话，但要保持对话。为了解决成功的新条目预测任务，我们提出了一个新的框架，包括两个部分：主题和话语建模（TDM）和成功的新条目预测（SNP）。我们考察了会话的持续语境（以下简称会话语境）和新人的聊天历史（用户历史），并假设聊天话题（说了什么）和话语行为（如何说）都会影响其他参与者对新人的态度。 为了详细说明这一假设的动机，图1显示了Reddit对话片段的示例，其中U4和U5都是新人。据观察，U5发布了一个关于新点“NSFL”（对生命不安全）的问题，因此引起了未来参与者的注意和反馈，而U4则通过重复之前关注的“油炸黄油“发表了声明，没有收到任何回应。 为了探索影响这些成功和失败的新条目的因素，我们使用基于变分自动编码器（VAE）的无监督神经模块捕获和区分主题和话语因素[28]。从历史会话和话语行为（例如，“什么”和“？”作为表示当前轨迹的问题指示符），用作预测模块的输入的一部分（即，SNP模块）。我们的SNP模块包含一个分层的Bi-GRU [15]来编码对话内容以进行最终预测。 据我们所知，我们是第一个研究新来的人参与对话的未来轨迹，以及话题和话语因素如何影响他们的参与成功（或失败）。总之，这项工作的贡献如下：我们首先制定了成功的新条目预测的任务，并提供了两个大规模的数据集，Twitter和Reddit。 SNP任务有助于在线助手和早期社会化策略的发展。我们提出了一个新的框架结合无监督和监督神经网络。基于VAE和RNN的模块通过学习潜在主题和话语表征来实现个性化的用户参与预测。在Twitter和Reddit上的实验结果表明，该模型的性能明显优于基线。例如，我们在Reddit上实现了34.6 F1，32.5通过基于BERT的方法实现[19]。大量的分析实验表明，模块的有效性 我们对习得的主题词和语篇进行了探讨，并使结果具有可解释性。在分析成功进入与失败进入的差异的基础上，提出了一些2相关工作我们的工作与社交媒体平台上的新人社交、反应预测和对话建模2.1新人社会化新人社会化[12，20，21]分析了新人从组织外部人员转变为内部人员的过程[5]，是支持，社交和整合成员到虚拟环境中的重要研究[24]。许多用户行为已经被调查，包括信息处理[1]，社交[20]和社会表达[16]。以往的研究大多是基于小群体的社会学调查，而我们的工作是基于大规模的数据集。尽管专注于早期社交，我们的工作也有利于在线助手的发展，例如，聊天机器人2.2响应预测响应预测的研究旨在通过分析社交媒体内容的传播模式来预测给定的在线内容是否会获得期望的响应，例如用户响应的预测[3，7]，线程结束回合[26]和重新进入行为[46，54]等。其中一些解决了后级响应[3，7，39，40]，其专注于对单个帖子内容进行建模;其他关注通过上下文建模增强的用户未来行为预测[26，52，54，56]，以实现会话级轨迹预测。对于该方法，早期的工作依赖于提取与其目标相关的手工特征社交和情感特征[3]、到达模式和定时特征[4]、组信息[11]等。最近的成就来自概率图形方法[8]，神经模型，如基于RNN的模型[26，54]和图形神经网络[55]，因为它们在利用丰富的上下文信息方面具有更好的能力。然而，他们都没有考虑到多方对话中的新人，以及如何帮助他们更好地参与，这是在这项工作中进行了广泛的研究····成功的新进入预测WWW1665（）下一页⟨| ⟩|（）d（·）{|个文件夹|||图2：我们成功预测新进入者的框架。它包含两个模块：主题和话语建模（TDM）和成功的新条目预测（SNP）。SNP由话轮编码器、会话编码器和预测层组成2.3会话建模我们也受到了现有会话建模方法的启发，这些方法开发了模型来从丰富的信息中编码会话上下文，例如用户交互[47，50，55]，轮的时间顺序[14，26，44]，潜在主题和话语[45，51]等。其中，Jiao et al.[26]Tanaka et al.[44]考虑会话回合的时间顺序，并使用基于RNN的方法来学习时间和内容信息，而Wei等人。[49]和Zeng et al.[55]将多方对话公式化为树结构，并应用图卷积网络（GCN）[29]来提取上下文感知表示。Ritter等[37]与曾会话集合Ch被类似地组织成轮的序列。对于输出，我们得到一个伯努利分布p u，Ch，c来表示u是否得到其他参与者的响应（成功的新条目）的估计可能性。3.2主题和话语建模（TDM）受Zeng et al.启发[51]，我们学习反映会话c中潜在主题z的分布词簇，以及话语主体d = d1，d2，.，每转一圈在语料库层面，我们假设有K个主题，每个主题由一个词分布表示b_T（k = 1，2，...，K）。它还包含D话语行为等人[51]探索无监督的方法来发现话语级kD信息，而后者进一步利用神经模型来共同学习不同的主题和话语。在我们的模型中，我们学习主题和话语表示的方式是建立在神经潜变量模型[32]用于无监督会话理解[51]的成功基础上的。与原始设计相比，我们还考虑了用户聊天历史，以杠杆年龄新人的个人兴趣，并探讨话题和话语因素如何影响新人参与多方对话，这是超出了曾等人的能力。[51]第51段。3我们的模型在这里，我们提出了我们成功的新进入预测框架。图2显示了我们的总体框架。在下文中，我们首先介绍3.1节中的输入和输出。 在第3.2节中，用单词分布表示，其中，D.为了学习主题和话语表示，一个会话中的每个回合ti（称为目标消息）以词袋（BoW）的形式顺序地馈送到TDM中。对于因子建模，TDM采用变分自动编码器（VAE）[28]的扩展框架，通过两个步骤[32，41]来模拟数据生成首先，给定目标话轮ti及其会话上下文c（即，在同一会话中的另一个回合），TDM将它们转换成两个潜在变量：主题变量z和会话变量di。然后，我们用由z和di捕获的中间表示来重建目标转弯ti。在下文中，我们详细描述了解码器之后的编码器。编码步骤。 我们从输入cbow和tibow（会话c和目标回合ti的BoW形式）中学习参数μ、σ和π，公式如下：我们讨论TDM模块如何工作。 SNP模块稍后将在第3.3节中描述。整个框架的学习目标将在第3.4节最后给出。µ=fµ（fe（cbow）），lo<$σ=fσ（fe（cbow））π=softmax（fπ（tibow））（一）3.1输入和输出我们模型的输入可以分为两部分：观察到的会话c和历史会话集Ch ={ch，ch，.，ch}其中f是执行线性变换的神经感知器使用ReLU功能激活[33]。解码步骤。通常，解码器学习重构目标消息ti中的单词。程序如下新来的u，其中k12K是从训练集中获得对话c被形式化为一系列的回合（例如， 帖子或推文）t1，t2，.，t c，第c个回合由新人u发布（我们预测u之后是否能得到其他人的回应）。用户历史记录中的对话• 主题混合物θ=softmax（fθ（z））。• 画出潜在的话语dMulti（π）。• 对于对话中的第n个单词–话语TDM目标消息转数编码器SNP旋转编码器I当前Convc的主题潜在主题潜在话语旋转编码器旋转编码器旋转编码器UserHistory用户历史| |TurnEncoder| |个性化转弯编码器会话编码器预测层（线性+S形话语感知注意…GRUGRUGRUGRU……WWWTrovato和Tobin等人1666（·）（）下一页=[hJ⟨⟩LLLLL（）下一页（一）|）（ |）的方式（）N（）（ |）的方式我（ |）的方式i，nii，JJH.j][–特别地fT（·）的权重矩阵（在softmax归一化）被认为是主题词分布fT。我们也可以用类似的方法得到语篇-词汇分布图我们使用TDM来编码目标会话的上下文和聊天历史。 对于目标会话c，我们将话题变量建模并表示为ec，并且将其话轮的话语行为建模为d = dd1，...，D |C|-是的对于聊天历史记录会话集，Ch的新人u，我们学习的主题变量为所有的CON-因此应该在权重上加以区分以进行预测。例如，一个提出问题的回合可能比一个简单的同意回答更重要。因此，我们根据话轮的话语为它们分配不同的注意力权重aj=fd（argmax（dj））（4）其中argmax dj表示学习到的转向j的话语行为，并且fd将话语行为映射到不同的权重值。最后，为了生成整个会话表示，我们连接的隐藏状态|C|th转弯（i. e. Thequerryturn）hd版本。然后将它们平均为u以及所有会话回合的加权和|c|如U。这可以被视为一种用户嵌入，反映了他们从用户历史中学习到的偏好c d;|C|Jsoftmax（aj）hd]（5）3.3成功的新进入预测（SNP）本节描述了我们如何通过利用TDM学习的话题和话语变量（在3.2节中描述）来编码对话并预测成功的新进入。它主要包括三个部分：个性化话轮编码器、会话感知编码器和最终预测层。个性化转弯编码器。 对于会话c中的每个回合ti，我们学习知道个性化主题向量eu的回合表示。为此，我们首先将t i中的每个单词wj送入嵌入层，并获得单词表示rij。 然后使用双向门控递归单元（Bi-GRU）[15]来编码轮t i的词向量序列，表示为ri1，ri2，.，里，尼。ni是ti中的单词数。我们将观察到的会话话轮分为上下文话轮（最后一个话轮之前的话轮）和查询话轮（最后一个话轮，由新人u发布）。对于查询轮，我们使用u对于上下文轮，会话c的主题表示ec类似地用于初始化。具体地说，b方向的初始状态ar eh−→i，0=h<$i−，−n−i=WPe+bP，其中e是eu或ec。对于所有回合，Bi-GRU的隐藏状态为：h−→ij=fGRU（rij，hij1），h<$−i−j=fGRU（ri j，hij1）（2）预测层。 为了预测，我们使用了一个线性投影函数，由一个S形激活函数激活，来预测新来者成功插话的可能性：p（u，Ch，c）=σ（wThc+b）（6）其中wT和b是可训练的，σ（·）是S形函数。3.4学习目标对于我们模型中的参数学习，我们将目标函数设计如下，以允许TDM和SNP模块的联合学习L=LTDM+LSNP（7）TDM的目标功能 继Zeng et al. [51]，T DM定义如下：LTDM=Lz+Ld+Lt−λLMI（8）其中z和d是关于学习主题和话语的目标t是目标信息重构的损失，多元智能保证了主题和语篇的不同学习。为了学习潜在主题和话语，TDM采用变分推理[9]来近似给定所有训练数据的潜在主题z和潜在话语d的后验分布，−，+Lz和Ld定义如下：turn ti 的 表 示是Bi-GRU的两个方向的最后隐藏状态的级联：h=[h−→;h<$−]。 最后，我们得到了会话c的话轮层次表示：h1，h2，..，H |C|-是的会话感知的会话编码器。 我们结合潜在的话语行为来模拟会话中的话轮互动，从而更好地理解用户在话语中是如何互动的。 我们首先将回合电平表示与在TDM中学习的话语变量d连接起来，作为第二个Bi-GRU层的输入。该Bi-GRU层用于对会话结构进行建模，并定义为：Lz= Eq（z|c）[p（c）|z）] − DKL（q（z）|c）、||p（z））（9）Ld=Eq（d|t）[p（t|d）] −DKL（q（d|t）的范围内||（d））（10）其中，Qz，c和Qd，t是描述如何从对话和消息轮生成潜在主题z和潜在话语d的近似后验Pcz和Ptd表示以潜在变量为条件的语料库似然pz遵循标准正态先验0，I，pd是均匀分布Uni f0，1。DKL是指Kullback-Leibler散度，其确保近似后验是h−→d=fGRU（sj，hd），h←−d=fGRU（sj，hj1）（3）接近真实的人。j j−1j+对于Lt，这确保了学习到的潜在主题和话语可以其中sj =[hj; dj]，GRU之后的每一匝表示为hd=h−→d;h<$−d。然后，我们设计了一个注意机制（以下称为话语感知注意），以识别语境中的话语行为，这些话语行为更有助于信号的成功参与。我们的直觉是，不同的话语行为代表着不同的功能，重建目标转弯t，其定义如下：Lt=Eq（z|c）q（d|t）[lo <$p（t|z，d）]（11）我们利用LMI来引导模型分离代表主题和话语的词分布LMI定义为：LMI=Eq（z）DKL（p（d|（z）||（d））（12）成功的新进入预测WWW1667（）下一页}{我表1：Twitter和Reddit数据集的统计数据。25002000150010005000电话：+86-0511 - 8888888传真：+86-0511 -8888888图3：历史转换次数的分布（X轴）。Y轴：新成员的数量。SNP的功能SNP的目标函数被设计为二进制交叉熵损失，如下所示：LSNP= −。µ yilo <$（y i）+（1 − yi）lo <$（1− y i）（13）其中，y i表示从第i个实例的p u，Ch，c估计的概率，并且y i是对应的二进制地面真值标签（1用于成功条目，0用于相反条目）。为了考虑潜在的数据不平衡，我们还采用了权衡权重μ，以赋予少数类更多的权重。 µ是根据训练集中正面和负面实例的比例设置的。4实验装置4.1数据集。我们从Twitter和Reddit构建了两个新的会话数据集。Twitter数据集的原始数据由Zeng等人发布。[53]，包含基于TREC 2011年微博轨道2形成的Twitter对话。Reddit数据集的原始数据包含2015年1月至5月的帖子和评论，这些数据来自公开的Reddit语料库3。对于这两个数据集，我们遵循常见的做法来形成具有回复关系的对话[48，53]，其中帖子或回复（评论）被认为是对话。我们的工作重点是与新用户稍后进行为此，我们删除了有4个回合的对话和有3个参与者的对话<<最后，将数据集随机分为80%，10%和10%，用于训练，验证和测试。两个数据集的统计数据见表1。 可以看出，Twitter用户倾向于对新用户做出回应，而Reddit中的新条目更有可能失败，这可能是因为Twitter用户比Reddit更愿意公开讨论。我们还可以看到，大约60%的新人有用户聊天记录，这意味着测试集中60%的新人参与了训练数据中的其他讨论。 我们在图3中进一步研究了新来者的历史会话数量分布。大多数新来的人之前进行的谈话少于5次。用户历史的稀疏性可能会对了解他们的兴趣提出挑战2https://trec.nist.gov/data/tweets/3https://files.pushshift.io/reddit/comments/亏损减少图4：训练过程的状态转换图4.2预处理。对于Twitter 数据集，我们应用了Glove tweet 预处理工具包[35]。 至于Reddit，我们首先使用开源的自然语言工具包（NLTK）[31]进行单词标记化。然后，我们删除了所有非字母标记，并将链接替换为通用标记“URL”。对于这两个数据集，构建了一个词汇表，并使用所有剩余的标记进行维护，包括表情符号和标点符号。对于我们模型的TDM模块，按照惯例[10]删除了主题建模的所有停用词。4.3参数设置。TDM模块中的参数按照Zeng等人的方法设置[51]第51段。 对于SNP模块中的参数，我们首先使用200维Glove嵌入初始化嵌入层[35]，其Twitter版本用于Twitter数据集，Common Crawl版本用于Reddit 4。 对于Bi-GRU层，我们将每个方向的隐藏状态的大小设置为100（最终输出为200）。批量大小设置为64。在模型训练中，我们采用Adam优化器[27]，初始学习率从1e -3，1e-4， 1e -5和早期停止采用中选择[13]。 Dropout策略[42]用于缓解过拟合。所有的超参数都是通过网格搜索在验证集上进行调整的。4.4联合训练程序。如何联合训练TDM和SNP模块对我们模型的性能至关重要。 我们设计为首先针对N1个时期训练TDM模块（例如，N1=100）并训练SNP模块N2个时期（例如， N2= 5）（而另一个是固定的），作为预训练过程。 然后我们交替地联合训练整个模型。图4是显示我们的联合训练方法的过程的状态转换图4https://nlp.stanford.edu/projects/glove/TwitterRedditTDMSNP开始预训练TDM和SNP联合损失在2*（m+2）个时期停止新成员用户数Twitter Reddit五万三千四百八十八九万六千零一conv数量37,33969,428转换圈数179,265236,764成功进入次数29,34012,199失败条目7,99957,229每次转化的平均转数4.83.4每回合平均令牌数20.520.7有历史的新移民比例0.590.62新用户的平均历史记录数2.56.3WWWTrovato和Tobin等人1668····表2：Twitter和Reddit数据集的比较结果（%）。分数越高表示性能越好每列中的最佳结果以粗体显示 我们的模型在所有指标上的得分都明显优于所有其他比较（p<0. 05）。01，配对t检验）。模特Twitter Reddit4.5比较与评价比较。 我们首先与两个简单的基线进行比较：随机选择标签0或1进行预测的Random;基于新用户历史会话中成功条目的比例进行预测的History（对于没有用户历史的新用户采用随机预测）。我们进一步比较了我们的模型与5种不同的模型。1) SVM：基于SVM的二元分类器[17]，具有特征（例如，TF-IDF、主题分布、帖子长度、线程长度等） 来自Jiao et al. [26]，Suh et al.[43]和Hong et al.[23]，2) BiLSTM ：用于编码会话上下文的分层 BiLSTM-- 一 个BiLSTM作为话轮编码器，另一个BiLSTM用于对话轮序列进行建模，一个MLP层用于预测（就像我们的模型）。3) BERT ：采用预训练的BERT 来学习话轮表示，另一个BiLSTM来模拟整个对话，MLP层用于预测（就像我们的模型一样）。4) ConverNeT：预测会话杀手的最先进模型[26]，其中忽略了一些特征（情感，背景等）。因为它们在我们的数据集中是不可用的5) JECUH：预测会话重新进入的最先进模型[54]，其中实现基于其代码。评价 为了衡量性能，我们采用流行的二进制分类评估指标，并考虑ROC曲线下面积（AUC），准确度，精度和F1分数。5实验结果我们首先在第5.1节中比较模型性能，包括消融研究。然后在第5.2节中，我们分析了话题和话语对成功的新条目的影响第5.3节显示了成功和失败案例之间的差异，并通过人工评价进行了验证最后，第5.4节对模型的输出结果进行了定量和定性分析。5.1主要比较结果表2报告了两个数据集的主要结果，其中我们的模型显著优于所有比较模型。以下是更多的观察：所有模型在Twitter上的表现都比Reddit好这表明模型对标签不平衡的敏感性，在Reddit上，我们观察到更多稀疏的正样本，以学习成功的新条目（与负样本相比）（见表1）。成功的新进入预测（SNP）具有挑战性。简单的基线，如R和OM和H ISTORY表现不佳。这表明SNP具有挑战性，不可能依靠简单的策略很好地解决。我们还发现，神经模型表现出比非神经模型更好的性能，这可能得益于它们从复杂的在线交互中学习深层语义特征的能力，这超出了手动构建的浅层特征的能力新人 通过利用用户历史，JECUH和我们的模型比B I LSTM和ConverNet表现更好。这可能归因于用户兴趣的连续性，这允许使用来自用户历史的更多上下文来更好地理解新条目以及它如何与会话上下文相关。话题和语篇的耦合效应有助于SNP的产生。可以看出，主题和语篇的联合建模有助于我们的模型获得最佳性能。在Reddit数据集上观察到更多的性能增益，这表明我们有能力减轻由稀疏正样本引起的过度拟合，可能是因为可以从潜在主题和话语集群中学习到更丰富的特征。消融研究。 我们还通过表3所示的消融研究检查了我们框架中一些组件的贡献。 我们比较了我们的完整模型与其变体，而不使用主题进行回合编码器初始化（w/OT O p I c In IT），没有连接话语作为回合表示（w/OD是c C O nc AT），也没有话语感知注意力（w/OD是c Att）。结果表明，话题因素的影响可能大于语篇因素（无话题因素的影响最差），而话题因素和语篇因素的联合作用则有助于呈现最佳效果。我们还可以发现，新简单基线AUC精度精度F1AUC精度精度F1RA ndom50.149.578.060.149.950.215.424.1历史44.141.273.250.653.646.518.127.5比较SVM51.556.375.774.254.350.118.929.1BI LSTM52.577.478.287.259.354.122.231.7伯特70.580.280.489.063.251.121.632.5CO nverNet73.679.278.988.260.655.321.631.2JECUH75.280.180.388.460.757.622.631.9我们的模型83.282.984.790.264.862.724.934.6成功的新进入预测WWW1669表3：与消融的比较结果（%）。分数越高表示性能越好。模特Twitter Reddit精度F1精度F10.50.00.5不需要在其中添加任何内容79.5 88.1 60.5 32.71.0w/OD为 c CO nc， 80.8 88.3 61.4 33.2无D为 c属性81.1 88.6 60.2 33.5完整型号82.9 90.2 62.7 34.6表4：学习主题的前5和前10个词的Cv得分。值的范围为0.0到1.0，分数越高表示1.52.0电话：+86-0510 - 8888888传真：+86-0510 - 8888888更好的主题连贯性。模特Twitter Reddit5 10 5 100.498 0.393 0.483 0.3770.499 0.425 0.492 0.397我们的表5：从Reddit中发现的5个潜在话语行为样本（按可能性排名前5位的术语显示在这里）。第一列中的名字是我们根据习得的聚类对话语行为的解释。这...图5：主题混合可视化（在softmax或实现）三个用户的历史会话。一个点指的是一个对话，而不同的用户在不同的颜色。表6：人体评价结果（%）。总体评分员间一致性达到了0.74的Krippendorff α，这表明结果可靠[30]。模特Twitter RedditOT AQ CL CS OT AQ CL CS表示行为的课程单词以蓝色突出显示SU CCESSFU L 100 28 0 54 98 48 14 38意大利语话语前5名代表性的条款分歧，但有问不同，见解释，因为仍然当的那意见，认为我在这里！从未怀疑有问题吗？对！什么哪里历史对该模型至关重要，因为它用于了解他们的个人兴趣并推断新条目5.2话题与语篇的效果专题分析。 为了分析从TDM模型中提取的主题，我们采用通过开源Palmetto工具包5测量的CV得分来评估主题一致性。Cv分数假设连贯主题中的前N个单词（按可能性排序）倾向于在同一文档中共同出现，并且显示出与人类判断相当的评估结果[38]。我们在表4中列出了所学主题的前5和前10个单词的Cv得分[22][23][24][25] 比较结果表明，我们的模型可以学习一个更好的主题表示。为了进一步分析从用户历史中学习到的主题，我们设置主题数K= 2，对三个用户进行采样，并在图5中可视化他们的历史对话的主题混合。 可以看出，用户倾向于被具有类似主题的讨论所吸引，这解释了为什么结合聊天历史可以更好地理解新条目的主题。5https://github.com/dice-group/Palmetto发爱LED96406882022 20语篇分析 与潜在话题相比，话语主体更难被理解。因此，为了解释从话语中学习到的内容，表5显示了Reddit中的5个示例话语行为，其中前5个术语按可能性排列，其中有意义的话语词被发现代表不同的用户话语行为。为了进一步研究新来者的话语行为，图6（a）显示了新条目的潜在话语分布。结果表明，所有话语行为的使用频率都很接近，但有些话语行为的使用频率相对较高，如D4和D6。然后，我们在图6（b）中比较了成功和失败的新条目与Reddit对话的话语预测分布（考虑了前2个话语预测）。可以看出，一些话语行为往往会导致成功的结果（例如，D3和D5），而有些可能容易导致相反的位点（例如，D4和D6）。 这表明新来者使用正确的方式以更好地参与他人的讨论的重要性。5.3成功和失败的新条目主题相似性的差异 我们进行了另一项研究，探讨主题如何影响新条目。我们测量了成功案例（SN）和失败案例（FN）中新来者聊天历史中的话题分布与目标会话上下文之间的相似性。结果表明，SN和FN的相似性得分为38。7和42。7在Twitter上，而在Reddit上，20.0 和22. 8分别。有趣的是，较低的相似性导致更多的成功机会-新来的人提到在以前的历史中较少讨论的观点（可能会插进一个问题），更有可能得到其他人的回应WWWTrovato和Tobin等人1670–0.100.050.000.3D1D2D3D4D5D6D7D8D9 D10(a) 为新人分发光盘失败）分别从Twitter和Reddit数据集中随机抽样。由Arguello etal.[2]Burke et al.[12]，我们提出了四个评价指标， 即话题性（OT）、提问性（AQ）、复杂性语言（CL）和争议性陈述（CS）。志愿者根据四个指标对每次对话给予0（不匹配）或1（匹配）从表6所示的结果来看，成功新人的帖子更切题，提问更频繁，语言简单，通常更具争议性，这与Arguello等人的观点一致[2]的文件。0.20.10.0D1 D2D3D4 D5D6D7 D8 D9 D105.4进一步讨论历史号码的影响 如5.1节和5.3节所述，用户历史对于了解主题因素至关重要。我们进一步分析了不同用户历史长度的预测结果的变化。测试(b) 成功和失败的新条目的分布图6：6（a）是新条目中6（b）是成功和失败的新条目的话语被试的分布对于两者，X轴：通过我们的模型学习的10种话语行为;Y轴：对应的概率。95908580然后，集合被分成四个子集，其中涉及新来者的历史会话的数量（x），其中x = 0、1 4、5 9和> 9。我们对它们的F1分数显示在图7（a）中。具有较长历史（参与更多对话）的新来者可以实现更好的F1，因为稀疏的历史提供了有限的上下文来学习主题，这将进一步影响SNP性能。会话长度的影响在展示了我们的模型如何在不同稀疏度的用户历史上执行（图7（a））之后，我们感兴趣的是在不同长度的会话上下文上的模型敏感性。图7（b）显示了Reddit中对话上下文中不同回合数的F1得分。更好的F1分数被观察到的对话与更多的回合，因为更长的0 [1，4][5，9]>93836340 [1，4][5，9]>9(a) F1历史#4540353025LEN1 LEN2 LEN3 LEN4(b) F1与变化的转弯#图7：Y轴：F1评分。在7（a）中，X轴：用户历史会话数。在7（b）中，X轴中的LENi：按圈数的第i个分位数（较小的i，较短的长度）。人的评价。 我们进行了一次人工评估，以探索成功和失败的新进入之间的差异。邀请4名精通英语的研究生志愿者，进行50场对话（25场对话为成功案例，其余为上下文可以有益于特征学习。此外，从我们的LEN 1（非常短的上下文）模型中观察到更多的性能增益，这表明我们有能力处理数据稀疏性。定性分析 为了提供更多的见解，我们使用图1中的示例进行定性分析。 结果发现，我们的模型分配更多的注意力权重（在Eq.4中的aj）到U3之前发布的话轮，因为它涉及的主题“NSFL”导致成功的新条目。我们还注意到，U3有广泛的兴趣（显示在用户历史记录中），并愿意参与不同类型的讨论。这可能是我们的模型预测积极结果的另一个原因，遵循我们之前的发现（第5.2节）。给新人的建议 正如我们在5.3节中所展示的，成功和失败的新人在主题相似度和四个评价指标上表现出差异，我们给出了两个建议：1）为社区贡献新的和有趣的信息即使它2）使用简单的语言，多问一些主题问题，以便更好地沟通。6结论本文首先制定了成功的新条目预测的任务，并收集了两个大规模的数据集，Twitter和Reddit。提出了一种新的模型，通过对会话背景中的潜在主题和话语以及用户聊天历史进行建模来预测成功的新条目。 本文还探讨了话题和语篇在新人参与多方对话中所起的作用。大量的实验表明，提出的模型取得了显着优于基线的性能，模型已经学习有意义的主题和话语输入成功输入失败TwitterRedditF1（%）伯特·杰丘我们的模型F1（%）成功的新进入预测WWW1671表示，其能够进一步发信号通知如何进行适当的新条目。致谢本文所述的研究部分得到研资局GRF #14204118和RGC RSFS#3133237的支持。李静是国家自然科学基金委员会青年科学家基金资助项目（62006203）。我们感谢四位匿名评论家对本书各个方面提出的有见地的建议。引用[1] Manju K Ahuja 和 John E Galvin 。 2003 年 。 虚 拟 群 体 中 的 社 交 JournalofManagement 29，2（2003），161-185.[2] Jaime Arguello，Brian S Butler，Elisabeth Joyce，Robert Kraut，KimberlyS Ling，Carolyn Rosé，and Xiaoqing Wang.2006年。 与我交谈：在线社区中成功的个人与群体互动的基础。 在SIGCHI计算机系统中的人为因素会议上。959-968.[3] Yoav Artzi，Patrick Pantel和Michael Gamon。2012年。 预测对微博客帖子的回复。 2012年计算语言学协会北美分会会议论文集：人类语言技术。计算语言学协会，602[4] Lars Backstrom ， Jon Kleinberg ， Lillian Lee ， and Cristian Danescu-Niculescu-Mizil. 2013.描述和策划对话线索：扩展，重点，音量，重新进入。在第六届WSDM会议上。13比22[5] TalyaN Bauer ， Todd Bodner ， Berrin Erdogan ， Donald M Truxillo 和Jennifer STucker。2007.组织社会化过程中的新人适应：前因、结果和方法的Meta分析综述。应用心理学杂志92，3（2007），707。[6] 南希·K·贝姆1993.解释肥皂剧和创建社区：在计算机媒介的粉丝文化中。Journal of Folklore Research（1993），143[7] Bin Bi和Junghoo Cho。2016年。通过自适应贝叶斯方法建模Retweet网络在第25届万维网国际会议（蒙特利尔，魁北克，加拿大）（WWW 国际万维网会议指导委员会，日内瓦共和国和州，CHE，459-469。[8] Bin Bi和Junghoo Cho。2016年。通过自适应贝叶斯方法建立转推网络模型