基于实时事件的维基百科新闻建议

17930基于实时事件的维基百科页面从新闻流中建议新闻0Lijun Lyu 汉诺威莱布尼茨大学汉诺威，德国lvlijun1992@gmail.com0Besnik Fetahu L3S研究中心和汉诺威莱布尼茨大学汉诺威，德国 fetahu@l3s.de0摘要0维基百科是网络上访问量最高的资源之一，此外，它还被广泛用作Web搜索、问答等应用程序的主要信息来源。这主要归因于维基百科在主题和现实世界实体方面的覆盖范围，以及维基百科文章不断更新的新兴事实。然而，只有少数文章被认为是高质量的。大多数文章不完整，并存在其他质量问题。一个强有力的质量指标是维基百科中来自第三方来源（如新闻来源）的外部参考文献，这是维基百科中的可验证性原则建议的。即使对于维基百科中的现有参考文献，其发布时间与其在维基百科文章中被引用的时间之间也存在固有的滞后。我们提出了一种从每日新闻流中实时建议维基百科的新闻参考的方法。我们将每日新闻建模为特定事件，从一天到一年不等。因此，我们构建了一个事件链，从中确定事件的信息何时收敛，并基于学习排序方法向涉及特定事件的维基百科文章建议最权威和完整的新闻文章。我们在从维基百科当前事件门户提取的41个事件和包含2016年至2017年期间超过1400万新闻文章的新语料库上评估了我们的新闻建议方法。我们能够以MAP=0.77的整体准确率向维基百科页面建议新闻文章，并且与新闻文章的发布时间相比，滞后时间最小。0关键词0维基百科丰富；新闻建议；新闻流；事件链0ACM参考格式：Lijun Lyu和BesnikFetahu。2018。基于实时事件的维基百科页面从新闻流中建议新闻。在WWW'18Companion：2018年万维网会议伴侣，2018年4月23日至27日，法国里昂。ACM，纽约，美国，7页。https://doi.org/10.1145/3184558.31916420本文根据知识共享署名4.0国际许可协议（CC BY4.0）发布。作者保留在个人和公司网站上传播作品的权利，并附上适当的归属。WWW'18Companion，2018年4月23日至27日，法国里昂，©2018IW3C2（国际万维网会议委员会），根据知识共享CC BY 4.0许可证发布。ACM ISBN978-1-4503-5640-4/18/04。https://doi.org/10.1145/3184558.319164201 引言0维基百科是网络上访问量排名前五的网页之一。除了直接访问者外，维基百科还通过诸如苹果的Siri或谷歌的知识图谱等问答应用程序以及网络搜索间接影响着数百万用户。因此，维基百科文章的状态一致性和及时性至关重要。在维基百科中，提供和维护维基百科文章中的信息的负担落在维基百科编辑者身上，他们与一系列原则和准则一起努力确保文章的质量。其中最重要的是可验证性原则，即要求维基百科文章中的信息应通过外部参考资料进行验证，最好是第三方来源，新闻是第二大被引用的来源[3]。由于维基百科文章是由其编辑者自愿编辑的，因此维基百科文章的质量和其在网络上的整体需求之间经常存在差异[16]。此外，超过51%的文章被标记为存根（需要扩展的文章）[3]。丰富和扩展维基百科文章的缺失和附加信息一直是广泛研究的焦点[4,14]。以往的工作将丰富任务视为静态方法，即对于给定的维基百科快照和现有的文档集合，建议将新闻或其他网络文档与匹配的维基百科文章及其相应的部分进行匹配。根据此类更新的周期性，新闻文章或报告重要事件的Web页面的发布时间与将其添加到相应的维基百科文章中的时间之间存在固有的滞后。在这项工作中，我们解决了快照丰富[4,14]的不足，并提出了一种自动化地向维基百科文章建议新闻的方法。首先，我们分析并从每日新闻流中提取事件，并基于以前的时间点的事件构建一个事件链，因为事件可能从一天延续到数年。接下来，从构建的事件链中确定涉及其中的重要维基百科实体，并在事件的信息收敛时使用学习排序（L2R）方法向相应的维基百科文章建议新闻文章。在我们的实验评估中，我们展示了我们的方法在最小化滞后方面提供了保证，具体而言，最小化新闻文章的发布时间与将其添加到相应的维基百科文章中的时间之间的差异。同时，我们基于L2R方法的建议具有很高的准确性，对于一组40个维基百科页面，整体MAP得分为MAP=0.77。01 https://www.alexa.com/topsites 2https://en.wikipedia.org/wiki/Wikipedia:Verifability 3https://en.wikipedia.org/wiki/Wikipedia:Statistics0跟踪：Wiki Workshop WWW 2018，2018年4月23日至27日，法国里昂4https://en.wikipedia.org/wiki/Wikipedia:VerifabilityTrack: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France17940事件，每天的新闻范围在2016年至2017年之间，共有超过1400万条新闻文章。为此，我们做出以下贡献：0• 从新闻流中提取事件并建立事件链，•在事件信息收敛时准确建议新闻文章给维基百科文章，•最小化新闻文章的发布日期和建议日期之间的滞后。02 相关工作0在本节中，我们回顾了与维基百科丰富和从新闻媒体中进行事件链接相关的文献。事件链接。事件提取和总结是广泛研究的重点[2，11，13]。处理事件时的一个重要方面是它们的时间跨度。事件可能从一天持续到几年。因此，构建跨时间的事件链对于能够分析事件的完整信息非常重要。Setty等人[15]使用聚类方法构建事件链，首先将给定日期的新闻文章进行聚类，然后在连续的日期之间构建这些聚类之间的链。我们采用类似于[15]的方法，但是我们使用基于我们的实验评估的Word-Movers距离[10]来实现接近最佳聚类准确性。维基百科丰富。另一方面的研究关注维基百科丰富作为一个静态过程的问题。这种方法的一个即将出现的问题是外部信息源（如新闻媒体）发布的信息与其在维基百科中被添加和引用的时间之间存在持续的滞后。[3，14]中的作品提出了一种方法，为给定的维基百科文章找到相关和重要的新闻或一般网络文档进行建议。然而，实时更新维基百科的一个关键挑战是能够从外部信息源（如新闻）中建模事件和事件链，并进一步检测事件中的信息何时收敛并准备为涉及其中的维基百科文章提供建议。维基百科的一个重要部分是指涉现实世界事件的文章。Georgescu等人[6，7]提出了一种利用给定文章的编辑频率进行维基百科事件检测的方法。具体而言，通过维基百科页面中添加的摘录，他们提供了一个事件的表示。类似地，Mishra等人[12]提出将维基百科事件的摘录与在线新闻档案进行链接，从而为维基百科中已经存在的事件提供证据。与其他维基百科丰富工作类似，我们的贡献同时也是分歧点，即我们能够监测事件并构建事件链，我们在决策过程中使用这些事件链来决定何时建议与事件相关的新闻文章以丰富涉及其中的维基百科实体，以及相应的文章。最后，正如我们在第??节中所展示的，维基百科编辑者的关注点和他们的贡献与普通网络用户的需求存在差异[16]。对于某些事件，来自外部信息源的信息在几分钟内就会反映出来[9]，而在其他情况下，这种延迟可能是显著的，并且取决于快照丰富的周期性[3，14]。因此，实时0对于更新维基百科并使其保持一致状态，需要连续的方法来监测事件。03 术语和问题定义0在本节中，我们介绍本文中使用的术语，并正式定义实时新闻建议的问题。03.1 术语0我们考虑来自维基百科当前事件门户（WCP）的事件 E = { e 1 , . . . ,e n }。对于每个事件 e ∈E，我们区分参与该事件的行为者，这在我们的情况下代表维基百科文章，我们用 a ( e ) = { a 1 , . . . , a n }表示。此外，每个事件都包含一个文本描述，我们用 desc ( e )表示，一个指向新闻来源的引用集合，即 n ( e ) = { n 1 , . . . , n k}，以及事件日期 - date ( e ) 或简称 t e。从 E中的事件引用集合是从每日新闻流 N 中提取的，N由多个新闻领域的新闻文章组成，即 D ( N ) = { d 1 , . . . , d n}。每篇新闻文章 n ∈ N 包含 n = � date , title , body�，我们将新闻文章的发布日期称为 t n。在给定的时间点 t上报的新闻文章集合将用 N t 表示。最后，用 A = { a 1 , . . . , a n }表示维基百科文章集合。对于每篇文章，我们区分它们的不同修订版本，并根据它们提交的时间进行区分。我们将文章 a 的第 i个修订版本在时间 t 上称为 a i t。03.2 问题定义0在这项工作中，我们解决了实时向维基百科文章建议来自特定事件的新闻文章的问题。我们在这项工作中区分了两个主要任务。事件链。对于给定的新闻流 N，由每日文章组成，以及感兴趣的事件e，任务是首先提取与 e 相关的新闻文章 n ( e )，并通过在时间点 t n≤ t e ≤ t ′ n监控新闻文章来构建一个事件链。结果的事件链将由新闻文章的时间顺序组成，即 e c = {� n 1 , . . . , n k � t − i , . . .  � n 1 , . . . , n k � t , . . . � n 1 , . . . , n k � t + i }。新闻建议。从事件链 e c中，任务是在不同的时间点从新闻文章中监控有关事件 e的信息，并决定何时以及建议哪些文章，以满足维基百科中可验证原则的两个关键属性：（i）新闻文章与事件 e 相关，（ii）关于事件 e的信息由可靠的新闻媒体 D 报道。04 基于事件的新闻推荐方法0在本节中，我们描述了我们的基于事件的新闻推荐方法。该方法从特定事件 e 开始，该事件在时间 t e发布，并包含两个主要步骤：（i）对于事件e，它分析每日新闻的新闻流，并构建跨越多天的事件链，（ii）从事件链中决定何时以及建议哪些新闻文章，以供参与事件 e的维基百科文章 a ( e ) 使用。0.50.60.70.80.91.00500100015002000179504.1 新闻流聚类 - 事件链接0事件 e = “美国货币政策”在清单1中展示了维基百科当前事件门户上的一个事件示例，该事件在给定时间 t e 发布。此外，每个事件指向一组新闻引用 n ( e)，并直接涉及一组维基百科文章 a ( e )。对于参与事件 e的维基百科文章，其中包含的信息是添加到相应文章的强有力候选。然而，正如在许多情况下一样，事件可能持续一天、几周、几个月甚至更长时间，几年。因此，能够确定事件链 ec = {� n 1 , . . . , n k � t −i , . . . ,  � n 1 , . . . , n k � t + i } 对于事件 e来说非常重要，这样我们就可以选择最相关和最权威的新闻文章，以供维基百科文章 a ( e ) 使用。0清单1：美国的货币政策（2018年1月26日）0金融分析师将美国财政部长史蒂文∙姆努钦的言论解释为美国可能会改变自上世纪90年代以来一直持有的强势美元政策的迹象。这一迹象表现在他没有传达通常的强调强势美元对美国有利的信息。（CNBC）[新闻参考]0新闻检索。为了建立事件链 ec，我们首先需要从新闻流 N中找到与事件 e 相关的新闻文章。我们通过采用信息检索方法为 e生成候选新闻文章来实现这一目标。我们根据 Henzinger等人提出的方法 [8]，从事件集合及其描述中构建查询，该方法根据tf-idf 权重对事件描述术语进行排名。我们的查询 e 包括来自 desc(e)的排名前5个关键词。作为查询相似性模型，我们使用随机性差异[1]，并考虑几种检索组合：(i) 查询新闻文章的正文，(ii)查询新闻文章的标题，以及(iii)查询新闻文章的标题和正文。图1显示了在不同查询设置下，在排名前k的特定截断点上检索新闻文章 n(e)的能力。我们可以看到，通过考虑用于构建事件链 ec的排名前500个新闻文章，我们几乎可以完美地召回与 e相关的新闻文章。在每个检索步骤中，我们限制模型检索给定日期 t i之前一周内的排名前500个新闻文章。以类似的方式，我们通过检索排名前500篇文章 t i-1 < t i的一周切片来遍历新闻流。为了构建事件链，我们从事件日期 t e开始，根据词移距离（Word Mover'sDistance，WMD）[10]对新闻文章进行聚类。WMD根据各个文档中单词的词嵌入距离来计算，从而将两篇新闻文章分配到同一聚类中。通过在每个时间切片上对新闻文章进行聚类，我们连接相邻日期的聚类，从而获得跨越天、周甚至年的事件链 ec = {�n1, ..., nk�t-i, ..., �n1,..., nk�t+i}。这里的一个限制是，对于一个事件e，我们希望有一组相关的新闻文章，以便进行事件链构建。然而，这种限制可以通过以下方法解决05 我们使用Solr对新闻的每日流进行索引。0排名0方法0内容0标题0标题+内容0WCEP中从事件引用的新闻文章的覆盖范围0图1：根据我们的查询构建方法，在排名中召回的真实新闻文章。0Fetahu等人提出的方法[5]中提出的方法，可以使用事件描述来找到相关的新闻文章。04.2 新闻排名和建议0维基百科文章中的信息以事件为中心。因此，事件会触发相应维基百科文章的更新，在某些情况下，它们甚至会导致维基百科文章的实际创建[3]。在这种方法中，我们将涉及事件 e的维基百科文章的新闻建议任务 a(e) = {a1, ..., an}视为一个排序问题。我们通过考虑作为事件链 ec的一部分的新闻文章来解决这个问题，我们将事件链切片为三天的窗口。这种切片的直觉是，我们希望观察与 e相关的新闻媒体的报道，以便提供关于 e的最完整信息，并从最权威的新闻媒体中提供建议。这种直觉基于我们实验设置的经验观察。图2显示了我们数据集中一个示例事件的事件链示例。我们注意到，通常在相应的维基百科文章中，e的相关新闻文章来自我们的事件链 ec中的新闻文章分布的高峰。这在某种程度上是合理的，因为关于事件的信息已经收敛，也就是说，我们已经拥有了关于 e的完整画面，并且能够选择相关和权威的新闻文章进行建议。这些观察结果确定了我们特征的选择，并提供了其中的直觉。对于新闻建议方法，我们使用学习排序（Learning-to-Rank，L2R）方法，通过逻辑回归作为我们的模型训练一个点对点的L2R方法。这些特征考虑了事件链中三天的时间窗口，具体描述如下：新闻文章频率。在事件链中，我们考虑报道事件 e的新闻文章的频率，此外，我们考虑基于指数移动平均值的相邻时间点的增长。该特征捕捉了事件在新闻流 N 中的受欢迎程度 D。0Track: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France17960Track: Wiki Workshop WWW 2018, April 23-27, 2018, Lyon, France10.180.160.830.8330.220.250.710.7350.240.330.690.76100.260.590.680.7717970当类似事件重复发生时，编辑们需要适当地选择新闻文章。因此，我们考虑了下一个描述的第二个真实数据集。0众包真实数据集。对于我们为事件 e构建的事件链，我们对一组前10个新闻文章进行排名，我们认为这些文章适合通过我们的L2R方法建议给相应的维基百科文章 a ( e )。然而，对于事件 e的只有少数新闻文章，我们通过WCEP获得了明确的标签，如上所述。因此，对于我们前10个未标记的新闻文章，我们进行了众包评估，我们要求众包工作者评估这些文章与事件 e的相关性。对于我们的众包评估，我们只选择质量最高的工作者，由CrowdFlower平台8确定。我们向工作者展示事件 e的描述，并为每个未标记的新闻文章展示一个在我们的维基百科真实数据集中存在的相应新闻文章。我们随机排列新闻文章的顺序，以避免从众包工作中展示新闻文章的方式引入任何选择偏差。对于每对事件的新闻文章，我们要求三个众包工作者评估两篇文章与事件的相关性，并提供以下选项：（i）第一篇文章相关，（ii）第二篇文章相关，（iii）两篇文章都相关，以及（iv）两篇文章都不相关。最后，我们根据多数投票原则选择标签。图3显示了我们的众包评估设置的快照。在这种情况下，我们总共收集了6144个判断，涉及2048对事件和新闻文章对（真实数据集和我们前10个未标记的新闻文章建议）。05.3 指标0由于我们将基于事件的新闻建议问题视为一个排序问题，我们考虑了标准的排序评估指标。我们考虑以下指标。P@k。精确度 P @ k 或P @ K 评估我们的L2R模型在排名 k之前的准确性。在我们的情况下，我们限制在最大排名 k = 10。0P @ k  = rel 0k (1)0其中 rel ( k ) 代表我们基于真实数据集在前 k个排名中的相关新闻文章数量。MAP。我们进一步测量了我们实验设置中所有事件的平均准确率。这显示了我们对所有事件的整体准确性。我们定义 MAP 如下所示。0MAP  = 10| E |0e  ∈ E AvдP ( e ) (2)0其中 AvдP ( e ) 代表我们在前10个排名的新闻文章集中为事件 e实现的准确性。滞后。由于我们的目标是实时建议新闻文章，我们希望尽量减少我们引入的滞后时间，即新闻文章发布后，直到它被添加到相应的维基百科文章中。我们将滞后定义如下。08 https://crowdfower.com0WikiGT CrowdGT0排名 P @ k nDCG @ k P @ k nDCG @ k0MAP 0.41 0.770表1：我们实验设置中所有事件的前10个排名评估结果。0∆  =  t a  −  t n (3)0其中，t a  − t n 代表了 n 的发布时间与 a的修订时间之间的时间差，其中 n 的信息在 a中得到反映。因此，正的 ∆值表示滞后时间减少，负的值表示滞后时间进一步增加。06 评估结果0在本节中，我们报告并讨论了我们基于L2R方法的新闻建议的准确性评估结果，以及减少相关新闻文章的发布时间与其被添加到相应的维基百科文章之间的滞后时间的影响。06.1 新闻建议准确性0在考虑丰富维基百科时，准确性是一个关键因素。对于这个任务，我们需要根据构建的事件链建议与特定事件e相关的前k个（其中k=10）新闻文章。表1显示了根据我们的排名评估指标测量的准确性。在表的左侧部分，我们区分了原始的基准WikiGT，它对应于在维基百科事件中已经被引用并后来添加到相应维基百科文章a(e)中的前k个新闻文章n(e)的排序能力。而在表的右侧部分，我们根据众包的基准显示了准确性，如第5.2节所述。从表1中我们可以看出，我们的方法可以以很高的准确性建议新闻文章，其中P@1=0.83，总体MAP=0.77。然而，有趣的是，在我们的众包评估中，在26.3%的情况下，我们的新闻建议被优先于维基百科中现有的建议，而在大多数情况下，特别是40%的情况下，众包工作者认为两篇新闻文章都与事件e相关。表2显示了众包工作者在选择事件的新闻文章方面的偏好情况。06.2 延迟减少0除了在向维基百科文章提供新闻建议时的准确性外，一个重要因素是建议新闻的速度。在我们的基于事件的新闻建议中，我们确保在满足第3.2节中建立的主要标准后，尽快建议一个事件e的文章。0论文集: Wiki Workshop WWW 2018, 2018年4月23日至27日, 法国里昂17980论文集: Wiki Workshop WWW 2018, 2018年4月23日至27日, 法国里昂17990添加到相应的维基百科文章中。对于我们一组非常受欢迎的事件和受欢迎的维基百科文章，与维基百科现有状态相比，我们平均减少了四天的延迟。作为未来的工作，我们预见将新闻流中的新闻文章自动区分为不同的事件，从而不需要提供感兴趣的事件，例如维基百科当前事件门户中的事件，该门户并没有对GDelt项目索引的新闻流中报告的事件进行完全覆盖。0参考文献0[1] Gianni Amati和Cornelis Joost Van Rijsbergen. 2002.基于测量与随机性的差异的信息检索概率模型. ACM Trans. Inf. Syst. 20, 4 (Oct. 2002),357–389. DOI: http://dx.doi.org/10.1145/582415.582416 [2] Giang Binh Tran. 2013.用于新闻事件的结构化摘要. In Proceedings of the 22Nd International Conference onWorld Wide Web (WWW ’13 Companion). ACM, New York, NY, USA, 343–348.DOI: http://dx.doi.org/10.1145/2487788.2487940 [3] Besnik Fetahu, Abhijit Anand,and Avishek Anand. 2015. 维基百科滞后于新闻多少？. In Proceedings of the ACMWeb Science Conference, WebSci 2015, Oxford, United Kingdom, June 28 - July 1,2015. 28:1–28:9. DOI: http://dx.doi.org/10.1145/2786451.2786460 [4] BesnikFetahu, Katja Markert, and Avishek Anand. 2015.用于填充维基百科实体页面的自动化新闻建议. In Proceedings of the 24th ACMInternational on Conference on Information and Knowledge Management. ACM,323–332. [5] Besnik Fetahu, Katja Markert, Wolfgang Nejdl, and Avishek Anand.2016. 为维基百科找到新闻引用. In Proceedings of the 25th ACM InternationalConference on Information and Knowledge Management, CIKM 2016,Indianapolis, IN, USA, October 24-28, 2016. 337–346. DOI:http://dx.doi.org/10.1145/2983323.2983808 [6] Mihai Georgescu, NattiyaKanhabua, Daniel Krause, Wolfgang Nejdl, and Stefan Siersdorfer. 2013.从文章更新中提取与事件相关的信息0维基百科。在欧洲信息检索会议上。Springer，254-266。[7] Mihai Georgescu，DangDuc Pham，Nattiya Kanhabua，Sergej Zerr，Stefan Siersdorfer和WolfgangNejdl。2013年。维基百科中事件相关更新的时间摘要。在第22届国际万维网会议，WWW'13，巴西里约热内卢，2013年5月13-17日，附属卷。281-284。http://dl.acm.org/citation.cfm?id=2487923 [8] Monika Henzinger，Bay-Wei Chang，Brian Milch和SergeyBrin。2005年。无查询新闻搜索。万维网8，2（2005年），101-126。[9] BrianKeegan，Darren Gergle和Noshir Contractor。2011年。维基百科的热点：维基百科对T¯OHoku灾难的报道的动态，实践和结构。在第7届维基和开放协作国际研讨会（WikiSym'11）的论文集。ACM，纽约，美国，105-113。DOI：http://dx.doi.org/10.1145/2038558.2038577 [10] Matt Kusner，Yu Sun，Nicholas Kolkin和KilianWeinberger。2015年。从词嵌入到文档距离。在机器学习国际会议上。957-966。[11]Zhiwei Li，Bin Wang，Mingjing Li和Wei-YingMa。2005年。回顾性新闻事件检测的概率模型。在第28届年度国际ACMSIGIR会议上的论文集。ACM，106-113。[12] Arunav Mishra和KlausBerberich。2016年。利用语义注释链接维基百科和新闻档案。在欧洲信息检索会议上。Springer，30-42。[13] Martina Naughton，Nicholas Kushmerick和JosephCarthy。2006年。从异构新闻源中提取事件。在AAAI研讨会事件提取和合成的论文集中。1-6。[14] Christina Sauper和ReginaBarzilay。2009年。自动生成维基百科文章：一种结构感知方法。在ACL2009年，第47届年会的论文集中，计算语言学协会和AFNLP的第4届国际联合会议，2009年8月2-7日，新加坡。208-216。http://www.aclweb.org/anthology/P09-1024 [15]Vinay Setty，Abhijit Anand，Arunav Mishra和AvishekAnand。2017年。为排名每日新闻事件建模事件重要性。在第十届ACM国际网络搜索和数据挖掘会议的论文集。ACM，231-240。[16] Morten Warncke-Wang，VivekRanjan，Loren G. Terveen和Brent J.Hecht。2015年。对等生产社区中优质内容供需不匹配。在第九届国际网络和社交媒体会议ICWSM2015的论文集，牛津大学，牛津，英国，2015年5月26-29日。493-502。http://www.aaai.org/ocs/index.php/ICWSM/ICWSM15/paper/ view/105910跟踪：维基研讨会WWW 2018年4月23-27日，法国里昂