新闻语篇时间表达特征分析

918→新闻语篇中时间指称的历时分析亚当·贾托特因斯布鲁克大学计算机科学DiSC奥地利因斯布鲁克jatowt@gmail.com法国univ-lr.fr拉罗谢尔大学AntoineDoucet@www.example.com里卡多·坎波斯LIAAD -INESCTECCi2-Polytechnic Institute ofTomarTomar，Portugalos@ipt.ptricardo.camp摘要嵌入文本中的时间表达式对于自然语言处理和信息检索中的许多下游任务都很重要例如，它们已经被用于时间轴摘要、命名实体识别、时间信息检索、问题回答等。本文介绍了一种新的分析方法来分析历时文本集合中时间表达的特征。本文以33年来的新闻报道为语料，从时间表达的几个方面，重点考察了时间表达与文章发表日期的关系。我们利用一个基于图形的时间表达式表示，通过他们共同出现的命名实体来表示它们。所提出的方法的结果在几个观察，可用于自动系统，依赖于处理嵌入在文本中的时间信号。这对专业人士也很重要（例如，历史学家），他们希望了解基于大规模历时性文献收藏的集体文献和集体期望的波动。CCS概念• 信息系统内容分析和特征选择。关键词时间表达，新闻档案，时间信息检索ACM参考格式：亚当·贾托，安托万·杜塞特，里卡多·坎波斯。2022年新闻语篇中时间指称的历时分析在网络会议2022（WWW '22同伴）的同伴程序，2022年4月25日至29日，虚拟活动，里昂，法国。ACM，美国纽约州纽约市，6页。http：//doi.org/10.1145/3487553.35246711介绍时间表达式是非结构化文本数据中的重要信号，用于各种NLP，IR和其他相关任务。例如，在新闻文章中，它们定义了所描述的事件和事实的时间范围，至少与文件的出版日期一样具有信息性它们在一些NLP和IR任务中也发挥着重要作用。事件检测和排序[10，24]，时间轴允许免费制作本作品的全部或部分的数字或硬拷贝，以供个人或课堂使用，前提是制作或分发副本的目的不是为了盈利或商业利益，并且副本的第一页上有本声明和完整的引用。版权的组成部分，这项工作所拥有的其他人比ACM必须尊重。允许使用学分进行摘要 以其他方式复制、重新发布、在服务器上发布或重新分发到列表，需要事先获得特定许可和/或付费。请求权限请发邮件至permissions@acm.org。WWW©2022计算机协会ACM ISBN 978-1-4503-9130-6/22/04。. . 十五块https://doi.org/10.1145/3487553.3524671总结[3，7，17，22，26，31]，事件发生预测[29]，时间聚类和信息检索[2，5，6]，ques-问答[19，27]和命名实体识别[1，20]是使用嵌入文本中的时间证明是有益的示例任务。此外，据透露，大量的Web查询包含显式的时间表达式[32]。因此，研究语篇中时间指称的特征和分布就显得在本文中，我们提出了一种分析方法，旨在研究嵌入在文本中的时间表达式和文件的出版时间在长期的新闻文章集之间的相互作用。我们的目标是提供新的观察，可能是有用的NLP和IR任务，利用时间表达式，并提出新的分析方法，可用于支持集体记忆的研究。然后，我们的工作有两个目标：（a）发现新的观察相关的时间参考嵌入在新闻文章的基础上大规模的时间文件集和（b）提出一个新的框架，用于分析集体记忆和未来的期望1的变化。后一个目标符合最近的文化经济学趋势[18]，它研究了我们的文化随着时间的推移而演变的方式社会学家、历史学家或记者等专业人士往往需要很好地理解我们的社会是如何指代不同的时间段的，以及这些指代是如何随着时间的推移而变化的（例如，在过去的不同时期，哪些岁月被强烈地回忆起来，以及这些记忆是如何特别是，集体记忆研究，调查社会层面的记忆及其触发，并已越来越多地介导的定量方法[4，8，14，25]，可以受益于所提出的分析。文献描述了几项关于分布和文本中时间表达的时间范围，这往往是在集体记忆分析的背景下进行的在[4]中，作者将内容日期与主题模型相结合，以揭示与不同国家的特定年份记忆密切相关的主题在与历史相关的推文的背景下，研究表明，对遥远过去的关注小于对最近的过去的关注，并且对过去几年的回忆往往是由周年纪念日驱动的[25]。 对记忆触发的类似观察来自对维基百科编辑历史的分析[14]。Rizzo和Montesi [21]通过定量研究证明了齐普夫定律的时间变体，表明时间表达式的分布往往受秩和频率之间的众所周知的关系的支配。Jatowt等人[12] 已经调查和可视化的流行和范围的过去和未来指向Twitter的时间表达式还对提及的日期进行了汇总分析1请注意，为了保持分析的可管理性，我们基于年粒度进行分析因此我们忽略了更细粒度的时间表达式，如天或月。WWWJatowt等人919街道名称[23]然而，时间文献集合中时间参照的历时分析研究较少。在[9]中，作者基于相对熵研究了从1665年到2007年科技写作中时间表达的历时变化。 在本文中，我们对内容日期进行频率、语义和基于时间的分析（即， 年提及）在一个长达20年的新闻文章的集合。我们采用基于图的嵌入和时间嵌入的技术，并利用命名实体来表示年份，因为实体是新闻的本质，并且与时间信号密切相关[1，20]。2数据集该数据集由1981年1月1日至2013年3月28日发表的《纽约时报》文章组成，这些文章与Yao等人采用的程序类似，在网上抓取。[30 ]第30段。总的来说，我们的文献收藏包含了40年来的282，412篇新闻文章。 命名实体是使用Stanford Natural Languagetoolkit for named entity extraction 2从文章内容中提取的。在小写之后，发现了4，484，145个实体实例，导致706，163个唯一实体。实体分为四类：年份、地点、组织、个人。除年份外，所有实体都被进一步过滤，只保留那些出现至少20次的实体这导致了20，593个独特的实体（在20世纪80年代、90年代、21世纪20年代和21世纪10年代分别有大约17k、19.5k、19.3k和11.6k个独特的实体），这些独特的实体被用于创建在第12节中进一步描述的同现图。五、在我们的分析中，我们专注于1900年至2020年3之间的年份参考，基于文献中的先前研究，该研究表明，当提及遥远的时期时，最常使用年度粒度的时间参考[13]。 在本文的后面部分，我们用内容年来表示新闻文章内容中作为时间表述的年份，以区别于这些文章的发表年份。3分析3.1频率分析我们首先研究一下在我们的数据集中，年份是如何随着时间的推移而分布的图1示出了在数据集的间隔的每个段5中的年份提及（也称为内容年份）的分布1981年至2013年为了便于可视化，我们用相同的颜色表示属于同一个十年的年份。首先，我们注意到20世纪80年代，90年代，2000年代和2010年代的内容年在我们的数据集中最常见。Rizzo和Montesi [21]已经证明了大多数内容时态表达式都属于底层数据集的时间范围。事实上，这可以在图中观察到。1作为内容年的80年代、90年代和00年代的几十年是最常见的我们还可以看到的是，遥远的过去几十年（1900年代至1930年代），例如上世纪初的几十年，就不那么常见了，而且它们往往相对于2https://nlp.stanford.edu/software/CRF-NER.html[3]请注意，由于《纽约时报》的数据集在2013年结束，我们的分析还涉及未来的指向年，即2013年至2020年。4我们决定从1900年开始，因为这些表达式指向1900年之前的年份。在我们的数据集中相对罕见5我们使用年度粒度，因此段的单位长度为1年。与后几十年（1940年代至1970年代）相比，这一时期的下降更为均匀，后几十年的下降幅度更大低频率和低方差的内容年频率指向我们数据集的外部时期（在我们的情况下，这些是1900 - 1970年代和2020年代的内容年）也在图中很明显。二、 图 2绘制了在我们的数据集所涵盖的时间段内计算的内容日期频率的所谓标准化方差。特别是，垂直轴给出了变异系数（也称为相对标准差），它被定义为标准差与平均值的比值，两者都是在数据集的33年段上计算的。另一方面，水平轴上显示了年份提及的频率。为了计算方差，我们首先将数据集划分为33个年份段，然后测量每个片段中每个唯一内容年份的提及频率然后我们可以计算内容年 2，看看我们是否可以证实先前的观察图。1.一、为了便于图1和图2之间的可视化和比较，2、每一个特定的十年中的年份都用相同的独特颜色标记年在图。2通过代表其最后一位的标签来区分。例如，数字9出现在图的最顶部，带有粉红色的圆点，表示内容日期“2019”，因为粉红色用于表示过去十年（2010年代）。我们可以观察到，虽然今年的频率相当适中，但它的变化最大。总的来说，我们可以看到，在最初的几十年（即，遥远的过去）以相当低的平均频率发生，从而证实了遥远的过去不如最近的过去重要的直觉在我们的数据集持续时间内，它们也往往被相当一致地提及（即，从1981年到2013年），如其低相对标准偏差所示另一件要注意的事情是，平均频率以及相对标准偏差都倾向于增加更接近数据集左边界的内容年份（即，1981年），当遵循从过去到未来的时间轴时。然而，这种趋势在指向未来的内容年发生了逆转，即，在数据集的右边界之后的几年2013年，以红色标示。与1980年代至2010年代相比，未来几年的发生频率相对较低，并且在数据集跨度上的变化较小。另一方面，相当高的变化表征了落在收集跨度范围内的年份（即， 1981年至2013年），这可能是由于新闻文章中对新鲜度和新近度的典型关注。年（即，由标记“0”表示的每十年的第一年）通常具有比其邻近年份更高的平均频率圆年份的方差也相对较低，通常低于同一对应十年的其他年份这可能是因为它们可能作为一种时间地标，或者是由于出现了像1980年代这样的十年指示参考4实体共现分析我们现在将注意力转向对年份与其他实体同时出现的分析图中的情节图3示出了在数据集的所有段上计算的内容年的平均频率（x轴）与这些内容年在数据集中共同出现的实体的总数（y轴）之间的关系。通过观察图，可以注意到内容年的频率与其共现水平之间的正新闻语篇中时间指称的历时分析WWW920图1：在数据集跨度的每一年段中，与内容年相对应的十年分布。最好用彩色看。图2：内容年的平均频率（x轴）与它们的变异系数（y轴）是在33年期间计算的内容年份由其最后一位数字和其对应年代的颜色表示最好用彩色看每年的实体我们还可以观察到，在数据集的时间跨度内的年份，与实体的共现程度最高，而在该时间跨度之前和之后的年份，它会降低。这意味着关于收集开始日期之前的年份和收集结束之后的年份的文本与其他日期相比，共同出现的实体数量较少此外，正如我们所看到的，在各自的十年中，圆年平均比其他年份与实体的共现率更高，这与图2中的观察结果相对应。二、WWWJatowt等人921∈（）下一页∈∈（）∈图3：内容年总数（x轴）与在数据集的年度块上计算的与它们共同出现的唯一实体的平均数量给定年份通过显示其最后一位数字和其相应十年的颜色来表示最好用彩色看。5内容年份的语义分析接下来，我们将根据与年份共现的实体嵌入年份。为此，我们首先创建一个图G=V，E，使得一个顶点表示实体（也包括内容年份的任何实体，其也被认为是实体），并且通过使用在文档级6处计算的关联的逐点互信息（PMI）度量来确定边的权重。然后，我们使用node2vec[11]，一种流行的图嵌入方法，计算维度设置为1287的年份嵌入向量。最后，我们在图中显示 4使用t-SNE可视化在2D图上嵌入我们数据集的内容年份[16]。正如我们所观察到的，在时间上接近的年份通常彼此靠近，尽管对于遥远的过去年份来说，这一点并不那么明显。过去的年份位于左下角，后面是数据集时间间隔之前和之内的年份，位于图的中下部。 未来的年份似乎与其他年份分开，坐在右上角。图的整体形状非常有趣，因为近几年的密度（或空间分散）似乎随着时间的推移而变化，一旦我们从过去走向现在，就遥远的过去（1900- 1939）占据了相对较大的圆形区域，而最近的过去（1940-1979）“变得更窄”，而“现在”（1980-2013）已经有了相当长的情节形状。对此的一种解释可能是，在遥远的过去，年份往往是相当多样化的，6.我 们 删 除 了数据集 中 实体共 出 现 次数少 于 15 次 的 边 。 7 我 们 使 用 以 下 实 现 ：https://github.com/aditya-grover/node2vec/blob/master/src/main.py，默认值（步数长度：80，步数：20，窗口大小：10等）。通常彼此不同，并且它们的时间距离与它们的语义相似性相关性较小另一方面，较近年份之间的语义相似性更多地受它们的时间顺序的支配，使得时间上邻近的年份彼此接近然而，当时间距离增加时，相异性也增加，因此两者之间的相关性在最近几年更强（因此图被6时间分析最后，我们想量化每年语义在数据集的时间跨度上经历因此，我们需要一种方法，可以比较在我们的数据集的不同年代计算的年份嵌入。 为此，我们创建4个图（每个图用于不同的十年数据分割），使得对于每个图Gi = V i，Ei，顶点vj V i表示还包括年份的所有实体，并且边ej Ei的权重是通过使用以与Sec中类似的方式在文档级别上计算的节点之间的关联的逐点互信息（PMI）度量来确定的。五、重要的是要注意的是，每个图都是基于数据集跨越的特定十年的数据创建的（即，1980结果图表示这40年中每一年的所有实体的共现数据。然后，我们使用一种方法，该方法依赖于从最早的十年（即，1980年代）到最近十年（即，2000年代）[15]，使得在一个十年的训练之后获得的模型通过随后对来自下一个十年的数据进行训练来更新（即，在图Gi+1上）。通过这种方式，我们生成了120个向量，这些向量表示所有分析的内容年（即，1900年的新闻语篇中时间指称的历时分析WWW922图4：年份嵌入的相似性最好用彩色看4到2020年），在数据集跨度的每个十年因此，总共有480个向量，因为120个内容年中的每一个都由4个向量表示，每个向量对应于我们数据集所涵盖的4个不同年代中的一个。然后，我们使用亲和传播（AP）聚类8来捕获在数据集的不同时间块上训练的年份嵌入之间的相似性和差异（即，40年：AP是一种基于消息传递机制的分簇方法，不需要设置簇的数量聚类的数量是根据输入数据集自动决定的在将AP应用于我们的480个年份嵌入向量后，我们得到了51个聚类，如图1中的颜色编码所示。五、图中的每个细胞5对应于一个特定的内容年份（表示为从1900年到2020年的行号），该年份是基于数据集跨度的给定十年的数据嵌入的单元格中的数字及其颜色对应于特定的集群（数字表示集群ID）。有趣的是，只有一年（1953年），所有的那一年的四个矢量表示落入同一簇。大多数情况下，基于不同年代导出的同一年的嵌入被放置在不同的集群中，这意味着内容日期的语义在数据集的不同时间分割中往往有很大差异。仅13年（即，只有11%的研究年份）有3个或更多的代表（在4个可能的代表中）属于同一聚类。有趣的是，37年，占所有分析内容的30%以上8我们使用Scikit-learn实现默认参数。年，他们的每一个代表属于不同的集群。此外，我们在图中观察到5，集群往往是按列而不是按行排列的，考虑到内容年的时间跨度相当长（120年），它们覆盖了相对连贯的区域。总的来说，这些发现表明，同一年往往会根据所用数据集的不同时间部分而以不同的方式表示，即使这一年是在遥远的过去或遥远的未来。此数据集所涵盖的时间间隔7结论本文提出了一个分析历时文本集合中时间信号的框架，以一种新的方式，专注于内容和出版日期之间的相互作用该分析可以适应于支持从大型时间文档数据集调查集体记忆最后，我们讨论的意见有助于更好地理解嵌入在文本中的时间参考的特点。我们总结如下：时间表达式指的是时间新闻集合的时间间隔是最常见的，具有更高的平均频率，并且比指该间隔之外的时间表达式受到更高的它们也倾向于与大量实体。与最近几年相比，遥远的过去几年彼此之间的相似性更小。··WWWJatowt等人923年80年代90年代00s10s年80年代90年代00s10s年80年代90年代00s10s年 80年代90年代00s10s190044191919303316151960181511199010711161901002727193135581961821814199110723231902001212193253184619622815819921020231419030003619333518331963188181993623111419044421211934316547196421815199462323231905001335193535183119658814161995102377190604949491936551818196628815199661020111907001945193735181619671881419971010231119080013131938318181819688115151998610232319090003419393181828196911814199991023231910440171940521618197017161520001010232319114444419415218151971111414200110102020191240184819425218301972111411200266232319130016321943518161619731114142003624202319140415401944551625197418151120049242014191540041194552216197511148200510920161916001639194628161819761148162006992020191700184319472818161977111111200799202019184018381948518161619781771620086242420191945182619492881619797711112009692415192040165195082161619807711112010102424201921031516195122815198171141120116242416192205161519522221819827771120129924161923331620195322221983771416201366620192455181519542283719847714112014999241925517171719552816181985723714201591024241926351621956222151986777112016699241927051650195728815198777111420186924511928331629195828181519887771520199992419293516421959281414198910771420206222222图5：AP集群返回的集群，由每个单元中列出的集群ID（从1到51）和独特的颜色表示。年代顺序起着更强的作用，在数据集间隔内的年份或接近它，比其他更遥远的年份的年间相似性。相同的年份在用于计算其嵌入的数据集的不同时间拼接中具有不同的语义，即使这些年份属于遥远的过去或遥远的未来。上述发现可以被结合在利用时间表达式的各种应用中。例如，它们可以应用于归一化文本中发现的时间信号的频率或用于估计它们的相对重要性。据估计，在遥远的过去的一年应该比最近的一年平均更少，因此，如果这两年的频率相似，我们应该赋予更远的一年更高的重要性在另一示例中，时间轴生成中的事件到事件链接[22] 可以根据这些年份之间此外，使用时间扩展来定位正确答案的QA系统（例如， [27，28]）可以利用这些时间表达在不同时间段上的预期分布。致谢Ricardo Campos由ERDF-欧洲区域发展基金通过葡萄牙北部区域运营计划（NORTE 2020），根据葡萄牙2020和国家基金通过葡萄牙资助机构FCT - Fundação para a Ciência e a Tecnologia项目PTDC/CCI-COM/31857/2017（NORTE-01-0145-FEDER-03185）资助这笔资金符合Text2Story项目的研究路线引用[1] PrabalAgarwal ， Jannik Strötgen ， Luciano Del Corro ， JohannesHoffart，and Gerhard Weikum. 2018年Dianed：历时语料库的时间感知命名实体消歧。在ACL。686-693.[2] 奥马尔·阿隆索，迈克尔·格茨，里卡多·贝萨-耶茨。2007年论时态信息在信息检索中的价值SIGIR Forum41，2（2007），35[3] 奥马尔·阿隆索，迈克尔·格茨，里卡多·贝萨-耶茨。2009.使用时间轴结构聚类和探索搜索结果。在CIKM。97比106[4] 欧阳清文和亚当·贾托。2011年。研究过去是如何被格式化的：通过大规模文本挖掘走向计算历史在CIKM。1231-1240.[5] Ricardo Campos，Gaël Dias，Alípio M Jorge，and Adam Jatowt.2014年。时态信息检索及相关应用综述。ACM计算调查（CSUR）47，2（2014），1-41。[6] R. Campos，A.M. 豪尔赫湾Dias和C.努内斯2012年。 通过聚类网页片段中的最相关日期消除隐式时态歧义。在威斯康星州。一比八[7] R. Campos，A.Pasquali，A.贾托特河谷Mangaravite和A.豪尔赫2021年自动生成过去的Web事件的时间线。 在过去的网络。Exploring Web Archives，D. Gomes ， E.Demidova ， J.Winters 和 T.Risse （ Eds. ） Springer， Chapter18，225-242.[8] 詹姆斯·库克，阿提什·达斯·萨尔马，亚历克斯·法布里坎特和安德鲁·汤姆金斯。2012.你和你祖母两周的名声。在WWW上。919 -928[9] Stefania Degaetano-Ortlieb和Jannik Strötgen。2017年。从相对熵看科技写作中 时 间 表 达 的 历 时 变 化 德国计算语言学和语言技术学会国际会议。Springer，259[10] 利 昂 · 德 辛 斯 基 2017 年 。 自 动 排 序 文 本 中 的 事 件 和 时 间 。 卷 677.https://doi.org/10.1007/978-3-319-47241-6[11] Aditya Grover和Jure Leskovec2016年。Node2Vec ：可扩展的网络特征学习。855-864[12] AdamJatowt ， EmilienAntoine ， Yukiko Kawai ， andToyokazuAkiyama.2015年。映射时间视界：Twitter中集体未来和过去相关注意力的分析。 在第24届国际会议上，2015年5月18日至22日，万维网会议，WWW2015。ACM，484[13] Adam Jatowt和欧阳清文2011. 从大型文本集合中提取对未来的集体期望。在CIKM。1259-1264年。[14] Nattiya Kanhabua，Tu Ngoc Nguyen，and Claudia Niederée. 2014.是什么触发了人类对事件的记忆？维基百科中集体记忆催化剂的大规模分析。在JCDL。IEEE，341[15] Yoon Kim，Yi-I Chiu，Zuaro Hanaki，Darshan Hegde和Slav Petrov。2014年。通过神经语言模型进行语言的时间分析ACL（2014年），第61页。[16] 劳伦斯·范德马滕和杰弗里·辛顿。2008年使用t-SNE可视化数据Journal of Machine Learning Research9，Nov（2008），2579[17] S. Martschat和M.卡佳2018年一种用于时间轴摘要的时间敏感子模块框架。在CoNLL。230-240[18] Jean-Baptiste Michel，Yuan Kui Shen，et al.2011年。 使用数百万本数字化书籍进行文化定量分析。science331（6014）（2011），176[19] 马略·帕斯卡2008年暂时的网页搜索。在赛克资本。1117-1121。[20] Shruti Rijhwani和Daniel Preotiuc-Pietro。2020.命名实体识别的时间信息分析。在ACL。1比13[21] 斯蒂法诺·乔瓦尼·里佐和达尼洛·蒙特西。2017年。数字图书馆中时间的量化：时间齐普夫在IDEAS。ACM，143[22] Julius Steen和Katja Markert2019年。抽象的时间轴总结。在第二届总结新领域研讨会。21比31[23] Jannik Strötgen，Rosita Andrade，and Dhruv Gupta.2018年把日期放在地图上：收集和分析街道名称与日期提及及其缩写。在JCDL'18的会议记录ACM，纽约州纽约市，美国，79[24] 詹尼克·斯特根和迈克尔·格茨2012年。文档集合中以事件为中心的搜索和探索。在JCDL。223-232[25] Yasunobu Sumikawa，Adam Jatowt和Marten During。2018年数字历史遇到微博：分析Twitter中的集体记忆在JCDL（Fort Worth，Texas，USA）。ACM，213[26] Giang Tran，Mohammad Alrifai，and Eelco Herder.2015年。相关标题的时间轴摘要。在ECIR。Springer，245[27] Jiexin Wang， Adam Jatowt， Michael Färber， and Masatoshi Yoshikawa.2020.长期新闻文章档案中的事件相关问题，第12035卷。斯普林格，774[28] Jiexin Wang，Adam Jatowt，Masatoshi Yoshikawa. 2021. ArchivalQA：一个大规模的基准数据集，用于开放领域的历史新闻收集问题查询。SIGIR（2021）.[29] Jiexin Wang，Adam Jatowt，Masatoshi Yoshikawa.2021年基于多变量时间序列分析的时态文档集事件发生日期估计。在SIGIRACM，398[30] 姚子君，孙一凡，丁伟聪，饶尼基尔，熊辉。2018年 动态词嵌入用于不断发展的语义发现。在WSDM。673-681.[31] YiYu ， Adam Jatowt ， Antoine Doucet ， Kazunari Sugiyama ， andMasatoshi Yoshikawa. 2021.多时间线摘要（MTLS）：通过生成多个摘要来改进时间线摘要在第59届ACL/IJCNLP 2021会议记录中。ACL，377[32] RuiqiangZhang，Yuki Konda，Anlei Dong，Pranam Kolari，Yi Chang，andZhaohuiZheng. 2010年。学习网络搜索的经常性事件查询 在EMNLP的会议记录中。1129-1139。··