Twitter标签对错误信息传播和用户参与的影响：特朗普选举推文的教训

2541→Twitter标签对错误信息传播和用户参与的影响：来自特朗普选举推文的教训奥雷斯蒂斯·帕帕基里亚科普洛斯普林斯顿大学信息技术政策中心orestis@princeton.edu摘要社交媒体平台正在通过给错误信息贴上警告标签来执行这项研究调查了Twitter对唐纳德·特朗普关于2020年美国总统大选的虚假推文的警告标签。它专门研究了它们与错误信息传播的关系，以及用户参与的程度和性质。 我们按类型对警告标签进行分类--“真实性标签”指出错误，“上下文标签”提供更多信息。此外，我们还根据标签的反驳力度和与底层推文的文本重叠（语言，主题）对标签进行分类。我们根据各种标准指标来查看用户交互（点赞、转发、引用和回复）、用户回复的内容以及所涉及的用户类型（党派和Twitter活动水平）。使用适当的统计工具，我们发现，总的来说，标签放置并没有改变用户分享和参与标签内容的倾向，但内容的虚假性却改变了。然而，我们发现标签中文本重叠的存在确实减少了用户交互，而更强的反驳减少了评论中的毒性。 我们还发现，当标签包含反驳时，用户更有可能在回复中讨论他们对底层推文的立场。当虚假内容被贴上标签时，结果显示自由派比保守派参与得更多。标签也增加了更多被动Twitter用户的参与度这一案例研究对设计有效的软缓和和相关政策具有直接影响CCS概念• 以人为中心的计算社会网络分析;人机交互的实证研究。关键词内容审核，错误信息，警告标签，政治话语，特朗普ACM参考格式：Orestis Papakyriakopoulos和Ellen Goodman2022年 Twitter标签对错误信息 传 播 和 用 户 参 与 的 影 响 ： 特 朗 普 选 举 推 文 的 教 训 。 ACM WebConference 2022会议论文集本 作 品 采 用 知 识 共 享 署 名 国 际 协 议 （ Creative Commons AttributionInternational）授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9096-5/22/04。https://doi.org/10.1145/3485447.3512126艾伦·古德曼罗格斯大学ellgood@rutgers.edu法学院（WWWACM，美国纽 约州纽约市，11页。https://doi.org/10.1145/3485447.35121261引言西方民主国家经历了虚假内容通过其信息网络传播的速度和数量的急剧增加[9]。公共话语中虚假陈述的突出性被描述为“后真相”[39]和“信息障碍”[52]，导致认识断裂，社会的大部分人在对现实的理解上存在分歧。虚假信息可以分为虚假信息（故意虚假）或错误信息（无意虚假）[16，17]。 为了便于参考，我们使用错误信息一词来涵盖虚假的所有条件。平台面临着通过“软适度”降低错误信息的突出性，或通过“硬适度”将其完全从流通中删除的压力。软审核的一种形式是在包含错误信息的内容上放置警告标签包括Twitter在内的多个社交媒体平台采用了这种做法，Twitter于2020年开始标记与COVID-19疫情相关的错误信息[2，3]。问题陈述。尽管在2020年美国总统大选期间，平台大量使用了软适度做法[1，45]，但人们对这种做法的有效性或如何将其付诸实施以产生最大影响知之甚少。为了产生更多的知识，我们研究了Twitter的决定，即从2020年11月3日选举日起，直到2021年1月8日他的账户被永久禁止为止，为前总统唐纳德·特朗普的一些虚假推文分配警告标签。在这几个月里，特朗普错误地声称发生了广泛的选举舞弊，这种舞弊使选举结果对他不利。了解Twitter的干预与特朗普的虚假声明之间的关系尤为重要，因为选举后几个月，民意调查显示，三分之一的美国人相信特朗普的说法是真实的，这提供了持续认识断裂的证据。来自研究的初步证据[42，57]表明，在特朗普的虚假推文上使用警告标签，在统计上与潜在内容的传播和用户参与的增加相吻合。在这些研究的基础上，我们更详细地分析了部署的警告标签、错误信息传播以及用户参与的程度和类型之间的关系。我们发现了一个更微妙的故事，并能够识别不同类型的标签，用户和参与类型之间的差异。我们回答以下问题：RQ：唐纳德特朗普的虚假推文上放置的不同警告标签如何2542WWW原创贡献。我们收集了2020年10月30日至2021年1月8日期间唐纳德·特朗普的Twitter账户中的1241条推文、其引擎指标以及2，399，366条相应的用户回复。我们将推文分为软缓和或非软缓和，以及包含三种类型的错误信息：欺诈相关，选举胜利相关和选票相关。 我们将警告标签按类型（准确性或上下文）、反驳力度以及它们与相关推文的语言和主题重叠进行分类。我们发现，总的来说，当控制错误信息时，警告标签并没有导致错误信息传播和用户参与度的统计学显著通过使用稳健的线性回归分析，我们发现，与上下文标签相比，verac-ity标签与更多的用户参与和共享有关。我们还发现，具有语言或主题重叠的标签与用户喜欢，转发，引用推文和回复标记内容的减少有关。我们研究谁被不同的标签动员起来，以及如何动员起来。我们根据Barbera的工作对71，338名随机用户进行了党派分类[8]。 由于Twitter上的中位用户主要是被动的[54]，很少在平台上创建内容，因此我们还计算了数据集中用户的推文活动。然后，我们比较了用户回复含有错误信息的适度和未经适度的推文的分布，并得出结论，推文适度与动员不太活跃的用户有关。此外，我们发现，标记的推文更有可能动员自由比保守的用户。通过将结构化主题建模算法[40]应用于推文回复，并使用Jing-saw的PerspectiveAPI[5]量化其毒性级别，我们找到了软缓和和未缓和推文下讨论性质之间的差异。 我们发现，用户在评论有标签的推文时使用了更多的有毒语言。 我们还发现，标签中反驳的存在与跨党派范围的回复中对潜在主张的更多讨论有关--讨论反映了党派的先验，但使用的毒性语言较少。基于研究结果，我们认为，警告标签的最佳使用，提供强有力的反驳和标签和推文之间的文本重叠，可以是一个合理的方式来减轻错误信息的传播和有毒的用户参与。 鉴于此，我们讨论了内容适度研究的政策和设计影响，并强调未来研究的途径。2背景相关工作2.1事实核查警告和内容标签的效力在社交媒体上，软审核实践包括所采取的每一项行动，这些行动通知用户有问题的内容，限制其可见性，或对用户参与其中施加特定限制[57]。这些做法包括事实核查警告和/或内容标签，它们通常被用作消除偏见的工具，让人们放弃他们的信仰，停止传播虚假信息。标签提供了平台或第三方对声明或附加信息的真实性或虚假性的评估，以使内容具有背景或澄清内容。第三方评估员可以是新闻机构、事实核查机构，或者在选举信息的情况下，是选举官员。从用户界面的角度来看，标签是“平台应用于向用户传达信息可信度的内容片段上的任何类型的部分或全部覆盖”[ 4 ]。 内容标签可以分为两类：1. 真实性，提供关于可信度的明确信息，包括纠正声明; 2. 上下文标签，提供有关主题的更多信息。虽然一些研究发现使用标签可以减少错误信息[14，15，19，30，55]，但其他研究发现根本没有效果[22]，还有一些研究发现了回飞棒或“适得其反”的效果[ 31，33 ]。内容标签有效性的差异可能是由于一些心理因素。例如，当虚假信息符合预先存在的信念时，它往往是“粘性”的，这些信念对一个人的世界观来说是高度敏感或突出的。在这种情况下，“纠正可以被解释为对一个人的核心信仰或部落身份的攻击，因此是无效的或适得其反”[ 35 ]。一旦他们接受了错误的信念，人们发现很难改变他们，如果谎言与个人和群体身份联系在一起[13，49]，认知机制，如构象偏见[58]，信念持久性[48]，或故事连贯性偏见[27，53]被激活。按照最乐观的衡量标准，纠正最多会使那些接触过错误信息的人对错误信息的引用减少一半[53]，研究人员发现准确性提示[15]或利用特定认知机制的提示可以成功[30]。然而，修正的平均效果似乎并不高。Chan等人对去偏倚研究进行的一项荟萃分析[11]发现，揭穿成功地抵消了错误信息的影响只有11.78%至19.45%的时间。 该分析还发现，当人们已经产生了支持错误信息的解释时，揭穿的效果不如没有产生的解释时，揭穿的效果更好，当它提供了新的信息时，能够更新以前产生的解释。 对事实核查研究的荟萃分析显示，在改变用户信念方面的有效性存在“混合”证据[ 51 ]。Walter等人检查了30项关于事实核查的研究，发现它 虽然不同政治倾向的结果存在显著异质性，但总体上的影响被描述为“相当弱”，并且“研究设计越接近于暴露于事实核查的真实世界场景，这些影响就逐渐变得可以忽略不计”。Kaiser等[23]研究了上下文和间隙警告的影响，但发现用户要么完全忽略了标签，要么 对社交媒体背景下的标签的研究并没有发现标签在改变信仰或减少错误信息的参与方面特别有效[37]。一项对小样本用户的定性研究显示，他们对警告错误信息的标签非常不信任和愤怒[41]。 一项实验比较了对带有标签的COVID错误信息推文的看法[44]与那些带有“警告封面”的推文······2543Twitter标签对错误信息传播和用户参与的影响：从特朗普的选举推文中吸取的教训基本内容发现标签无效，但封面有效[44]。有一些证据表明，内容标签可能会产生意想不到的矛盾的是，纠正可能会导致对潜在错误信息的信念增加[35]。人们可能会抵制他人的影响，并试图通过拒绝纠正来重申自己的自由，这种现象被称为心理纠正不太可能是有效的，如果他们提醒人们的社会差异或外群体的地位[32]。社交媒体上警告标签的效力还受到平台和群体特定的附加功能的影响。例如，参与在诸如喜欢和转发之类的指标中捕获的错误信息向用户发送信号，表明其他人已经验证了错误信息;这些验证本身使错误信息更加强大[7]。感知共识也会导致虚幻的真理效应。Lewandofski等人[26]表明，人们更有可能相信其他人相信的主张，而一个持有不受欢迎的观点的人更有可能在其他人分享的情况下承诺。特别是当人们分享观点时，“即使他们都有相同的信息-这些观点往往会更有信心”。因此，很明显，是否以及如何使用标签来减少错误信息的传播和用户参与仍然是一个争论的主题。对唐纳德·特朗普虚假推文的Twitter标签的详细分析可以在这次调查中提供有价值的信息。2.2特朗普账户适度的年表2020年10月，Twitter宣布将在关注者超过10万人的公众人物的推文中放置警告标签，这些推文包含特定类型的错误信息或有问题的言论[1]。 这些类别包括对选举结果的虚假陈述，以及呼吁暴力或非暴力干涉选举进程。11月3日晚，即选举日，唐纳德·特朗普违反了这些指导方针，声称有人试图操纵选举结果，官方当局对此表示异议。此后，他发布了数百条推文，声称自己是选举过程的获胜者，或者说存在与投票、计票或邮寄选票收集有关的选举欺诈行为。Twitter对其中许多推文进行了软审核，为特朗普违反准则的大多数（尽管不是全部）推文分配了各种类型的警告标签。2021年1月8日，特朗普的支持者袭击美国国会大厦后，特朗普的账号最终被该平台删除。早期的研究发现，特朗普推文的标签与错误信息的传播和用户参与度的增加有关。 Zanettou [57]研究了该平台上的一组标记和非标记推文，包括特朗普的推文，并发现与没有警告标签的推文相比，标记的推文具有更多的用户参与度。 他还发现，对带有警告标签的推文的大多数回复都是在揭穿虚假声明，嘲笑推文的创建者或进一步支持虚假声明。同样，Sanderson等人[42]专门研究了特朗普的推文，发现Twitter的硬适度阻止与推文的接触限制了它们在平台上的传播，软适度只标记推文贴上警告标签的话反而增加了传播。然而，他们还发现，在Twitter上被阻止参与的消息在其他在线平台上发布的频率更高，并且比那些只被Twitter标记或根本没有受到干预的消息更受欢迎。这些研究为错误信息传播、用户参与度和警告标签之间的关系提供了初步的认识。本研究考虑到这些结果，试图揭示警告标签的特定属性如何与错误信息传播和用户参与的特定模式相关 通过这种方式，它试图产生有用的知识，在未来是否和如何设计警告标签。3数据方法3.1数据收集我们从11月1日起系统地抓取了特朗普的Twitter账户，直到它被删除的那一天。 我们收集了每条推文生成的引用推文、转发推文和喜欢推文的数量，以及警告标签的文本信息。总的来说，我们收集了1241条推文，Twitter在这些推文上放置了10个独特的警告标签（附录，图4）。 在获得特朗普推文的ID后，我们使用Twitter研究人员API的完整存档端点，并收集了每条推文的回复计数。我们还收集了实际回复的分层样本，在特定时期生成的35，556，679条回复推文中创建了2，399，366条回复推文的语料库从收集的推文中，我们重点关注了特朗普的220条和623条单标签和未标签的原始推文（不包括他的转发和引用推文）。 有15条推文带有一个以上的标签，用户交互被停用，我们在分析中没有考虑到这一点。作为下一步，我们描述了特朗普推文上的各种标签如果它们指出了虚假，我们就把它们贴上真实性标签;如果它们提供了更多的信息，我们就贴上上下文标签。 我们进一步生成了三个变量来描述标签。 第一个是反驳力度，以量化标签提供的纠正力度。标签可以没有反驳强度（0），中等反驳强度（1）或高反驳强度（2）。标签将没有反驳的力量，如果例如。这个标签实际上和推文的内容无关它将具有中等的反驳力度，如果例如 特朗普在推特上说，他的政党赢得了宾夕法尼亚州的选举，而标签上说，拜登总体上赢得了选举。 它将具有很强的反驳力，例如：特朗普声称他赢得了选举，而标签说拜登赢了。第二个变量是语言重叠，表示标签使用与推文完全相同的词汇例如，当标签和推文中都出现单词“fraud”时，变量的值为1。 第三个变量是主题重叠，表示标签和推文指的是同一个问题，但措辞不同。例如，当特朗普的推文中出现“窃取”一词时，变量的值为1，而标签指的是选举“欺诈”。表3（附录）提供了已部署分类方案的示例。 两个编码员手动标记标记的tweet语料库，达到满意的协议（Krippendorf的α = 0。81）。在出现分歧的情况下，编码员一起审查标签，并就最终分类达成一致总体而言，我们检测到217个原始单标记2544WWW带有真实性标签的推文和带有上下文标签的7条推文在79条推文中，标签和推文之间存在语言重叠，在126例中存在主题重叠，在18例中根本没有重叠。此外，在181个案例中，标签有中等的反驳力度，在18个强有力的，在19个没有反驳的力量。为了创造准实验分析的条件，我们手动标记了特朗普的所有推文的内容。具体来说，我们确定了包含错误信息的推文，并将其分为三类：他是否声称存在选举欺诈，他是否声称他赢得了选举，以及他是否提到了邮寄选票的危险。总体而言，我们发现了285条包含错误信息的原始推文，其中85条没有被标记为错误信息。此步骤的编码器间一致性为αk = 0。74，与编码器达成共识的分类差异。由于Twitter标签对于每条推文都是独立的，并且存在描述推文内容的变量池，因此我们可以部署适当的工具来调查哪些属性与错误信息传播和用户参与度相关。重要的是要注意，以下准实验设计不能解释所有潜在的未观察到的混杂变量[28，38]。因此，研究结果主要是关联性的。然而，它们提供的信息具有直接的政策影响。所生成的知识可用于未来的研究，以设计适当的随机实验和验证因果关系。 由于缓和特朗普的帐户是一个独特的案例研究，协会应该在其他社交媒体环境中进行测试，以及推广。3.2定义被估量Lundberg等人[29]认为理解所研究的理论目标量（被估量）及其与经验量的联系是将统计证据转化为理论知识的关键部分。理论估计量错误信息传播用户参与度Empirical estimandRetweets Quotetweets最喜欢的回复用户参与类型内容毒性政治倾向图1：研究中的理论和经验估计接下来，我们将这些理论被估量与经验被估量联系起来（图1）。 这些是我们可以测量的变量，我们可以研究它们与其他变量的关系。我们声称，转发和引用推文的数量可以描述用户实际分享错误信息的数量，因为这些参与机制直接通过网络重新分发内容。我们通过每条推文收到的点赞和回复数量来量化用户参与错误信息的程度。为了了解用户参与的类型，我们使用并研究了四个不同的经验估计：内容，毒性，政治取向和用户活动类型。这些估计使我们能够评估警告标签和政治话语的一些定性特征之间的关系内容审核本身是一种政治问题[20]，其影响应该从它们如何影响政治话语的角度来理解。 内容和毒性作为被估量，使我们能够研究标签如何影响政治讨论的内容和愤怒，而用户的政治取向和活动水平有助于阐明公众的不同部分对标签内容的反应。我们量化的答复内容的结构化主题建模。用户回复的内容可以显示警告标签如何以非形式讨论错误信息，并揭示用户参与的主题。其次，我们使用Jigsaw透视API来测量用户回复中的毒性量我们以这种方式调查，当事实核查发生时，讨论是否变得更有害，正如其他研究的结果已经显示的那样[24，57]。第三，我们通过使用Barbera的生成模型[8]计算参与讨论的用户的政治倾向，该模型根据他们的Twitter追随者网络对用户进行左右尺度分类，并已为2020年选举进行更新。我们可以量化不同的标签可能如何动员游击队，从而显示谁受软温和影响最大，效果如何第四，由于之前的研究[34，50]已经表明，具有不同活动水平的用户会外化不同的用户，我们计算每个用户生成的回复数量，并使用它来了解标签是否可能激活特定类型的用户（被动，主动）参与讨论。 先前的研究表明[54]，大多数用户在平台上保持被动（被动用户），很少与内容交互或生成内容。相比之下，一小部分用户，10%或更少（活跃用户），负责生成大部分内容。这一点很重要，因为在警告标签和用户行为之间发现的任何关联可能无法推广到总用户群体。3.3方法我们通过建立回归模型和进行相应的假设检验，研究了经验被估量的值如何在给定警告标签的流行程度和属性的情况下发生为了将与错误信息传播和用户参与度相关的经验估计值的变化与软审核实践相关联，我们计算了用户在标记和未标记的推文上生成的转发，引用推文，喜欢和回复的中值。我们进行成对Mann-Whitney U检验（双尾）以定位统计学显著差异。为了量化与警告标签属性的关联，我们开发了单独的鲁棒线性回归模型，该模型将转推、引用推文、喜欢和回复的数量作为因变量我们引入对数变换的因变量，以减少其分布的偏态 我们使用稳健的线性回归超过正常的最小二乘估计，因为我们的数据包含参与度量值方面的离群值。 稳健线性回归使用M估计器，该估计器对每个观测值的贡献进行加权[56]，因此对此类问题更具弹性。为了处理检测到的异方差和自相关性问题，我们使用Andrews [6]实现的稳健标准误差。我们选择标签的存在（准确性，上下文）作为自变量，警告标签之间的文本重叠2545推文Twitter标签对错误信息传播和用户参与的影响：从特朗普的选举推文中吸取的教训表1：特朗普推特上有和没有警告标签的中位数互动。标记的结果说明在P0时标记和未标记的推文<之间存在统计学显著差异。05，通过Mann-Whitney U检验计算。有节制和无节制的推文，其中包含党派偏见和活动水平方面的 通过执行Anderson-Darling双样本检验，我们测量这些分布是否显著偏离每个具体子情况，即。在不同的标签类型中，标签中位数互动推文所有喜欢转推报价答复潜在的推文和唱片公司我们还计算了分布四分位数范围之外的用户百分比，以此来量化有多少极端游击队员未贴标签628164，472三 万 一千五百九十五二万五千一万九千三百五十九标签224229，499 * 53，209 *47,500*35,676*欺诈未贴标签56229，490五 万 零三百五十八四万二三万五千零二标签169245，83154 88148 000三万六千零六十四赢得未贴标签24220，166四 万 二千五百零三五万七千五百四万零二百一十四标签56246，402五 万 五千二百五十七五万八千五百四万零九百二十创建回复此外，我们比较了属于每个计算主题的回复数量，为主持人和无主持人的推文。对于与错误信息相关的主题，我们发现标记和未标记的推文在术语上存在实质性差异的用户回复，我们执行立场检测，以量化选票未标记6，251，509人61，95967，500 * 65，859支持或质疑错误信息的用户如何在标签13189，842四 万 二千八百零八四万三千二万七千零六十八和文本（语言，主题重叠），以及标签的反驳强度（无反驳，中度反驳，强烈反驳）。在我们的模型中，我们控制了推文的创建日期，因为参与度指标会根据情况随着时间的推移而变化，并且特朗普的推文中由于对于特定水平的分类变量，我们的观察量有限（例如上下文标签，强反驳强度），我们预计标准误会比平时更大 我们仍然使用p=0.05作为显著性水平，但在解释结果时，重点关注独立变量的效应量，而不是严格的统计假设检验。为了定量研究用户参与类型，我们计算了相应的经验估计值：tweets，B。回复毒性C.用户党派性，D.用户活动类型。 由于计算限制以及Twitter和Jigsaw API的限制，我们无法将主题建模算法和毒性分类器应用于用户回复的总语料库，也无法计算我们收集的数据中所有用户的用户党派。相反，我们创建用户和回复的随机样本，并在此基础上生成估计。首先，我们计算语料库中的每个用户产生了多少回复，计算他们在讨论中的活跃程度接下来，我们随机抽取了71，338名用户，我们通过应用Barbera算法[ 8 ]计算他们的党派得分，该算法应用于为了运行结构化主题模型，我们创建了一个200，000个用户回复的分层样本我们运行的算法与频谱启动，为了让它自动推断语料库中的主题的数量，产生64个不同的主题。我们在模型优化不使用进一步的协变量，因为我们优先考虑使用更大的语料库，而不是在数据中建模更复杂的关联。然后，我们使用训练好的模型来预测之前采样的71，338个用户创建的所有推文（284，725）的内容。此外，我们使用Jigsaw API来计算上述tweet语料库中评论有毒的概率 通过这种方式，我们量化了与用户参与类型相关的所有四个经验被估量。为了揭示警告标签的流行程度和类型是否与用户参与类型的变化相关，我们进行如下操作。我们生成了与之交互的用户的分布，不同的缓和条件。为此，两个编码器将属于这些主题的266个用户回复手动标记为“支持错误信息”、“争议错误信息”或“其他”（αk =0. 86）和微调进一步Kawintiranon人。[25] NLP架构。基于特定语言Bert的模型已经在与美国2020年选举相关的立场检测任务的明确目的相关的语料库上进行了微调 我们的最终分类器具有令人满意的测试集性能，如测试集F-1分数所示，对于“其他”内容，F-1分数为0.83，对于“支持错误信息”回复，F-1分数为0.78，对于“争议错误信息”，F-1分数为0.85。“然后我们对属于这些主题的所有回复进行分类，并创建一个多项回归分类器，预测用户以三种预定义方式之一进行争论的倾向。 我们将标签类型、标签属性、特朗普推文的内容、日期和用户活动水平以及政治倾向作为因变量。除了对用户以特定方式回复的倾向进行建模外，我们还计算了哪些因素与生成更有害的回复相关为此，我们创建了一个beta回归模型，该模型给出了给定标签类型，标签属性，日期，用户方向和活动水平的回复有毒的概率。4结果4.1标签和未标签推文之间的差异概述。该研究的第一个结果最初与之前的研究结果一致[42，57]：如表1所示，当比较标记和未标记的推文总和时，标记的推文与更大的用户参与度（喜欢和回复）相关，并且在引用推文和转发方面也有更大的共享。互动的总体差异是实质性的，标记的推文比未标记的推文多喜欢约36%，转发70%，引用推文88%，并且生成的标记推文回复的中位数比未标记的推文高84%。 Mann-Whitney U检验还表明，这些差异在P0时具有统计学显著<性。05门槛。然而，当控制推文的内容时，这些差异就消失了。通过比较包含错误信息叙述的推文，统计分析显示，用户与标记和未标记推文的互动水平相似。对于特朗普声称存在选举欺诈的标记和未标记的推文，标记的推文稍微更喜欢，转推，引用推文和回复，但没有一个2546WWW这些差异具有统计学意义。对于特朗普声称他赢得选举的推文，标记的推文产生了更多的用户交互，尽管没有统计学意义的差异对于与投票相关的推文，未标记的推文表2：回复特朗普推文的中间用户（就推文活动而言）和党派人士的分布，其中实际上与更多的用户参与和分享有关，中位用户自由Convervative引用推文的差异在统计上是显著的。这些结果表明，警告标签并不一定会导致错误信息传播和用户参与度的增加总的来说，他们没有改变用户与推文的互动次数然而，我们发现了标签和用户行为之间更复杂的关系，如我们接下来所示4.2标签的关系，错误信息传播参与程度稳健的线性回归模型结果提供了关于警告标签与用户交互（如点赞、回复、转推和引用推文）之间关系的更详细的图片（图2）。无论交互作用类型如何，这些关联都遵循统一模式（附录，表4）。在所有情况下，准确性标签都与用户与标签推文的互动增加有关（喜欢53%，转推85%，引用推文120%，回复76%，除了喜欢之外，所有统计学上都很显著）。上下文标签也与除了引用推文之外的用户交互增加有关，尽管与真实性标签相比，效果大小较小（喜欢44%;转发65%;引用推文：-3%回复：18%），估计量在统计学上不显着。 重要的是，标签的设计（反驳强度和重叠）减轻甚至逆转了这些参与效应。当标签在主题或语言上与底层推文重叠时，用户交互会减少，两种文本重叠之间的差异可以忽略不计。平均而言，文本重叠对应于点赞减少47%，转发减少40%，引用减少45%，回复减少39%（点赞、转发和回复在统计上显著）。具有中等或高反驳强度的标签与用户喜欢（中等：+23%&强：+39&），转发（中等：+7%&强：+21%），引用推文（中等：-25%&强：+2%）和回复（中等：-25%;强：+22%）没有统计学显著关联。比任何标签效应更强大的是潜在推文的虚假性。特朗普的虚假声明总是在所有四个方面增加用户互动，无论错误信息的主题如何。与选票欺诈相关的声明增加了68%（69%）的用户喜欢，68%（97%）的转发，66%（140%）的回复和73%（130%）的引用推特朗普赢得大选的论点平均吸引了52%的喜欢，22%的转发，56%的引用和43%的回复。总的来说，这些结果表明，无论是在错误信息传播（转发，引用推文）和用户参与（喜欢，回复）方面，标签都与增加的用户交互无关。事实上，标签与减少的互动相关联，当适当地定制推文内容时（在文本重叠&反驳强度方面）。这些模型还表明，准确性标签与更多的用户交互比上下文标签。此外，虚假内容和增加用户参与度之间的关联比与推特标签有关的任何事情都要大（编号：无标签1372%28%标签准确性9 80% 20%上下文标签8 50% 50%标签，无重叠12 55% 45%局部重叠10 58% 42%语言重叠11百分之五十七百分之四十三标签，没有反驳10百分之五十三百分之四十七温和反驳9百分之五十七百分之四十三强烈反驳11百分之五十七百分之四十三前提是这些标签与潜在的推文密切相关。这些发现回答了RQ的一部分，即特朗普虚假推文上的不同警告标签如何影响（a）错误信息传播和（b）用户参与程度。4.3标签吸引用户的类型除了了解警告标签的放置是否会导致更多或更少的错误信息共享和用户参与之外，重要的是要了解谁参与了标记的推文以及如何参与。 表2显示了对包含错误信息的标记和未标记推文做出回应的用户分布，并按推文活动和政治倾向进行了细分。根据他们的推文活动水平来了解谁回复了特朗普的推文，可以揭示标签如何与中等（被动）Twitter用户的动员或复员相关联。比较包含错误信息的标记和未标记的推文，标记的推文吸引了更多活跃的用户生成回复。一个回复用户的推文中位数为13条，相比之下，9条回应带有真实性标签的推文，8条回应带有上下文标签的推文（AD配对检验具有统计学显著性）。 在标签和推文之间的文本重叠方面，具有语言和主题重叠的推文吸引了更多的被动用户参与其中。用户回复没有文本重叠的标记推文的中位数为12条推文，而具有主题和语言重叠的推文的中位数分别为10条和11条（AD成对检验具有统计学显著性）。相比之下，与没有任何反驳强度的标签推文相比，具有强反驳强度的标签吸引了更多的活跃用户（11），或者具有中等强度的标签推文（分别为10和9，AD配对测试具有统计学显著性）。这些结果表明，不同类型的标签与参与推文的不同用户群体相关，即使在控制推文内容时也是如此。这些初步研究结果表明，在大多数情况下，标签与被动用户的更高参与度（通过增加回复来衡量）相关，被动用户是平台上的大多数用户除了用户活动水平外，我们还将用户的政治倾向作为参与行为的变量。表2说明了不同党派的用户如何与标记和未标记的推文进行交互。结果显示，就回复而言，未标记的虚假推文通常会吸引更多人的参与，2547Twitter标签对错误信息传播和用户参与的影响：从特朗普的选举推文中吸取的教训图2：稳健线性回归模型的森林图对于每种交互类型（喜欢、转发、回复、引用推文），每个图都显示了相应的估计量效应。a =0时的置信区间。05.自由派用户，与保守派相比，差异为44%这种差异在有真实性标签的推文中增加（自由派增加60%），而在包含上下文标签的推文中减少（50-50）。当标签和底层推文内容之间存在文本重叠时，党派用户的分布是不同的。自由派用户似乎更多地关注标签中显示文本重叠（语言或主题）的推文，而不是那些没有文本重叠的推文（自由派比保守派多10%，没有文本重叠，主题重叠16%，语言重叠14%）。关注标签的反驳力度，有6%的自由派用户回复了没有反驳力度的推文，14%的用户回复了中等和强烈的反驳。这些结果表明，在控制错误信息的情况下，用户参与的类型，在用户活动和党派方面，取决于标签的类型虽然上述结果并不一定意味着因果关系，但它们提供了证据，表明选择警告标签属性可能会影响谁会在回复方面参与标记内容。4.4标签答复的内容对特朗普未经审核和温和审核的推文的回复的内容分析在特朗普推文的讨论中，话题建模al-taxim产生了64个不同的话题（附录，图5）。对未标记推文的回复包括对COVID-19和税收的讨论。对标记和未标记推文的回复包括对美国外交事务的讨论，对特朗普的批评（例如， 因为输掉选举和散布谎言），支持特朗普，以及美国各州和科学。 在标记的推文下出现的回复大多与选举欺诈有关。总体而言，这些推文的流行程度是8.5%的标签推文，而5.5%的未标记的推文。我们对所有与这些主题相关的推文进行了立场检测分类，并部署了一个多项模型来揭示警告标签与用户回复内容之间的显式关联。 图3（也是附录-表5）中的结果表明，标签的各种属性影响了支持或拒绝选举欺诈叙述的论点的产生。准确性和上下文标签都与减少用户将讨论欺诈的机会，而不是谈论其他事情，而不管用户关于错误信息的先验。上下文标签有更大的影响。 相比之下，适度和强烈的反驳与用户讨论欺诈的更大机会相关（几率增加1-1.5倍）。有趣的是，文本重叠对用户如何外部化他们的立场有不对称的影响。它增加了回复拒绝特朗普欺诈主张的可能性（约1.1倍），同时降低了回复支持欺诈理论的可能性（0.9倍）。这表明，文本重叠动员了用户，他们的意见与警告的内容一致关注党派和用户活动水平，正如预期的那样，自由派用户更有可能在回复中拒绝错误信息，而保守派用户更有可能支持错误信息（两者均为p< 0.01）。更活跃的用户也更有可能将他们的立场外化，尽管差异可以忽略不计（赔率变化不到1%，p< 0.01）。β回归结果（图3-右，也是附录-表5）也揭示了回复、警告标签和用户中毒性之间的关联。准确性和上下文标签都增加了用户产生有毒语言的可能性，即使在控制错误信息相关内容时也是如此（几率分别增加1.08和1.1倍，p <0.01）。 文本重叠对使用者产生的毒性数量没有统计学显著影响。相比之下，标签的反驳越强烈，回复的毒性就越小（中度和强烈反驳的毒性分别为0.9和0.85倍）。在党派和用户类型方面，自由派用户更有可能在讨论中创建有毒回复（几率增加1.03倍，p 0.01），更被动的用户也是如此，尽管差异仍然可以忽略不计（几率变化不到1%，p0.01）。上述发现回答了RQ的最后一部分，即警告标签如何与用户参与类型交互。他们表明，警告标签类型对应于与特朗普推文相关的回复主题的不同分布，即使在控制推文内容时也是如此。 一些标签与更多的用户外部化他们对错误信息的立场（赞成或反对）有关，同时与用户部署较少的有毒语言有关。2548WWW图3：左&中：与其他类型的回复相比，导致用户创建拒绝或支持欺诈理论的论点的因素的森林图。右：影响用户生成有害回复的概率的因素的森林图。每个图显示相应的估计量效应。 a = 0时的置信区间。05.5讨论基于之前的研究结果[42，57]，该研究调查了特朗普推文上的警告标签、相应的错误信息传播和用户参与度之间的初始正相关关系控制推文内容，我们发现标记和未标记的推文之间的参与度实际上没有统计学显著差异。事实上，增加互动的最重要驱动力是虚假推文内容的存在（无论是否标记）。 这些结果补充了以前的研究，表明警告标签不一定会产生预期的行为结果[23，44]。 尽管如此，我们没有发现任何适得其反的效果，正如其他研究所发现的那样[31，33]，支持这样一种观点，即警告标签可以告知公众社交媒体内容的真实性，作为硬适度做法的替代方案，而不会产生负面的认知后果。进一步的研究结果表明，不同类型的用户可能会对不同类型的标签做出不同的反应。标签的属性，如反驳强度和文本重叠与较少的用户与虚假内容的互动。 虽然我们研究的是一个具体的案例研究，数据量有限，但这些发现可以用来更系统地研究如何根据特定目标设计警告标签。文本重叠和强有力的反驳是试图将推文内容与事实证据结合起来的属性许多研究（如[10，36]）表明，明确地将公众的注意力转移到准确性上，可以对错误信息的信念产生缓解作用。我们的研究发现，强调标签的反驳力度和文本与潜在推文的重叠以及用户交互的差异之间存在此外，我们的研究发现，警告标签会影响谁在社交媒体上生成内容以及如何生成内容。 我们分析了回复的中位用户的活动水平和党派倾向to labeled标记tweets鸣叫.我们的研究结果表明，具有更强反驳和文本重叠的标签通常会激活更自由的用户参与，而标签通常会动员不太活跃的用户，这些用户更典型的是Twitter 我们发现，标签中更强烈的反驳减少了讨论中的毒性，更有可能使用户将他们对错误信息的看法外部化。这些结果是有价值的，因为内容软节制试图影响政治和其他讨论如何在网上进行。事实上，特定的标签属性与较低的毒性相关联，应该为考虑软节制政策的价值和结构提供信息。我们的研究表明，错误信息上的警告标签可能会以复杂的方式影响用户行为，超出用户参与度的基本衡量标准。根据警告标签的特性，可能存在更多的用户交互，但毒性较小;可能存在更多的用户参与，但在党派之间不对称;可能存在较少的参与，但在主动用户中比被动用户中更多。需要进一步研究，使具体的研究结果系统化，并将其转化为政策干预措施。6结论在这项研究中，我们调查了唐纳德·特朗普 我们按类型、反驳力度和文本重叠对标签进行分类，并部署了统计工具来了解它们与错误信息传播和用户参与度的关系。我们发现，总的来说，警告标签并没有改变用户与推文互动的程度尽管如此，我们发现文本重叠的存在确实降低了用户喜欢、转发、引用推文和回复错误信息的倾向。 标签的反驳减少了用户创建有毒内容的可能性，并使他们更多地将自己的立场外化。我们发现，不太活跃的Twitter用户倾向于更多地参与标记的推文，这取决于标签是如何写的，当内容被标记时，自由派比保守派在回复中动员更多。这些发现对软适度设计有直