在线资源多模态事实检查中的图像-标题一致性评估

...149400通过在线资源对超出上下文的图像进行开放领域、基于内容的多模态事实检查0Sahar Abdelnabi，Rakibul Hasan和Mario FritzCISPA Helmholtz信息安全中心0{ sahar.abdelnabi,rakibul.hasan,fritz } @cispa.de0大卫∙卡梅伦在埃塞克斯弗林顿海滩竞选访问期间发言0视觉证据0文本证据0Q：这个标题与其图像相匹配吗？0: 让我们找出来！0'大卫∙卡梅伦'，'托尼∙布莱尔'，'安德鲁∙霍尔内斯'，'牙买加'，'牙买加工党'，'英国'，'经济'，'首相'，'2020年牙买加大选'，'大选'0大卫∙卡梅伦在牙买加金斯敦演讲。大卫∙卡梅伦在牙买加议会发表讲话。牙买加选举：工党险胜。牙买加指责大卫∙卡梅伦歪曲囚犯协议。0查询图像0文本-文本0一致性0步骤20图像-图像一致性0步骤10步骤20图像-标题一致性0: 伪造！0WWW0步骤10查询标题0真实情况：伪造0图1.为了评估图像-标题配对的真实性，我们利用通过查询Web收集的视觉和文本证据。我们提出了一种新颖的框架，用于检测索证（文本-文本和图像-图像）的一致性，以及图像-标题配对。突出显示的证据表示模型的最高关注度，与查询标题相比，显示出位置上的差异。0摘要0由于其对我们核心民主和社会价值和秩序的潜在高风险，虚假信息现在是一个重大问题。超出上下文的虚假信息是对手用来传播虚假故事的最简单和有效的方式之一。互联网被用作使用不同来源和模态验证信息的首选方式。我们的目标是通过使用Web证据对图像-标题配对进行事实检查的可检查方法。为了整合来自两种模态的证据和线索，我们引入了“多模态循环一致性检查”的概念。0/ ;从图像/标题开始，我们收集文本/视觉证据，分别与其他配对的标题/图像进行比较。此外，我们提出了一种新颖的架构，一致性检查网络-0工作（CCN）模仿了相同和不同模态之间的分层人类推理：标题与文本证据、图像与视觉证据以及图像与标题。我们的工作为开放领域、基于内容的多模态事实检查提供了第一步和基准，并且明显优于以前没有利用外部证据的基线1。01. 简介0最近，人们对“假新闻”及其对社会、个人和政治的有害影响越来越担忧[1, 18,24]，包括在大流行期间人们自己的健康[6, 7,30]。滥用生成性AI技术创建深度伪造[13, 21,36]进一步加剧了这些担忧[5,14]。然而，图像再利用——即将真实图像与另一个虚假或不相关的叙述超出上下文地混淆使用01 对于代码、检查点和数据集，请访问：https://s-abdelnabi.github.io/OoC-multi-modal-fc/149410创建更可信的故事并误导观众仍然是创建看起来真实的错误信息最简单和最有效的方法之一。图像再利用不需要深入的技术知识或经验[2，27]，这可能增加了其风险。图像通常伴随真实新闻[41]，因此，对手可能使用图像作为“支持证据”来吸引读者的注意力[15，27，47]。图像再利用数据集和威胁。由于稀缺性和大量的人工工作，收集大规模标记的脱离上下文数据集很困难。因此，以前的工作尝试构建合成的脱离上下文数据集[20，39]。最近的一项工作[27]提出了自动但非平凡的方法，将伴随真实新闻的图像与其他真实新闻标题进行匹配。作者使用训练过的语言和视觉模型，根据标题检索出一张相似且令人信服的图像。虽然这项工作通过自动创建数据集为误信息检测研究做出了贡献，但它也凸显了机器辅助程序可能在规模上简化创建误信息的威胁。此外，作者报告称，防御模型和人类都难以检测出脱离上下文的图像。在本文中，我们将这个数据集作为一个具有挑战性的基准；我们利用外部证据推动自动检测的进展。事实核查。为了打击错误信息，不同组织进行了大量的事实核查工作[33，34]。然而，这些工作需要大量的人工工作[43]。研究人员提出了几种自动化的方法和基准来自动化事实核查和验证[32，42]。然而，这些工作大多集中在文本主张上。多模态主张的事实核查研究尚未得到充分开发。我们的方法。人们经常使用互联网来验证信息。我们从图像、文章、不同来源聚合证据，并测量它们的共识和一致性。我们的目标是设计一个可检查的框架，自动化这个多模态事实核查过程，并协助用户、事实核查员和内容审核员。更具体地说，我们建议收集和推理证据，以判断图像-标题配对的真实性。首先，我们使用图像在互联网上找到其其他出现，从中爬取文本证据（例如标题），然后将其与配对的标题进行比较。同样地，我们使用标题来找到其他图像，作为0通过视觉证据与配对图像进行比较。我们将此过程称为“多模态循环一致性检查”。重要的是，我们以完全自动化和灵活的开放域方式检索证据[8]；没有预先识别或策划的“黄金证据”提供给模型。为了评估主张的真实性，我们提出了一种新的架构，一致性检查网络（CCN），它由以下组件组成：1）记忆网络组件来评估主张与证据的一致性（de-0上述描述），2）一个CLIP[35]组件，用于评估图像和标题配对本身的一致性。由于该任务需要机器理解和视觉理解，我们进行了不同的评估来设计记忆组件和证据表示。此外，我们进行了两项用户研究，以1）衡量人类在检测任务上的表现，以及2）了解收集到的证据和模型对证据的关注是否帮助人们区分真实与虚假的配对。图1显示了我们的框架，展示了数据集中的一个虚假示例以及检索到的证据。贡献。我们总结我们的贡献如下：1）我们形式化了一个新的多模态事实核查任务。2）我们提出了“多模态循环一致性检查”，从两种模态中收集关于多模态主张的证据。3）我们提出了一个新的可检查框架CCN，模拟了从主张和世界知识中聚合观察的过程。4）我们进行了大量的评估、消融和用户研究，并表明我们的证据增强方法显著改善了基线的检测能力。02. 相关工作0多模态误导信息。以前的工作研究了多模态误导信息[22,29,46]。例如，Khattar等人[22]通过学习图像和标题的表示来研究Twitter上的多模态虚假新闻，这些表示被用于分类。数据集中的图像可能被编辑过。相反，我们专注于脱离上下文的真实新闻图像，并使用证据来验证它们。此外，Zlatkova等人[50]使用来自Web的信息研究了图像-主张对的事实性。他们收集了关于主张图像的特征，如其URL。实际的主张图像内容没有与证据进行对比。我们的工作在于我们收集了视觉和文本证据来执行循环一致性检查。此外，他们只计算主张文本的特征，如TF-IDF，而我们使用具有学习表示的记忆网络。与脱离上下文威胁相关的，Aneja等人[2]构建了一个大规模的、尚未标记的数据集，其中包含同一图像的不同上下文。他们提出了一种自监督方法来检测两个标题（给定一个图像）是否具有相同的上下文。然而，与我们的工作不同，他们不判断单个图像-标题主张的真实性。此外，这项工作收集的未标记数据集不允许进行真实性检测的训练和评估。为了产生标记的脱离上下文图像，以前的工作通过简单的交换或命名实体操作[20,39]来创建合成数据集，然而，伪造示例要么太简单，要么包含易于被仅依靠语言模型[27]检测到的语言偏见。149420因此，Luo等人[27]提出通过将真实图像与真实标题匹配来创建伪造示例[26]。他们创建了大规模的NewsCLIPpings数据集，其中包含原始和令人信服的伪造示例。匹配是通过使用经过训练的语言和视觉模型（如SBERT-WK [45]，CLIP[35]或场景嵌入[49]）自动完成的。伪造示例可能会误导图像中的上下文、地点或人物，具有不一致的实体或语义上下文。作者表明，机器和人类的检测都有限，表明这个任务确实具有挑战性。因此，为了改进检测，我们建议使用外部Web证据来验证图像-标题的主张。开放领域问答和事实验证。我们的工作类似于开放领域问答[8]和事实验证[42]（来自维基百科）中的文本工作，涉及自动检索和理解的大规模和开放领域任务。我们不假设模型的输入已经被标记和确定为相关的，模拟现实生活中的事实检查。此外，我们不限制证据只能来自特定的策划来源，如事实检查网站，与[44]相反。与我们的工作类似，Popat等人[32]使用外部证据构建了一个端到端的文本主张可信度评估方法。然而，据我们所知，之前的工作没有尝试使用两种模态来验证多模态主张。此外，他们的模型旨在预测主张的每个来源的可信度，而我们从多个来源学习聚合一致性。03. 数据集和证据收集0数据集。我们使用包含原始和伪造（'脱离上下文'）图像的NewsCLIPpings [27]。它是建立在VisualNews[26]语料库上的，该语料库包含来自4个新闻媒体的新闻片段：The Guardian，BBC，USA Today和TheWashingtonPost。NewsCLIPpings数据集根据用于将图像与标题匹配的方法（例如，文本-文本相似性，图像-图像相似性等）包含不同的子集。我们使用'balanced'子集，该子集具有所有匹配方法的代表性，并包含71,072个训练示例，7,024个验证示例和7,264个测试示例。为了启动我们的证据辅助检测，我们使用图像-标题对作为查询执行Web搜索，如图1所示。0文本证据。我们使用Google Vision API[4]以逆向搜索模式使用查询图像来检索文本证据。API返回与该图像相关联的实体列表，我们将其作为文本证据的一部分进行收集。它们可能描述图像的内容以及这些图像出现的上下文，如图1中的实体列表。此外，API还返回图像的URL和包含页面的URL。与先前的工作[50]不同的是，与仅考虑包含页面标题的先前工作不同，我们还收集了图像的标题。我们设计了一个网络爬虫，访问页面，使用URL或图像内容匹配（使用感知哈希）搜索图像的标签，然后检索标题（如果找到）。我们抓取