图像字幕中的社会偏见放大

13450量化图像字幕中的社会偏见放大大坂大学y-hirota@is.ids.osaka-u.ac.jp大坂大学n-yuta@ids.osaka-u.ac.jp大坂大学noagarcia@ids.osaka-u.ac.jp摘要我们研究图像字幕中的社会偏见放大。图像字幕模型已被证明会使性别和种族偏见永久化，然而，用于测量、量化和评估字幕中的社会偏见的指标尚未标准化。我们提供了一个全面的研究，每个指标的优势和局限性，并提出LIC，一个指标来研究字幕偏差放大。我们认为一个孩子吃东西的特写a在餐馆里吃一片比萨饼一个年轻人抱着一只泰迪熊坐在床上人类穿着战斗服在车库NIC站在消防车旁边穿着红色连衣裙的女售货员a站在一辆公共汽车前女性男性偏向得分0 1偏向得分0 1对于图像字幕，仅仅关注受保护属性的正确预测是不够的，应该考虑整个上下文。我们对传统的和最先进的图像加帽模型进行了广泛的评估，并惊讶地发现，通过只关注受保护的属性预测，偏差缓解模型意外地放大了偏差。1. 介绍计算机视觉应用中存在的不良偏差越来越受到关注。有证据表明，大规模数据集以及在其上训练的模型在如何代表人口的不同亚组方面存在重大不平衡[7，8，10，47]。检测和解决这些偏见，通常被称为社会偏见，已成为我们社区的一个积极研究方向[1，11，21，30，32，37，44]。与流行的观点相反，数据集中存在的偏见并不是不公平的唯一原因[16]。模型的选择和系统的训练方式也对社会偏见的持续存在产生很大影响。这得到了证据的支持：1）模型不仅再现了数据集的不平等，而且还放大了它们[47]，2）即使在平衡数据集上训练，模型仍然可能存在偏差[40]，因为历史歧视的深度比手动注释的深度更深，即，偏见对于注释者的眼睛来说并不总是明显的。在大多数流行的基准测试中，准确性作为优化的单一指标的流行[33]使得模型的其他方面，如公平性，成本或效率，不是优先考虑的（因此，不需要考虑）。但图1.测量MSCOCO标题中的性别偏见[9]。对于由人类、NIC[36]或NIC+编译器[8]生成的每个字幕，我们显示了我们提出的女性和男性字幕的偏见评分。此偏差分数指示标题偏向于某个受保护属性的程度。每个单词对偏差分数的贡献以灰度显示（具有最高贡献的单词以粗体显示性别暴露的词语被掩盖了。社会偏见是一个横向问题，影响计算机视觉中的各种任务，例如面部识别，黑人女性的错误率高于白人男性[7];物体分类，厨房物体与女性相关联的概率高于男性[47];或行人检测，浅色皮肤个体的检测率高于深色皮肤个体[42]。虽然不同计算机视觉系统中社会偏见的原因可能是相似的，但其后果是特殊的，需要针对每项任务采取特定的解决方案。我们研究并量化了图像说明中的社会偏见（图1）。图像字幕通过预训练的视觉和语言转换器[23]在MSCOCO字幕数据集[9]上实现了最先进的准确性。通过 利 用 非 常 大 规 模 的 数 据 集 合 （ 例 如 ， GoogleConceptual Captions [29]从互联网上抓取了大约330万个图像-标题对），基于自我注意力的模型[34]具有根据训练分布学习世界表示的潜力。然而，这些大量的数据，往往没有（或有最低限度的）策展，掩盖了多个问题，包括虐待的正常化或歧视的编码[5，10，27]。因此，一旦图像字幕模型在评估基准上取得了出色的性能，NIC人类13451D问题出现了：这些模型对每个人都安全和公平吗？我们不是第一个提出这个问题的国家。图像字幕已被证明会再现性别[8]和种族[46]偏见。[8]的开创性工作证明了图像字幕中存在社会偏见，为继续研究这一问题埋下了不可或缺的种子，我们认为这一问题远未得到解决。我们认为，图像说明中的社会偏见的量化和评价是一个尚未解决的问题。到目前为止，各种度量已经被应用于人类和模型生成的字幕中的社会偏见的不同方面，例如不同子组的表示是否平衡[8，46]或者受保护的属性1值（例如，[31]这是正确的预测。然而，在第3节中，我们表明，目前的指标可能是不够的，因为他们只考虑了偏见永久化的影响在一定程度上。为了识别和纠正图像captioning中的偏差，在第4节中，我们提出了一种简单但有效的方法，不仅可以测量训练captioning模型的偏差程度，还可以测量模型相对于训练数据集引入的偏差程度。这个简单的度量标准使我们能够从性别和种族偏见的角度对图像字幕模型进行全面分析（第5节），并带来意想不到的启示：[8]中旨在减少性别偏见的性别均衡器实际上在考虑整个字幕的语义时放大了性别偏见。这一发现更加突出了一个标准的、统一的度量标准来衡量图像字幕中的偏见和偏见放大的必要性，因为如果没有一个工具来量化系统表现出多少偏见以及这种偏见来自哪里，解决社会不平等的努力将是无效的。最后，我们在第6节中分析了拟议指标的局限性，并在第7节中总结了主要发现。2. 相关工作计算机视觉中的社会偏见大规模计算机视觉数据集中的偏见问题首先由Tor ralba和Efros在[33]中提出每个数据集呈现同一对象的不同版本（例如，Caltech [17]中的汽车倾向于出现在侧面，而ImageNet [12]主要是赛车类型），影响了跨数据集的泛化。但直到最近，计算机视觉的社会偏见才被正式调查。在Buolamwini和Gebru [7]的开创性工作中，对商业人脸识别应用进行了跨亚组的检查，证明性能根据每个人的性别和种族而不同，特别是1受保护的属性是指人口统计变量（年龄，性别，种族，等）模型不应该用来产生输出。把肤色较深的女人分类错误Similarly，Zhaoet al. [47]不仅表明MSCOCO [25]中的图像偏向于某一性别，而且动作和物体识别模型在预测中放大了这种偏见。随着对公平性的兴趣增加，已经提出了多种减轻数据集偏倚影响的方法[19，32，39，40，47]。衡量社会偏见社会偏见是一个具有多层次复杂性的问题。即使在平衡的数据集上，模型仍然存在偏见[40]，表明社会刻板印象发生在图像的最深层次。这使得人工识别和注释偏差不可行。因此，对抗和减轻偏见的第一步是量化问题。偏置量化指标已被引入图像分类。Zhao等人[47]基于对象和受保护属性的同现定义的偏差; Wanget al.[40]在预测受保护的属性时依赖于分类器的准确性; Wang和Russakovsky [38]通过包括方向性来扩展偏差的定义。此外，REVISE [37]和CIFAR-10 S [41]分别简化了识别数据集和模型偏差的任务。然而，这些解决方案不能直接应用于图像字幕，因此必须开发特定的方法。图像字幕中的社会偏见在图像字幕[2，36，43，45]中，模型的输入是图像，输出是自然语言句子。数据形式的这种二元性使得识别偏见特别具有挑战性，因为它可以编码在图像和/或语言中。Burnset al的原创作品。[8]表明MSCOCO [9]中的字幕存在性别不平衡，并提出了一个均衡器来迫使字幕模型基于视觉证据产生性别词。最近，Zhaoet al. [46]从几个角度研究了种族偏见，包括视觉表征，情感分析和语义学。然而，这些研究中的每一项都使用不同的评价方案和偏倚定义，缺乏标准的衡量标准。为了填补这一空白，我们提出了一个评估指标，不仅可以衡量模型的偏倚程度，还可以衡量它相对于原始（偏倚）数据集的放大程度。3. 公平性度量使用不同的方法估计图像字幕中的偏差：受保护属性的预测如何平衡[8]，注意力地图与分割注释的重叠[8]，或不同受保护属性之间的准确性差异[46]。在本节中，我们将彻底研究现有的公平性评估指标及其应用于图像字幕时的缺点。记法让表示具有样本（I，y，a）的特定视觉数据集的训练分割，其中I是图像，y是特定任务的地面实况注释，a∈ A是集合A中的受保护属性。 确认/测试划分为13452DΣ·LH{|∈ D}∈ ADHLΣ新闻报表示为“。我们假设有一个模型M，它从图像中做出与此任务相关联的预测y，即， y=M（I）。 对于图像字幕，我们定义一个地面实况字幕y =（y1，y2，. -是的- 是的，yn）作为n个令牌的序列。3.1. 图像字幕性能差异在图像字幕中显示偏见的自然策略是受保护属性的子组之间的性能差异，在准确性[8，31，46]，比率[8]或情感分析[46]方面。根据人口统计群体量化不同行为的存在对于证明模型中存在偏见至关重要，但这不足以进行更深入的分析，因为它没有提供关于偏见来自何处以及偏见是否被模型放大的因此，将性能差异与其他公平性度量一起使用是一个很好的做法属性错误分类另一个常见的指标是检查在生成的标题中是否正确预测了受保护的属性[8，31]。这是假设定语可以在句子中被清楚地识别出来，这可能是某些定语的情况，例如，年龄（一个年轻人，一个孩子）或性别（一个女人，一个男人），但不适用于其他人，例如，肤色这是至关重要的，原因有两个：1）即使在标题中没有明确提到该属性，也可能通过使用不同的语言来描述不同的人口统计群体而产生偏见; 2）它只考虑受保护属性的预测，忽略了句子的其余部分，这些部分也可能表现出偏见。比机会率，y被认为是有偏差的：SC=11[f（y）=a]，（1）|H|y∈H其中，1[ ]是指示符函数，当作为参数提供的语句保持为真时，该指示符函数给出1，否则给出0。通常是从数据集的“测试/验证分割”中的图像生成的所有字幕的集合，即，=M（I）I′。与前面的方法不同，此度量考虑标题的完整上下文。然而，一个主要缺点是，当产生的数据存在偏差时，没有确定造成偏差的无论偏差来自模型还是来自训练数据，以及偏差是否被放大，都无法得出结论。3.2. 偏置放大度量有一系列的指标，旨在衡量偏见放大视觉识别任务。我们描述它们，并分析应用于字幕时面临的挑战。偏置放大在[47]中提出，它通过同现量化模型预测y_i=M（I）和受保护属性a之间的隐式相关性，以及这些相关性在模型预测中还是在训练数据中更突出。令表示g iv en任务i中的可能注释l的集合。例如，y和y=inca和cba表示a和l的同现次数，在y和y上计数，关于y。偏压在[8]中介绍的，它测量了当产生一个保护属性字在标题中，例如， 妇女或Wb=cc~（二）男人，都位于图像区域，关于受保护属性的信息，即，那个人这个指标量化了w是否是gener的重要任务，其中，c是c或cb，并且b是b或bbb，关于v。然后，偏置放大被定义为：基于人的视觉证据，或者相反，基于视觉背景，这已被证明是其中之一BA=1|L|阿拉伯联合酋长国-bal ）×1个单位>1个 。（三）|A|图像字幕模型中的偏差来源但有三个缺点：1）它需要一个受保护的属性词的短列表，以及每个图像的人物分割图，这可能并不总是可用的; 2）它假设可以从模型中生成视觉解释，这可能并不总是如此;以及3）它没有考虑句子其余部分中的潜在偏见，这（如我们在第5节中所示）是偏见的另一个关键来源。最后，Zhaoet al. [46]介绍了使用句子分类器来分析种族偏见。其理由是，如果分类器可以区分字幕中的子组，则字幕包含偏差。形式上，令f表示预测受保护的A中属性训练超过D，即，a=f（y），来自标题y在任意标题集合H中。如果准确度更高a∈Aal13453a∈A，l∈LBA>0意味着偏差被模型放大，否则被减轻。该度量对于分类任务（诸如动作或图像识别）是有用的，对于该分类任务，可以容易地计数同现。然而，它的一个主要缺点是忽略了受保护属性在数据集中可能是不平衡的，例如， 在MSCOCO图像中[25]有2个。男性比女性多25人，这导致大多数对象与男性相关。为了解决这个问题和其他问题，Wang和Russakovsky [38]提出了一种称为定向偏置放大的扩展。另一种量化偏差放大的方法是泄漏[40]，它依赖于分类器的存在来预测受保护的属性a。对于样本（I，y，a），D与地面实况注释y，分类器f预测13454∈ALDDSVVVVD{|∈D}S|s a ay或y∈M（I）的属性a。使用这个，泄漏可以正式定义为，A在弹钢琴。哪里泄漏=λM−λD，（4）请注意，这一步并不总是必要的，因为一些受保护的属性没有明确显示在标题。标题分类我们依赖于句子分类器fsto estimate估计societal社会bias偏见in captions字幕.具体来说，我们编码1λD=|D| （y∈，a）∈D1[f（y）=a]（5）每个掩蔽字幕y′4与自然语言编码器E一起获得句子嵌入e，如e=E（y′）。然后，我们将e输入到句子分类器f中，其目的是1ΣλM=1[f（y）=a]（6）S从y′预测受保护的属性a|（I，a）∈D|(I,a) ∈D正泄漏指示M放大相对于训练数据的偏差，并且以其它方式减轻偏差。挑战将上述指标直接应用于图像字幕呈现出两个主要挑战。让我们首先假设，对于图像字幕，词汇表中的词的集合对应于等式（1）中的注释的集合。（3）在多标签设置下。第一个挑战是这些度量没有考虑单词的语义：例如， 在句子a woman is cooking和a womanis mak- ing dinner中，标记cooking和making dinner将被认为是不同的注释l。第二个挑战是他们没有考虑每个单词/任务上下文：例如，令牌烹饪将被视为在人正在烹饪和人没有烹饪的情况下的相同任务。4. 用于图像字幕我们提出了一个度量标准来专门测量图像字幕模型中的偏差放大，借用了句子分类[46]和泄漏[40]的一些想法。我们的方法，名为LIC，建立在以下假设之上：假设1. 在一组无偏见的标题中，在如何代表人口群体之间不应该存在差异。标题屏蔽如第3节中所讨论的，对于某些受保护的属性（例如，年龄和性别），在字幕中可以明确地使用特定的词汇。例如，将gender视为二进制2保护属性a，a∈ S=fs（E（y′））（7）E和F是在训练分割中学习的。根据假设1，在无偏数据集中，分类器fs不应该在y'中找到足够的线索来预测正确的属性a。因此，如果D上的经验概率p（a=a）大于机会率，则D被认为是有偏的。偏倚放大偏倚放大被定义为模型相对于训练集中现有偏倚引入的偏倚。 为了测量偏置放大，我们量化了生成的电容集合中的偏置之间的差异，关于训练分割中的原始字幕中的偏差。该定义的一个问题，特别是图像字幕，是注释和预测中使用的词汇表的差异，这是由于1）人类生成的字幕通常具有更丰富的词汇表，2）模型因此，天真地应用Eq。（4）对图像加字幕可以低估偏差放大。为了缓解这个问题，我们将噪声引入到原始的人类字幕中，直到两组（模型生成的和人类生成的）词汇形式上，让ann和pre分别表示为训练集中的所有注释和预测识别的词汇表。对于注释y =（y1，. - 是的- 是的 ，yN），其中yn是y中的第n个单词，我们用特殊的词汇表外标记替换ann中的所有yn，而不是pre中的所有y n，以获得扰动的注释yn，我们在{ y}上训练分类器f。LIC指标置信度得分s是一个中间值-值为{female， male}。 句子分类器判别结果一F，即，一个女孩在弹钢琴，直接显示字幕的受保护属性值，即，女性为了避免明确提到受保护的属性值，我们通过屏蔽与该属性相关的单词来预处理标题3.原句转换为被掩蔽句2由于在以前的工作中注释的可用性，在本文中，我们使用性别的二元简化，承认它不是a=f（y）=ar gmaxs（y），（8）并且它可以被解释为受保护属性a的后验概率p（a_i=a_y_i），并且可以给出关于有多少y_i偏向于a的额外提示。换句话说，不仅成功预测率对确定偏差13455很重要，而且预测的置信度也很重要。这同样适用于使用{ y}训练的sa和fs。我们把这个包容性，应在今后的工作中加以处理。3每个受保护的属性都需要一个与属性相关的单词列表。4如果没有字幕屏蔽，y′=y。13456∈D→→sa（y）|（y ∈，a）∈D|(y⋆,a)∈D[f （y）=a]信息到泄漏图像字幕度量（LIC），通过一只棕色的泰迪熊（0.90）偏向得分00.2 0.4 0.6 0.8LIC1Σ⋆⋆ 1⋆ ⋆（九）从粉红色的碗里吃东西（0.87）一我穿着白色的连衣裙拿着一把伞（0.86）LICM1为|D|（y）sa（y）1[f（y）=a]，（10）在雪地上滑雪的人（0.50）在公共汽车前过马路（0.50）因此LIC最终计算为LIC = LIC M− LIC D。（十一）其中，如果LIC>0，则认为模型放大了偏差。 我们称之为偏见评分。5. 实验数据实验在MSCOCO字幕数据集的子集上进行[9]。具体而言，我们使用来自[46]的具有二元性别和种族注释的图像：性别为女性和男性，肤色较深和较浅的种族。5.在验证集中，有人物实例的图片有注释，性别图片有10780张，种族图片有10969张为了训练分类器，我们使用每个受保护属性值具有相等数量的图像的平衡分割，导致在性别上训练5，966和测试662，并且在种族上训练1，972和测试220其他指标在MSCOCO值集上报告。我们使用LIC和LICD报告偏倚，（9）和LICM在Eq.（十）、对于性别偏倚，我们还使用比率[8]、误差[8]、偏倚扩增（BA）[47]和定向偏倚扩增[38]。使用MSCOCO对象计算对象性别方向（DBAG）和性别对象方向（DBAO）的方向偏差放大[25]。对于肤色，我们只使用LIC、LICD和LICM，因为在字幕中没有可以直接与种族相关联的单词根据标准度量BLEU-4 [26]、CIDEr [35]、METEOR [13]和ROUGE-L [24]报告了准确性。模 型 我 们 研 究 了 以 下 模 型 产 生 的 标 题 偏 差 ： NIC[36]，SAT [43]，FC [28]，Att2in [28]，UpDn [2]、Transformer [34]、OSCAR [23]、NIC+ [8]和NIC+扩展器[8]。 NIC、SAT、FC、Att 2 in和UpDn是经典的CNN [22]编码器-LSTM [18]解码器模型。Transformer和OSCAR是基于Transformer的[34]模型，是当前图像字幕的最新技术。NIC+是[8]中NIC的重新实现，在整个MSCOCO上进行了培训，并在由男性/女性图像组成的MSCOCO-Bias集上进行了NIC+验证器是具有性别偏见缓解损失的NIC+，5同样，由于在以前的工作中注释的可用性，我们a穿着西装打着领带看着镜头（0.02）a踩着滑板跳到空中（0.01）棒球运动员在球场上投球（0.01）图2. OSCAR生成的字幕的性别偏见评分。掩蔽的字幕用LSTM编码，并输入性别分类器。偏见分数与典型的性别刻板印象相关。这迫使模型仅基于人的区域来预测性别词请注意，作者提供的大多数预先训练的字幕模型都是在Karpathy分裂[20]上训练的，该分裂使用训练和验证分裂进行训练。由于val集是我们评估的一部分，我们只在MSCOCO train split上重新训练所有模型。对于掩蔽，我们用特殊的令牌gender>替换预定义的性别相关的词6。我们不屏蔽任何种族预测的单词，因为种族通常不会在标题中明确提及。LIC分类器基于自然语言编码器之上的几个完全连接的对于编码器，我们使用LSTM [18]作为我们的主要结果。我们不使用预先计算的单词嵌入来初始化LSTM，因为它们包含偏差[6，14]。为了完整起见，我们还报告了使用BERT时的LIC [15]，尽管它也被证明存在偏差[3，4]，并且它可能会影响我们的度量。BERT 被 微 调 （ BERT-ft ） 或 按 原 样 使 用 （ BERT-pre）。分类器使用随机初始化训练10次，结果以平均值和标准差报告。5.1. LIC分析我们定性分析的LIC度量，以验证它是否符合人类的直觉。我们使用OSCAR在测试集中生成标题，屏蔽与性别相关的单词，并使用LSTM分类器对屏蔽的标题进行编码，以计算性别属性的LIC偏差得分s_a，如第4节所述。然后，我们手动检查标题及其相关的偏差分数。图2显示了具有较高、中等和较低偏差分数的生成字幕。分配给每个帽子的偏见得分与典型的性别刻板印象相匹配。比如说对种族和肤色使用二进制简化我们承认这些属性在现实中要复杂得多6与性别有关的词汇清单见附录。男性女性D=13457一L15105NICSATFCAtt2inUpDnTransformerOSCARNIC+扩展器0词汇量200 400 600 80015105NICSATFCAtt2inUpDnTransformerOSCARNIC+扩展器0202530 3540BLEU-4表1.几种图像字幕模型的性别偏见和准确性。红色/绿色表示每个指标的最差/最好分数。对于偏差，越低越好。准确性，越高越好。BA、DBAG和DBAO的比例为100。无偏模型为LICM = 25和LIC = 0。性别偏见↓准确度↑型号LICLICM比率 错误BADBAGDBAOBLEU-4 苹果酒 流星 ROUGE-LNIC [36]3.743.22.4714.34.253.050.0921.364.820.746.6[第四十三话]5.144.42.067.31.143.530.1532.698.325.854.1[28]第二十八话8.646.42.0710.14.013.850.2830.598.024.753.5[第28话]7.645.92.064.10.323.600.2933.2105.026.155.6UpDn [2]9.048.02.153.72.783.610.2836.5117.027.757.5Transformer [34]8.748.42.183.61.223.250.1232.3105.327.055.1奥斯卡奖[23]9.248.52.061.41.523.180.1940.4134.029.559.5NIC+[8]7.246.72.8912.96.072.080.1727.484.423.650.3NIC+扩展器[8]11.851.31.917.75.083.050.2027.483.023.450.2图3. LIC与词汇量（左）和BLEU-4评分（右）。每个气泡的大小表示BLEU-4分数（左）或词汇量（右）。分数倾向于随着词汇量的增加而降低，但随着BLEU-4模型的更准确而增加，而NIC+解码器[8]被视为离群值。虚线表示趋势，R2= 0. 153（左）和R2= 0。156（右）。从上数第三个说明相反，最下面的标题“此外，当检查偏见分数在0.5左右的标题时，我们发现描述往往更加中立，没有强烈的这支持了在LIC计算中包括s和sa的重要性（9）和（10）。5.2. 性别偏见我们评估了不同字幕模式的LIC方面的性别偏见，以及现有的偏见指标的适应对于BA，我们在标题中使用前1000个常用词，而对于DBAG和DBAO，我们使用MSCOCO对象[25]。更多细节可在附录中找到。结果示于表1中。我们还展示了字幕质量（根据词汇和BLEU-4评分）与LIC之间的关系，见图3。最后，我们比较了使用不同语言编码器时的LIC，表2.主要意见概述如下。观察1.1. 所有的模型都放大了性别偏见。在表1中，所有模型的LIC M评分都远高于无偏模型（LIC M=25），最低评分为43。2为NIC。当查看LIC（其指示模型相对于人类字幕引入了多少偏差）时，所有模型也表现出偏差放大，再次NIC具有最低分数。NIC也是在准确性方面表现最差的模型，这提供了关于准确性和偏倚放大之间关系的一些提示（观察结果1.4）。观察1.2. 偏倚指标不一致。正如第3节所分析的，不同的指标衡量偏倚的不同方面，因此预计会产生不同的结果，这可能会导致不同的结论。尽管如此，除了比率（表1）之外，所有模型在所有指标中都显示出偏倚。然而，偏差与模型之间的关系呈现出不同的例如，NIC+ Reagent在LIC中显示最大偏差（观察结果1.3），而Att2in在DBAO中具有最大偏差。观察1.3. 与基线相比，NIC+干扰器增加了性别偏倚。最令人惊讶的发现之一是，即使NIC+扩展器成功-LICLIC13458表2.根据LIC，LICM和LICD的几种图像字幕模型的性别偏见评分。标题是使用LSTM、BERT-ft或BERT-pre的编码器。无偏模型为LICM= 25和LIC= 0。这表明LIC在不同的语言模型中是一致的。LSTM BERT-ft BERT-pre型号LICMLICDLICMLICDLICMLICDLICNIC [36] 43.2± 1.5 39.5± 0.93.747.2± 2.3 48.0± 1.2-0.843.2± 1.3 41.3± 0.91.9SAT [43] 44.4± 1.4 39.3± 1.0 5.1 48.0± 1.1 47.7± 1.4 0.3 44.4± 1.5 41.5± 0.8 2.9FC [28] 46.4± 1.2 37.8± 0.9 8.6 48.7± 1.9 45.8± 1.3 2.9 46.8± 1.4 40.4± 0.8 6.4Att2in [28] 45.9± 1.1 38.3± 1.0 7.6 47.8± 2.0 46.7± 1.4 1.1 45.9± 1.2 40.9± 0.9 5.0UpDn [2] 48.0± 1.3 39.0± 0.9 9.0 52.0± 1.0 47.3± 1.4 4.7 48.5± 1.0 41.5± 0.9 7.0Transformer[34]48.4±0.8 39.7± 0.98.754.1±1.2 48.2± 1.15.947.7±1.2 42.2± 0.95.5OSCAR [23] 48.5± 1.5 39.3± 0.8 9.2 52.5± 1.8 47.6± 1.2 4.9 48.1± 1.1 41.1± 0.9 7.0NIC+[8] 46.7± 1.2 39.5± 0.6 7.2 49.5± 1.4 47.7± 1.5 1.8 46.4± 1.2 41.0± 0.9 5.4NIC+扩展器[8] 51.30.7 39.5± 0.911.854.8± 1.1 47.5± 1.47.3 49.5± 0.7 40.9± 0.98.6与基线NIC+相比，完全缓解了性别错误分类（错误：12。9→ 7。表1中的7），实际上表3.根据LIC、LIC M和LIC D的种族偏倚评分。标题没有被屏蔽，并且是LSTM编码器。增加性别放大偏差+4。6在LIC。这根据图像正确预测性别的努力可能产生不希望的副作用如图1所示，NIC+识别器倾向于生成与该性别强烈相关的单词，即使它们不在图像中。DBAO上的结果支持这一推理，揭示了给定性别，NIC+ mixizer产生与该性别相关的词。观察1.4. LIC随着BLEU-4的增加而增加，随着词汇量的增加而减少。图3显示词汇量越大，LIC得分越低这意味着标题中使用的词语的多样性对于抑制性别偏见很重要。就精度而言，我们发现BLEU-4越高，偏差往往越大。换句话说，即使更好的模型产生更好的帽子，它们也依赖于可以识别性别的编码线索。观察1.5. LIC对编码器是鲁棒的。在表2中，我们探索了在使用LSTM、BERT-ft和BERT-pre编码器时，语言模型的选择如何影响LIC、LICM和LICD尽管BERT本身也存在性别偏见，但这一倾向在三种语言模型中均得到了体现：NIC表现出的性别偏见最少，而NIC+Quarterizer表现出的性别偏见最多。5.3. 种族偏见当使用LSTM作为编码器时，种族偏见的结果在表3中报告，导致以下观察结果。观察2.1. 所有的模型都放大了种族偏见。与性别一样，所有模型都表现出LIC>0。模型之间的种族偏差的大小差异小于性别的情况（模型之间的LIC的标准差为2。4个性别和1。3、种族）。这表明，种族偏见被放大，而不太考虑模型的结构或性能。换句话说，由于所有模型都表现出类似的偏差放大趋势，型号LICMLICDLICNIC [36] 33.3± 1.9 27.6± 1.0 5.7SAT [43] 31.3± 2.3 26.8± 0.94.5FC [28] 33.6± 1.0 26.0± 0.8 7.6Att2 in [28] 35.2± 2.3 26.6± 0.98.6UpDn [2] 34.4± 2.1 26.6± 0.9 7.8Transformer [34]33.3±2.3 27.2±0.8 6.1OSCAR [23] 32.9± 1.8 27.0± 1.0 5.9NIC+[8] 34.9± 1.5 27.3± 1.2 7.6NIC+稳压器[8]34.5±2.8 27.3±0.8 7.2阳离子，问题可能不仅在于模型结构本身，而且在于如何训练图像字幕模型。观察2.2. 种族偏见不像性别偏见那样明显。表3中的LICM评分始终小于表2。所有模型的LIC M评分的平均值为47。性别为0，33。7为种族，这更接近于随机机会。观察2.3. 相对于基线，NIC+干扰素不会增加种族偏倚。 与性别偏见不同，NIC+验证器并不比NIC+呈现更多的种族偏见放大。这表明，强制模型关注人类区域以预测正确的性别不会对其他受保护的属性产生负面影响。5.4. 视觉和语言对偏见的由于图像字幕是一个涉及视觉和语言信息的多模态任务，图像、语言或两者都可能引入偏见。接下来，我们通过分析使用部分掩蔽图像时的行为来研究哪种模态对性别偏见的贡献最大。我们定义了三个潜在的偏见来源：1）对象13459骑自行车在街上（0.69）原始a在人行道上玩滑板（0.87）w/o对象无人员- ---骑自行车在街上（0.65）一个人在城市街道上玩滑板（0.78）w/o两者表4.性别偏见的结果与部分掩盖的图像。无偏显示相对于无偏模型的差异（LICM = 25。0），对于非设盲病例，为原始样本。女性男性型号图片LICM无偏简体中文[43]第四十四章 . 4± 1。四加十九。400w/o对象42. 9± 1。六加十七。九比一5不包括人39. 1± 1。四加十四。1-5。337 . woboth 2± 0。八加十二。2-7。2[23]第48话. 5± 1。5+ 23。200w/o对象46. 2± 1。3+ 21。2-2 3不包括人39. 7± 1。3+ 14。7-8 839 . woboth 0± 1。5+ 14。0-9 5与性别相关[38，40，47]，2）图像中人的性别[8]，以及3）语言模型本身[3，6]。为了检查它们，我们相应地屏蔽了图像的不同部分：1）根据BA度量与性别表现出最高相关性的对象，2）人，3）相关对象和人。我们分析了SAT [43]和OSCAR [23]，分别作为经典和最先进字幕的实验的细节可以在附录中找到LICM评分见表4。观察3.1. 物体对性别偏见的贡献是最小的。结果表明，无客体遮蔽并不能显著减轻生成字幕中的性别偏见。与原始LIC M相比，得分仅降低1。5、SAT，2。3对于OSCAR，图像中的物体对最终字幕中的性别偏见影响不大。观察3.2. 人对性别偏见的贡献高于物。结果w/operson表明，通过掩盖图像中的人，我们可以减少偏见显着相比，当隐藏对象时，这表明与人类相关的区域是图像内容中性别偏见的主要来源。观察3.3. 语言模式是性别偏见的一个主要来源。结果w/o都表明，即使将性别相关的对象和人从图像中删除，生成的字幕也有很大的偏差（Unbias为+12。SAT2，+14。OSCAR为0）。这表明语言模型本身产生了很大一部分偏见。为了减少它，仅仅关注视觉内容可能是不够的，还应该关注语言模型。图4显示了当图像被部分掩盖时生成的字幕6. 限制在第3节中，我们分析了多个公平性度量及其应用于图像字幕时的局限性我们支持-图4.当图像被部分掩盖时，生成标题和偏差分数。当物体（自行车）和人（人）被掩蔽时，偏差分数不会降低。提出了LIC，旨在克服这些局限性，统一评价图像字幕的社会偏见。然而，低收入国家也有一些局限性。LIC需要使用受保护的属性对图像进行注释。注释不仅成本高，而且可能存在问题。例如，种族的分类是有争议的，并且与每个注释者的文化价值观密切相关[21]，而性别通常被分类为二元女性，男性属性，缺乏与非二元和其他性别现实的包容性。训练一个分类器需要被训练来对受保护的属性进行预测。模型的初始化为了减轻这种随机效应，我们建议报告多次运行的结果。预先存在的偏置如果使用预先训练的偏置模型，单词嵌入或BERT。为了避免这种情况，我们建议尽可能多的随机权重初始化。7. 结论本文提出了LIC，一个量化的社会偏见放大图像字幕。LIC是建立在这样一个想法之上的，即在字幕中描述的人口统计学分组之间不应该有差异一个分类器的存在，预测性别和肤色从生成的字幕比从人类的字幕更准确，表明图像字幕模型放大性别和种族偏见。令人惊讶的是，为偏见缓解而设计的性别均衡器呈现出最高的性别偏见放大，突出了对图像字幕的偏见放大度量的需要。致 谢 工 作 部 分 得 到 JST CREST Grant No. JPMJCR20D3、 JST FOREST Grant No. JPMJFR 216O和 日本JSPS KAKENHI的支持。13460引用[1] MohsanAlvi，Andr e wZisserm an n，andChristo f ferNella˚k e r. 视而不见：从深度神经网络嵌入中显式去除偏差和在ECCV研讨会，2018年。1[2] Peter Anderson，Xiaodong He，Chris Buehler，DamienTeney，Mark Johnson，Stephen Gould，and Lei Zhang.自下而上和自上而下关注图像字幕和视觉问答。在CVPR，2018年。二五六七[3] Emily M Bender ， Timnit Gebru ， Angelina McMillan-Major，and Shmargaret Shmitchell.关于随机鹦鹉的危险：语言模型可以太大吗？在ACM FAccT，2021年。五、八[4] Rishabh Bhardwaj，Navonil Majumder，and Soujanya.调查BERT中的性别偏见。认知计算，2021年。5[5] Abeba Birhane ， Vinay Uday Prabhu ， 和 EmmanuelKahem-bwe. 多 模 态 数 据 集 ： 厌 女 症 ， 色 情 ， 和malignant刻板印象。arXiv预印本arXiv：2110.01963，2021。1[6] Tolga Bolukbasi ， Kai-Wei Chang ， James Y Zou ，Venkatesh Saligrama，and Adam T Kalai.男人对于计算机程序员就像女人对于家庭主妇一样？去偏置字嵌入。NeurIPS，2016。五、八[7] Joy Buolamwini和Timnit Gebru。性别阴影：商业性别分类中的部门间准确性差异.在ACM FAccT，2018年。一、二[8] 凯莉·伯恩斯，丽莎·安妮·亨德里克斯，凯特·萨恩科，特雷弗·达雷尔和安娜·罗尔巴赫。妇女也滑雪：克服偏见的字幕模式.在ECCV，2018。一二三五六七八[9] XinleiChen ， Hao Fang ， Tsung-Yi Lin ， RamakrishnaVedan-tam ， SaurabhGupta ， PiotrDol la´r ， andCL awrenceZitnick. Microsoft COCO标题：数据收集和评估服务器。arXiv预印本arXiv：1504.00325，2015。一、二、五[10] 凯特·克劳福德和特雷弗·佩格伦挖掘人工智能：机器学习训练集的政治。https：//excavating.ai ， 2019 年 。 访 问 时 间 ： 2021-11-12。1[11] Terrance de Vries，Ishan Misra，Changhan Wang，andLau- rens van der Maaten.物体识别对每个人都有效吗？在CVPR研讨会，2019年。1[12] Jia Deng，Wei Dong，Richard Socher，Li-Jia Li，KaiLi，and