![](https://csdnimg.cn/release/download_crawler_static/88424064/bg4.jpg)
洛杉矶Hendricks*,K.Burns*,K.Saenko,T.Darrell,
A.Rohrbach
外观混淆损失是类似的,因为当性别信息不可用时,它鼓励男性和女性类的预
测分布相似。
因为正确的理由而正确。确保模型“出于正确的原因”是 当预测肺炎患者的结局
[7])或发现潜在的数据集偏倚[33]时。 我们假设
考虑适当性别证据的模型将在新的场景中表现得更好,特别是当测试和训练时
的性别分布不同时。
最近,[28]开发了一个损失函数,将决策的解释与地面事实解释进行比较。
然而,[28]为视觉决策生成解释是一个困难而活跃的研究领域[26,30,11,
27,48,42]。而不是依赖于我们的模型在训练过程中准确地解释自己,我们验
证了我们的配方鼓励模型在测试时正确的原因是正确的。
外观描述。大多数视觉描述工作(例如,[37,8,15,39,1])专注于提高整
体句子质量,而不考虑捕获的偏差。虽然我们在这项工作中特别关注性别,但
所有在 视觉描 述数据 上训练 的字幕 模型( MSCOCO[20], Flickr 30 k[41],
MSR-VTT[38]仅举几例)都隐含
学会区分性别。然而,目前的字幕模式并没有像人类那样讨论性别,而是
放大
了
性别偏见;我们的目的是在讨论这一重要类别时生成更准确地反映人类描述的
描述。性别分类。性别分类模型经常关注面部特征[18,45,10]。相比之下,
我们主要关注的是复杂场景中的语境线索是否会在句子生成过程中偏向性别词
的产生。性别分类也在自然语言处理中进行了研究([2,40],[6])。伦理考
量。通常,性别分类被视为二元任务:数据点被标记为“男人”或“女人”。然
而,人工智能从业者,无论是在工业
2
和学术
3
设置,越来越关注性别分类系统
应该是包容性的。我们的字幕模型预测了三种性别类别:男性、女性和中性性
别(例如,人)基于视觉外观。在设计性别分类系统时,重要的是要了解标签
的来源[16]。我们使用先前收集的公开发布的数据集确定性别标签,其中注释
者描述图像[20]。重要的是,图像中的人没有被要求识别他们的性别。因此,
我们强调,我们不是在对生物性别或性别认同进行分类,而是在对外在的性别
外观进行分类。
3
均衡器:克服描述模型
均衡器基于以下直觉:如果支持特定性别决策的证据不存在于图像中,则模型
应该对要预测的性别感到困惑(由外观混淆损失项强制执行),并且如果支持
性别决策的证据存在于图像中,则模型应该对其预测充满
信心
(由自信损失项
强制执行)。为了训练我们的模型,我们不仅需要成对的图像I和句子S,而且
还需要注释掩码M,其指示在一个示例中的哪些证据
2
https://clarifai.com/blog/socially-responsible-pixels-a-look-inside-clarifais-new-demographics-recognition-model
3
https://www.media.mit.edu/projects/gender-shades/fwww.example.com