属性建模:将属性视为操作符的新视角

0 下载量 140 浏览量 更新于2024-06-20 收藏 1.23MB PDF 举报
"属性建模作为操作符的新方法" 本文探讨了一种创新的视觉属性建模方法,将属性视为操作符而非传统的与对象关联的特征。这种方法由Tushar Nagarajan和Kristen Grauman提出,他们来自德克萨斯大学奥斯汀分校和Facebook人工智能研究。传统的属性建模方式是通过学习分类器来识别对象及其相关的属性,如将"切片的"属性与"苹果"对象结合。然而,这种做法限制了模型对新属性-对象组合的理解,因为它们无法将训练中观察到的属性与对象分离。 作者提出将属性建模为操作符,这种方法可以明确地从属性伴随的对象中分解出属性,同时利用语义嵌入来表达属性操作的效果。这一新颖的正则化器有助于消除属性应用时可能产生的不期望的强烈效果。这种建模方式不仅符合属性作为语言修饰语的角色,而且能够概括出对象的不可见属性和组件。 在两个具有挑战性的数据集上,该方法显示出了对现有技术的显著改进,特别是在识别未见过的属性组合和对象组合方面。这意味着模型能够适应开放世界的环境,即使在训练期间未出现过的情况也能进行识别。这扩展了属性建模的应用范围,使其不仅适用于图像搜索、零样本学习、叙述生成或图像生成,还能处理更复杂的视觉理解任务。 属性和对象之间的区别在于,对象是物理实体,而属性是这些实体的特性。尽管如此,现有的属性识别方法往往沿用了对象识别的方法,依赖于判别模型,如卷积神经网络,从带有属性标签的图像中学习。但这种方法存在局限性,因为学习到的潜在向量可能难以捕捉到与对象独立的属性表示。 将属性建模为操作符提供了一种更为灵活和强大的表示方式,能够更好地理解和处理视觉内容中的复杂关系,尤其在面对未知属性-对象组合时表现出了良好的泛化能力。这种方法为未来的研究提供了新的视角,有望推动属性识别和视觉理解领域的发展。