GEMS：基于生成模型的图的场景扩展

PDF格式 | 3.45MB | 更新于2025-01-16 | 47 浏览量 | 举报

GEMS：使用生成模型的图的场景扩展

Rishi Agarwal酒店，伊斯坦布

尔：马上预订

; 2* Tirupati Saketh Chandra

酒店，伊斯坦布尔

：马上预

订;

Kuldeep Kulkarni酒店，伊斯坦布尔

：马上预订

; 5

* VishwaVinay

酒店，伊斯坦布尔：马上预订

;

美国斯坦福大学

印度孟买

IIT

美国查珀尔希尔

美国卡内基梅隆大

学

印度

Adobe Research

rishia@stanford.edutsaketh@iitb.ac.inadobe.comamahapat@a

ndrew.cmu.eduvaidehi@cs.unc.edu

摘要

基于图像检索的应用程序需要在中间空间中进行编

辑和关联，这些中间空间表示对象及其关系等高级概

念，而不是

RGB

图像或语义标签映射等密集的像素级

表示我们专注于这样的表示，场景图，并提出了一种

新的场景扩展任务，我们丰富了输入种子图添加新的

节点（对象）和相应的

rela- tionships

。为此，我们制

定场景图扩展作为一个顺序的预测任务，涉及多个

iterations

的第一次预测一个新的节点，然后预测的一

组关系之间的新预测的节点和以前选择的节点在图

中。我们提出并评估了一个排序策略，保留节点之间

的聚类模式。此外，我们利用外部知识来训练我们的

图生成模型，从而实现节点预测的更大泛化。由于现

有的最大平均差异（

MMD

）为基础的度量标准的效率

低下的图生成问题，我们设计了新的指标，全面评估

不同方面的节点和关系的预测。我们进行了广泛的实

验，视觉基因组和

VRD

数据集，以评估扩展的场景图

使用标准的

MMD

为基础的指标，以及我们提出的指

标。我们观察到，与

GraphRNN

等基线方法相比，我们

的方法

GEMS

生成的图更好地代表了场景图的真实分

布。

介绍

有创造力的摄影师有能力想象一组概念-物体和物体

间的关系-在照片中捕捉然而，他们花了昂贵的时间到

达的种类

前四位作者对这项工作的贡献相当，并且是在作者在Adobe

Research工作时完成的。

这些场景包含了他们希望出现在照片中的一系列概念

因此，期望向他们授权包含这些种子概念的各种各样

的多样且丰富的合理场景的推荐我们希望设计算法，

该算法可以被利用来向用户提供对场景的有效推荐，

该场景对种子概念进行子分类，同时确保它们比种子

表示它们自己更丰富。

为此，我们以场景图的形式表达种子概念 [41，

19]，并将生成更完整场景的任务转换为生成包含输入

种子图的合理新颖场景图的具体来说，我们提出了一

个新的

场景扩展

问题-给定一个种子图，我们是否可以

通过添加对象来增强它，以便新的图对应于丰富的场

景，同时满足以下要求：（a）建议的添加尊重在训练

集中观察到的对象同现模式;（b）增强的场景图相对于

现有的图集合是新颖的;以及（c）可以为同一种子生

成不同的图扩展。

分子图无条件生成的生成模型空间[12，33，17，

32，1]近年来受到广泛关注。具体来说，已被证明适

用于分子图生成的然而，在这些作品中考虑的图的复

杂性往往在不同类型的节点和关系边的数量方面，

比场景图小几个数量级。此外，这些方法隐式地要求

要连接的图，这不一定是我们处理的场景图的特征。

此外，场景图往往比分子图更多样化。由于这些原

因，上面提到的被提出用于图生成的自回归模型不能

原样用于我们处理的场景图扩展

157

158

受此启发，我们设计了一种新的自回归图扩展模

型，GEMS-场景图扩展模型，从[42]中汲取灵感，可

以生成各种长度的图（与[8，33，2]不同）。我们首

先将场景图扁平化为序列，其中序列中的每个节点通

过与序列中先前节点的关系连接我们提出的排序方法

试图确保场景图中连接的对象组在结果序列中发生接

近，这确保模型学习到基序的近似概念[44]。图扩展

然后变成顺序预测问题，其中节点生成先于边生成。

由于场景图中边类型的不平衡，我们使用类重新平衡

损失，通过避免退化边标签的预测来帮助产生更高质

量的图扩展此外，我们将来自语言领域的外部知识，

以更好地推广节点预测，以鼓励生成一组不同的相关

节点预测。然后，使用图合成任务的一组标准度量对

我们提出的方法进行彻底评估（如[10]中所述）。现

有的指标不提供vide场景图扩展质量的整体视图，我

们提出了新的指标，专门为这里考虑的任务量身定制

我们在下面总结了我们的主要贡献。

•

我们提出了一种新的场景扩展任务，该任务处理

通过添加使得增强的图对应于丰富的场景。

•

我们设计了一个自回归模型，GEMS，用于连续

生成场景图，以依赖的方式分层生成节点和边缘

•

我们提出了一种新的图排序方法（感知BFS），

旨在捕捉对象的同现，我们随后说明了这种方法

的好处。

•

为了规避传统评估方法的缺点，我们提出了额外

的指标来评估生成的场景图，以捕捉预测的边缘

和节点的

相干性

通过对Visual Genome [21]和VRD [25]数据集的广泛

实验，我们表明我们的模型在大多数指标上都优于基

于GraphRNN的基线模型，并且与[9]竞争，后者引入

了我们的互补思想。

相关工作

从以下两个方面介绍相关文献：（1）场景图提取

（2）图的生成模型。

2.1.

场景图提取

被称为场景图

生成

[34，26]的标准任务涉及构建一

个图，其中节点作为对象及其属性，边是它们之间的

关系。这个任务涉及到从图像输入中生成一个图，在

本文的其余部分中称为“提取”。概括地说，场景图提

取方法分为两类。首先，在本文中被称为内部知识，

是指其中被利用以仅从感兴趣的图像产生图的特征的

作品[22，5，45，20]。在高级别上，场景图提取通过

检测图像内的对象及其区域来操作，随后是标记对象

之间的连接的关系标识模型子组件。随后的工作试图

解决由不经常发生的关系的长尾引起的训练数据的偏

倚性质所引起的问题[7，35]。场景图提取中的第二条

工作线利用外部知识，以词嵌入的形式[25]将对象和

关系类名作为语言域的先验。结合图像内部信息和外

部知识的场景图提取方法显示出更高的准确性[43，

13]。

我们的工作不同于这两行的作品，因为我们不能访

问输入图像来提取视觉特征。也就是说，我们的输入

是以场景图的形式，而不能访问图像模态。因此，与

第二条工作线类似，我们利用外部知识我们调用图的

最先进的生成模型（接下来描述）来扩展给定的种子

图。

2.2.

图的生成模型

在许多应用程序设置中，图表是数据的强大而自然

的表示。而且，与许多其他领域一样，在一组观察图

上训练的生成模型最近受到了广泛关注[14]。大多数

现有的工作考虑分子图，其中从训练模型中采样允许

产生新分子，这是药物设计的核心目标。变分自动编

码器（VAE）是这类模型中的一种流行方法[12，33，

17，32]，生成式广告网络（GAN）也是如此[1]。在

本文中，我们考虑从图像中导出的场景图，其中稀疏

性[6]需要特别解决，因为大多数对象-对象对之间没有

关系。此外，场景图往往是多样化的，这是它们与其

他几个领域的图共享的特征[24，42]。

与我们的工作最接近的是 SceneGraphGen [9] 和

VarScene [37]，它们都引入了一些互补的想法。我们

的工作主要有三个方面：（1）

159

E {E

}

我们定义了一个自定义的排序函数，它试图确保场景

图中连接的对象组在序列中靠近。（2）与最近从图像

中提取场景图的工作类似，我们展示了如何使用关于

对象-对象相似性的外部信息来引导模型朝向更连贯的

场景图。（

）我们详尽的实验评估还提出了新的度量

场景图扩展任务。

问题描述和模型

我们给出了一组观察到的场景图

{

}

，其中每个

对应于一个图像，并且表示为

由

（

，

）

一组顶点

∈

和

di-

随机顺序的子图序列。在级联之前跨子图进行随机化

旨在引入相对于输入种子图的鲁棒性。

如前所述，（G）可以被认为是一个序列，其中行i

保存关于

及其与序列中先前出现的对象的关系的信息

（在

之前的行中）。对于图

，我们用简写

表示序

列中第

个

节点的所有信息，

表示在它之前出现的所

有节点和边。类似地，

包含关于入射在第

个节点上

的边的信息，并且

，

表示

和直到

的所有节点

之

间的边

，即

k< j

。

现在可以为序列定义可能性：

列边，标号边E

<${

（u

，

v）

，

∈

，

u v

，

∈

}

P（S（G））

P（v

| S

< i

）× P（E

< i

，

）

（

）

E 连接V中的对象对。这里，V是

在场景图集合中发现的不同对象，

E是唯一关系的集合。我们的目标是

（

| S

，

）

（

，

| S

，

）

（

）

一个图

∈

G且

e p

将它扩张成

，使得

是一个

J I

的子图博士一翼的灵感来自

[23

，

42]

我们

con-

将图转化为序列，并将图扩展的问题也就是说，在节

点序为π

∈Π

的情况下，图G被展平为一个序列

3.2.分层节点和边预测

图序列的扩展是分步骤进行的，首先

预测一个新的

节点

，然后预测

与序列中前一个节点之间的一组关

系。在当前页面中

S（

）

（

，

）

}

，其中

∈

索引

第

个节点

per，

both

（

< i

)

和

（E

）

、

< i

，

）

是mod-

由π诱导的序列。

，

jj< i

是一个包含节点

的边信

息的列表，其中每个节点

在序列中都在它之前。

由于场景图是有向的，

我们将每个

，

（

，

）

设

为一对关系

每个方向一个

其中

，

表示关系

从

到

。

3.1.可感知的BFS

能够训练图生成模型的关键是将图G转换为序列

（G）的过程的作用。 GraphRNN [42]使用广度优先

策略（BFS），而GraphGen [10]使用深度优先遍历。

这两个选项都要求输入图完全连接。在我们的上下文

中，输入场景图通常包含断开的组件，这些组件对应

于自然场景，其中图像的一部分可能与其他部分中的

对象我们已经观察到，人工地将给定场景图转换为全

连接图的策略（例如，借助于伪节点和边）加剧了由

于对象和关系的偏斜分布而引起的问题。此外，正如

我们可能直观地预期的那样，一些对象集在观察到的

图的数据集中为了鼓励模型更好地处理对象

分别由递归神经网络进行提取，分别由

节点

和

边缘

给

出

，相应的参数

在不同的步骤中

共享

。预测

定义

为：

node

（

−

，

node

（

））

（

）

也就是说，序列中第i

个

节点的预测取决于

-1

和第

个节点的隐藏状态

。相应地，新的边缘

对（

，

）

的预测通过下式来确定

：

，

edg

（

，

edg

（

，

））

（

）

，

edg

（

，

edg

（

，

））

（

）

注意，在我们的公式中，我们首先

预测e

，

，然后预测

，

。对于边缘预测，我们可以

将

和

作为输入

到

边缘

中，

因为两个节点之间的边缘

的存在

以及其标签比图的其余部分更依赖于局部上下

文（节点）。

对象和关系从多项式分布中采样，使我

们的模型成为依赖多项式

序列模型（而不是

[42]

中的

伯努利序列）。我们的训练目标是

在节点和边缘预

测上计算的损失的组合：

一起发生，我们设计了一种方法，确保在同一个集群

中的对象在序列中是接近的对于任何给定的场景图，

我们首先确定它的最大con.

（G）=

∈

节点

（

，

）+

j i

;（

，

）∈

边缘

（

，

）

连通子图我们得到的BFS序列的每个子图与一个随机

选择的起始节点。场景图的序列是通过连接

;（

，

）

∈

edg

（

，

）

（六

剩余12页未读，继续阅读

cpongm

粉丝: 6

GEMS：基于生成模型的图的场景扩展

generator-gems:Yeoman 生成器包括 gulp、express、mongoose 和 socket.io

GEMS-Synth：混合生成合成器

Graphics Gems (Vol.3)

sevenLang:https

zy699.git.io:个人博客

GPU Gems 1-3系列高清文字版图书下载

devise-nobrainer适配器：Ruby设计工具

Diffit: 简化PostgreSQL表更改跟踪方案

Rails应用开发：探索平房的构建过程

Overkyll Jekyll主题：打造快速轻巧的网站

最新资源