在样本大小上,从而限制小批量计算的
复杂度。
[8]
通过在前一
层中仅需要两个支持节点来而不是采样层,
QuanterGCN [10]
和
GraphSAINT [65]
从子图构建小批量,以避免
我们的工作与上面两条线正交,因为它没有改变
GNN
架构,
也没有引入小批量技术。相反,我们提出了一种新的方法,可以正
则 化
GNN
模 型 , 通 过 增 强 图 形
数 据 来 提 高 其 有 效 性 。
DropEdge [40]
是图形数据增强的开创性工作
。
DropEdge
假设节点
的类标签
在边缘删除后没有改变,因此需要使用领域知识。相比之
下,我们的
mixup
不需要在给定增强特征的情况下保持地面实况
标签不变,并且
通过结合
特征插值应该导致相关目标插值的先验知
识来扩展训练分布
[67]
。 我们发现,我们的
Mixup
方法提供的模型正则
化的有利特征导致更准确
的预测。
图形分类。
图分类的早期解决方案包括图核。开创性的工作
[24]
将
图分解
为小的子图,并根据
它们的成对相似性计算核函数。随后
的工作提出了各种子
图,如路径[3]和子树[44],[36]。最近,人
们 已 经 做 出 了 许 多 努 力 来 设 计 用于图分类的图 神 经 网 络
(
GNN
)
[42]
,
[32]
,
[37]
,
[19]
,
[63]
,
[69]
,
[60]
。
一些工作
提出了图池化方法来总结节点表示[60],[53],[30],[26],
[25],[17],[12]。 [29]的作者提供了局部池化和节点
注意机制
的统一视图,并研究了池化方法推广到更大和噪声图的能力。在
[9]
中,作者报告说,线性卷积滤波器后跟非线性集函数实现了有
竞争力的性能。这些工作的重点是开发更高复杂度的
GNN
结构,
以提高其拟合能力。相比之下,我们的框架与它们正交,因为我
们提出了一种新的数据增强方法,该方法通过内插所有类的图来增
强
GNN
模型,
以扩大对训练分布的支持。
数据扩充。 数据增强在训练神经网络中起着核心作用。 它对输
入数据进行操作,显著
提高了性能。例如,在图像分类中,
DA
策略(如水平翻 转、随机擦除
[70]、隐藏和 查找[46]和剪 切
[14])已被证明可以
提高性能。在
MNIST
上,跨尺度、位置和方
向的弹性变形已被应用于实现令人印象深刻的
结果[41],[11],
[45],[54]。 Mixup [67],[52]是一种用于图像分类的特别有效
的增强方法,其中神经网络在图像
及其相应标签的凸组合上进行训
练。 我们设计了用于图学习的
Mixup
方法
,为此,我们提出了两
个分支图
卷积和两个阶段的
Mixup
框架来处理图数据的不规则性
和连通性。 与为图形数据设计的现有数据增强技术
[40]
,
[57]
,
[58]
不同,这些技术要求在数据增强后地面真实标签保持不变,我
们的方法是数据集独立的,并且不需要
使用领域知识。我们的
Mixup
方法模拟了
图2:(左)通常,GNN层通过聚合其邻居和自身的表示来
更新节点的(红色)表示。(右)我们提出了双分支图卷积
来混合节点的属性和它们的拓扑。对于要混合的一对节点
(红色和蓝色),我们首先混合它们的属性。然后在每一
层,我们分别在对应于成对节点(红色和蓝色)的图拓扑的
两个分支中进行图卷积,并在下一层之前混合来自两个分支
的聚合表示。
不同类的节点或图之间的邻近关系,这使得
GNN
能够学习更好
的表示安排
3 方法
我们插入一对节点
/
图以及它们的地面真实
标签,以产生一个新
的合成样本进行训练。 为了
混合高度不规则的图拓扑,我们提出
了双分支混合图卷积(见图
2
(
b
))。此外,为了协调同一小批
量中不同节点的
Mixup
,我们设计了一个两阶段框架,该框架利
用在
Mixup
之前学习的表示(见图
11
)。
4
)。最后,我们在语义
嵌入空间中对复杂多样的图进行插值,以实现图的分类。接下
来,我们将详细讨论
用于节点和图分类的Mixup方法。
3.1 背景和动机
Mixup
在
[67]
中首次提出用于图像分类。 考虑
一对样本
x
i
,
y
i
和
x
j
,y
j
,其中x表示输入
特征,
y
表示独热类标签。 混合产生合
成
样品,如(见图1)。1)、
x=λx
i
+(1−λ)x
j
, (1)
y=λy
i
+(1−λ)y
j
, (2)
其中λ0, 1. 通过这种方式,Mixup
通过合并先验知识来扩展训
练分布,即特征的插值应该导致相关标签的插值
[67]
。
Mixup
的
实
现随机选取一个图像,然后将
其与从同一小批量中绘制的另一个
图像配对。
在我们的工作中,我们专注于图学习中的两个基本任务
:节点
和图分类,前者旨在
学习将每个节点映射到预测类标签的映射
函数
,而后者将每个图映射到标签。我们将图定义为G=,,
其中表示节点集,并且
是边的集合节点
i
的输入属性向量为x
i
,节点
i
的邻域为
我
= J i、j .图
神经网络(
GNN
)是这两种情况的最先进的
解决方案