Edge-Labeling图神经网络在小样本学习中的应用解析

"这篇笔记是关于论文《Edge-Labeling Graph Neural Network for Few-shot Learning》的学习，主要关注模型的数学解析部分。" 在 Few-shot learning 领域，该论文提出了一种名为 Edge-Labeling Graph Neural Network (EL-GNN) 的新方法，它利用图神经网络处理少量标注样本的问题。在每个任务（episode）中，支持集 \(S\) 作为有限的训练集，而查询集 \(Q\) 则用于测试模型的泛化能力。数据集中的每个样本由 \(x_i\) 表示，对应的标签为 \(y_i\)，取值范围为 \(C\)，即所有可能类别的集合，并且训练集和测试集的类别互不重叠，即 \(C_{train} \cap C_{test} = \phi\)。 构建的图 \(G\) 包括节点集 \(V\)、边集 \(E\) 和任务 \(T\)。每条边 \(e_{ij}\) 连接两个节点 \(V_i\) 和 \(V_j\)，并且带有边特征 \(e_{ijd}\)，这些特征表示节点间类内的关系强度和类间的差异，且被归一化到 \([0,1]^2\) 区间内。为了更好地处理这些边特征，论文中引入了归一化的边特征 \(\tilde{e}_{ijd}\)。 模型的关键组成部分包括： 1. **节点特征变换网络 (Node Feature Transformation Network, f^l_v)**: 这个网络负责将原始节点特征 \(v\) 转换为更适合图卷积的形式。 2. **度量网络 (Metric Network, fe;f^;_e)**: 度量网络用于计算节点对之间的相似度，通过比较经过节点特征变换后的特征，来估计节点 \(V_i\) 和 \(V_j\) 是否属于同一类别。 模型的目标是预测边 \(e_{ij}\) 上的标签 \(y^*_{ij}\)，即判断连接的两个节点是否属于同一类别。这通常通过一个激活函数如 sigmoid 或 softmax 实现，得到预测概率 \(y^*_{ij}\)。损失函数可能会基于这些预测概率和实际的边标签进行设计，例如交叉熵损失。 EL-GNN 的核心思想是通过建模节点间的边缘关系来捕获类间和类内的结构信息，从而在有限的标注样本下，提高模型的泛化性能。这种方法对于处理新的、未知类别的问题特别有用，因为它能够学习到类别间的通用关系模式。在 Few-shot 学习中，这种能力至关重要，因为模型必须能够在仅见过几个例子的情况下，有效地学习新类别。