基于池的主动学习框架在文件分类和深度学习中的应用

9583用于主动学习的Razvan Carnivau1，Binod Bhattarai1和Tae-Kyun Kim1，21英国伦敦帝国理工学院2韩国KAIST{r.carnau18，b.bhattarai，tk.kim}@ imperial.ac.uk摘要我们提出了一种新的基于池的主动学习框架，构建在一个顺序图卷积网络（GCN）。来自数据池的每个图像特征表示图中的一个节点，并且边编码它们的相似性。利用少量随机采样的图像作为种子标记的示例，我们学习图的参数，以通过最小化二进制交叉熵损失来区分标记的节点和未标记的节点。GCN执行节点之间的消息传递操作，因此，诱导强关联节点的类似表示。我们利用GCN的这些特性来选择与标记的例子充分不同的未标记的例子为此，我们利用图节点嵌入及其置信度得分，并采用CoreSet和基于不确定性的方法等采样我们将新查询节点的标签从未标记翻转为标记，重新训练学习器以优化下游任务和图以最小化其修改后的目标。我们在一个固定的范围内继续这个过程。 我们在6个不同的基准上评估我们的方法：4个真实图像分类，1个基于深度的手部姿势估计和1个合成RGB图像分类数据集。我们的方法优于几个有竞争力的基线，如VAAL，学习损失，CoreSet，并在多个应用程序上达到新的1. 介绍深度学习在几个计算机视觉任务中取得了巨大的进步 ， 例 如 图 像 分 类 [15 ， 22] 和 3D 手 部 姿 势 估 计（HPE）[26，41，25]。由于强大的计算基础设施和大规模数据集的可用性，这数据注释是一项耗时的任务，需要专家，而且成本高昂。这对某些特定领域（如机器人或医学图像分析）更具挑战性。此外，在优化深度神经网络架构的同时，关于代表性的图1：示意图概述了拟议的管道。阶段I：训练学习者从可用的注释中最小化下游任务的目标，阶段II：构建一个图，其中从学习者中提取的图像表示为顶点，它们的相似性为边缘，阶段III：应用GCN层以最小化标记和未标记之间的二进制交叉熵，阶段IV：应用不确定性采样以选择未标记的示例来查询它们的标签，阶段V：注释选择，弹出标记示例的数量并重复循环。的数据[4]。为了克服这些问题，主动学习[10，20]已成功部署，以有效地选择最有意义的样本。从本质上讲，任何主动学习（AL）框架都有三个不同的组成部分。这些组件是学习器、采样器和注释器。简而言之，学习者是一个被训练以最小化目标任务的目标的模型。采样器的目的是在固定的预算范围内选择有代表性的未标记的例子，以提供最高的最后，注释器标记查询的数据以用于学习者再训练。根据学习者和取样者之间的关系，自动学习框架可以分为两大类：任务依赖型和任务不可知型。任务依赖性是指采样器是专门为学习者的特定任务而设计的。大多数以前的作品在主动学习[8，10，1，38，6，11]是标记/未标记图像注释新样本查询示例推理火车Oracle五阶段一期学习者无标号特征标记特征第四阶段不确定性抽样二期GCN层0.210.90.93;0.110.880.89III期邻接矩阵未标记/标记置信度顺序GCN主动学习9584任务依赖性。换句话说，采样函数取决于学习器的目标。这种设计限制了模型对于特定类型的任务变得最优，同时又受到其可扩展性问题的影响。最近的一些作品，如VAAL [33]和学习损失[42]解决了这个问题。VAAL训练变分自动编码器（VAE），该变分自动编码器学习潜在空间，以便以对抗方式更好类似地，学习损失引入了一个单独的损失预测模块，与学习器一起训练。这些方法的主要缺点是缺乏利用标记图像和未标记图像之间的相关性的机制。此外，VAAL没有办法在学习者和采样器之间进行通信图卷积网络（GCN）[18，5]能够通过消息传递操作在节点之间共享信息。在AL领域，GCN [6，11，1，38]的应用也逐渐得到优先考虑。然而，这些方法仅适用于特定类型的 数 据 集 ， 即 图 结 构 数 据 ， 如 Cora ， CiteSeer 和PubMed [40]。在这项工作中，我们正在探索图形结构数据之外的图像域。为了解决上述问题，我们提出了一个顺序的GCN主动学习的任务不可知的方式。图1示出了所提出的方法的流水线在图中，阶段I实现了学习器。这是一个经过训练的模型，用于最小化下游任务的目标。第二阶段，第三阶段和第四阶段组成我们的采样器，我们部署GCN，并将采样技术应用于图诱导的节点嵌入及其置信度得分。最后，在阶段V中，所选择的未标记的示例被发送用于注释。在初始阶段，学习器使用少量种子标记的示例进行训练。我们从学习器参数中提取标记和未标记图像的特征在第二阶段，我们构建了一个图，其中特征用于初始化图的节点，相似性表示边缘。与VAAL[33]不同，通过从学习器中提取的特征对节点进行初始化，这为采样器继承不确定性创造了机会。该图通过GCN层（阶段III），并学习图的参数以识别标记与未标记示例的节点。采样器的这个我们对节点之间进行消息传递操作的图进行卷积，任何图像的图嵌入主要取决于初始表示和相关的邻域节点。因此，具有相似的语义和邻域结构的图像最终会导致接近的表示，这将在从标记的示例中识别足够不同的未标记的示例中发挥关键作用。卷积后的节点被分类为标记的或未标记的。我们根据置信度得分，应用不确定性抽样方法（第四阶段），并发送选定的示例以查询它们的标签（第五阶段）。我 们 称 这 种 采 样 方 法 为 UncertainGCN 。 图 2 模 拟 了UncertaintGCN采样技术。此外，我们通过引入潜在空间距离来调整CoreSet [31]下的高阶图节点信息以用于新原则上，CoreSet [31]在学习器特征空间上的核心集之间使用风险最小化，而我们在GCN特征上使用此操作。我们将这种采样技术称为CoreGCN。我们的方法具有明显的优势，GCN的上述优势通过定量和定性实验得到证明（见第4节）。如图1所示，从阶段I到阶段V的遍历完成了一个循环。在下一次迭代中，我们将注释示例的标签从未标记翻转为标记，并重新训练整个框架。我们在四个具有挑战性的真实图像分类基准、一个用于3D HPE的基于深度的数据集和一个合成图像分类基准上评估了我们的采样器。我们比较了几个有竞争力的采样基线和现有的最先进的方法，包括CoreSet，VAAL和学习损失。从定量和定性的比较，我们提出的框架是更准确的比现有的方法。2. 相关作品基于模型的方法。最近，在主动学习范式中探索了一种新的方法，其中来自学习者的分离模型被训练用于选择最具代表性的数据的子集。我们的方法就是基于这个范畴。第一种方法[42]附加了一个损失学习模块，以便可以离线预测未标记样本的损失。在[33]中，另一个任务不可知的解决方案部署了变分自动编码器（VAE）来将可用数据映射到潜在空间上。因此，一个分类器以对抗的方式被训练来区分标记和未标记。这种方法的优点是利用的例子之间的相对关系，通过在GCN中的消息传递操作共享信息。GCN在主动学习中的作用GCN [18]开辟了新的主动学习方法，这些方法已在[1，38，6，11]中成功与这些方法相比，我们的AP-proach有区别的学习者和采样器。它使我们的方法与任务无关，并且还受益于前面提到的基于模型的方法。此外，这些方法都不是以顺序的方式训练的。[38]提出了一种基于K-Medoids聚类的特征传播算法。文[1]将PageRank [27]算法推广到主动学习问题，提出了一种区域不确定性算法类似地，[6]将节点不确定性与图中心性相9585MM选择新的样本。在[11]中引入了一种更复杂的算法，其中具有多个武装匪徒的增强方案在[6]中然而，这些作品[6，11，38]基于图学习器的假设推导出它们的选择机制。这并不能使他们直接与我们的建议进行比较，其中GCN单独进行不同的培训与具有可比较的参数复杂度的其它网络相比。任何其他型号（如VGG-11[32]）也可以损失函数L（x，y;θ）在训练过程期间被最小化。我们的分类器的目标函数是交叉-熵定义如下：学习者的目标函数基于不确定性的方法早期的技术采样未标记的数据已探索通过uncer，C （x，y; θ）=−1NlNli=1 yilog（f（xi，yi;θ）），（1）卷积神经网络（CNN）的污点探索。在[9]中引入的贝叶斯近似通过蒙特卡罗丢弃（MC丢弃）适应架构的变分推理产生有意义的因此，它被成功地整合到主动学习中[10，16，19，28]。随着GPU计算能力的提高基于几何的方法。虽然已经有其中Nl是标记的训练示例的数量，f（xi，yi;θ）是模型M的后验概率。回归：为了解决3D HPE，我们部署了一个众所周知的DeepPrior[26]架构作为模型M。与前一种情况不同，我们回归了3D手部关节坐标从手的深度图像。因此，模型的目标函数如等式2中那样变化。在等式中，J是构造手部姿势的关节数。研究通过表示探索数据空间学习模型（[20，35，14]），第一个工作应用于CNN作为一个主动学习问题，核心集，r（x，y;θ）=1海里1美元NlJΣyi，j−f（xi，j，yi，j;θ）<$2，已在[31]中提出关键原则取决于i=1j=1（二）通过几何定义的界限最小化标记集和小的未标记子集的损失之间的差异此外，我们在实验中表示了这一基线，3. 方法在本节中，我们将详细描述所提出的方法。 首先，我们简要介绍了基于池的主动学习场景下的图像分类和回归任务在第二部分中，我们讨论了我们的两个 新 的 采 样 方 法 ： Uncertainly GCN 和 CoreGCN 。UncertaintGCN基于标准AL方法不确定性采样[31]，该方法跟踪设计的图形节点的置信度得分。此外，CoreGCN通过顺序训练的GCN网络在诱导的图嵌入3.1. 学习者在图1中，阶段I描述了学习者。它的目标是最小化下游任务的目标。我们已经考虑了分类和回归任务。因此，这个学习者的目标随着我们正在处理的任务的性质而变化。分类：对于分类任务，学习器是CNN图像分类器。我们部署了一个深度模型M，它将一组输入x∈X映射到一个具有参数θ的输出y ∈ Y的判别空间。我们采用ResNet-18 [15]作为CNN模型，因为它的性能相对较高为了使我们的方法适应任何其他类型的任务，我们只需要修改学习器。我们的管道的其余部分保持不变，我们将在以下章节中详细讨论3.2. 采样器从图1转到第二阶段，我们采用基于池的场景进行主动学习。由于其在最近的方法中的成功部署，这已经成为深度学习系统的标准[2，31，33，42]。在这种情况下，从未标记的数据集DU的池中，我们随机选择用于标记D0DU的初始批次。不失一般性，在主动学习研究中，主要目标是优化采样器该范围可以简单地定义为n个主动学习阶段，如下所示：minminA（LM（x，y;θ））|D0···DnDU）。（三）nL M我们的目标是尽量减少阶段的数量，以便更少的样本（x，y）将需要注释。对于抽样方法A，我们在模型的区分性理解和未标记数据空间这是量化的性能评估指标和跟踪在每个查询阶段。3.2.1序贯GCN选择过程在图1所示的从第二阶段到第四阶段的采样过程中，我们的贡献依赖于顺序训练GCNLL9586GD0D1D2D3第一选择阶段第二选择阶段第三选择阶段所有选择的图像- 标签样品- 选定采样- 未标记样品边缘图2：该图模拟了拟议的Uncertainly GCN采样器在前三个选择阶段的采样行为。我们运行了一个玩具实验，仅从ICVL [34] Hand Pose数据集中选取了100个示例。每个节点由从学习器中提取的特征初始化，边缘捕获它们的关系。每个同心圆代表一个强连接节点的集群这里，在我们的情况下，具有相似视点的一组图像在同心圆中。考虑两个标记的例子作为种子标记的例子在最中心的圆，在第一个选择阶段，我们的算法选择样本从另一个同心圆，这是出的分布比选择其余的例子从最里面的圆。类似地，在第二阶段，我们的采样器选择位于另一个外部同心圆中的图像，这些图像与之前选择的图像完全不同。在每个主动学习阶段，使用从学习器中提取的标记和未标记图像如前所述，与VAAL [33]类似，我们认为这种方法是基于模型的，需要单独的架构进行采样。我们引入图的动机主要是在样本（节点）之间的学习器特征空间上传播继承的不确定性。因此，节点之间的消息传递在图上应用卷积之后引入节点的高阶表示最后，我们的GCN将作为一个二元分类器，决定哪些图像被注释。图卷积网络。的关键部件为了避免GCN [18]中的特征过度平滑，我们采用了两层架构。 第一GCN层可以被描述为函数f1（A，V;Θ1）：其中h是隐藏单元的数量，Θ1是其参数应用整流线性单元激活[24]在第一层之后，以最大化特征贡献。然而，为了将节点映射为有标签或无标签，最后一层通过sigmoid函数激活因此，fG的输出是具有0和1之间的值的N我们可以进一步将整个网络函数定义为：f G= σ（Θ（ReLU（Θ A）A）。（五）一个图，G是节点，也称为顶点V和21edgesE.边缘捕捉了节点并编码在邻接矩阵A中。 图的节点v∈R（m×N）对图像特定信息进行编码，并使用从为了满足这一目标，我们的损失函数将被定义为：勒纳这里，N表示标记和未标记的示例的总数，而m表示标记和未标记的示例的总数。LG（V，A;Θ，Θ）=−11 2 NNllog（fG（V，A;Θ1，Θ2）i）-每个节点的特征的数量在我们应用了l2或-li=1通过对特征的分解，A的初始元素作为v的每个样本之间的向量积得到，即（Si，j=v∈v，{i，j}∈N）。 它传播了相似性-λ−N −N中国li=Nl+1log（1−fG（V，A;Θ1，Θ2）i），i j （6）在节点之间，同时落入与以下相同的度量空间学习者的目标。此外，我们从S中减去单位矩阵I，然后通过乘以其次数D来归一化。最后，我们将自连接添加回去，以便最接近的相关性是与节点本身。这可以简单地归纳为：A=D−1（S−I）+I。（四）其中λ用作标记和未标记交叉熵之间的加权因子UncertaintGCN：GCN上的不确定性采样。一旦GCN的培训完成，我们就开始选择。 从剩余的未标记样本DU，我们可以得出它们的置信度分数f G（vi; DU）作为GCN的输出。与不确定性采样类似，我们建议D;0D0D0D1D1D29587用我们的方法UncertainGCN选择未标记图像，置信度取决于变量的保证金。当针对新子集DL查询固定数量的b点时，我们应用以下等式：DL= DL最大值|smargin− f G（vi; DU）|.（七）i=1···b为了选择最不确定的未标记样本，s边缘应接近0。以这种方式，所选择的图像很难区分，类似于对抗训练场景[12]。只要满足等式3，就重复该阶段。算法1使用Uncertainly GCN采样方法总结GCN顺序训练。算法1UncertaintGCN主动学习算法1：给定：初始标记集合D0，未标记集合DU和查询预算b2：初始化（xL，yL）、（xU）标记和未标记图像3：重复4：θ←f（xL，yL）训练学习者5：V=[vL，vU]←f（xL<$xU; θ）<$提取标记和未标记6：根据等式4计算邻接矩阵A7：Θ←fG（V，A）训练GCN8：对于i=1→b，9：DL= DL最大值|smargin−f G（v; DU）|⊲根据标签置信度10：结束11：标签yU给定新的DL十二： 直到满足等式3CoreGCN：GCN上的CoreSet采样。为了整合标记和未标记图形表示之间的几何信息，我们在采样阶段采用了CoreSet技术与基于不确定性的方法相比，这显示出更好的性能[31]显示了未标记样本的损失与标记样本的损失之间的差异如何与[37]中所述的k中心在这种方法中，采样基于从训练的分类器中提取的特征之间的l2相反，我们将利用我们的GCN架构-通过在图的第一层之后表示的特征上应用CoreSet方法来为此，CoreSet方法受益于循环依赖性。采样方法适用于我们的机制，用于每个b数据点，公式如下：其中δ是标记节点v i的图形特征与未标记节点v j的图形特征之间的欧几里德距离。我们将此方法定义为CoreGCN。最后，考虑到基于模型的机制，我们声称我们的采样器是任务不可知的，只要学习器产生一种形式的特征表示。在下面的部分中，我们将实验证明我们的方法的性能定量和定性。4. 实验我们进行了实验，子采样RGB和灰度的真实图像的分类，深度真实图像的回归和RGB合成生成的分类任务。我们在下面详细描述它们。4.1. 分类数据集和实验设置。我们在四个具有挑战性的图像分类基准上评估了所提出的AL方法。其中包括三个RGB图 像 数 据 集 ， CIFAR-10[21] ， CIFAR-100[21] 和SVHN[13]，和灰度数据集FashionMNIST[39]。最初，对于每个基准测试，我们将整个训练集视为未标记池（DU）。作为冷启动，我们随机抽取一个小子集并查询它们的标签DL。对于CIFAR-10、SVHN和FashionMNIST，标记示例的种子大小而对于CIFAR-100，我们选择2,000，因为它们的类数量相对较多（100 vs 10）。我们进行了10个周期的实验。 在每个阶段，10级基准的预算固定为1，000张图像，CIFAR-100的预算固定为2，000张，100级基准。类似于[2，42]的现有作品，我们将我们的选择应用于随机选择的子集未标记图像的DSDU这避免了在所有数据集中常见的冗余出现[4]。大小对于所有实验，将DS的值实施细节。ResNet-18 [15]是学习者的最佳选择，因为它具有相对较高的准确性和更好的训练稳定性。在训练学习器的过程中，我们将批量大小设置为128。我们使用随机梯度下降（SGD），权重衰减为5×10−4，动量为0的情况。9 .第九条。在每个选择阶段，我们训练模型200时代 我们将初始学习率设置为0.1，在160个历元之后，它被放大了10倍。我们在所有实验中使用相同的超参数对于采样器，GCN有2层，我们将丢弃率设置为0.3，以避免过度平滑[43]。一个节点的初始表示的维数是1024，它被投影到512。目标函数是每个节点的二进制交叉熵。我们设定λ=1。2给更大的未标记的子集更重要。 我们选择Adam [17]优化器，11权重衰减为5 × 10−4，学习率为10−3。 我们DL=DLargmaxminδ（fG（A，vi;Θ1），fG（A，vj;Θ1）），用IM的特征初始化图的节点。i∈DUj∈DL（八）从学习者身上提取的年龄。我们设置smargin9588[31]第42话：我的世界，我的世界第八节][3]）]CN（我们的随机不确定性GVAAL[33随机不确定性GCNVAAL学习损失CoreSetCoreGCN支持准确度（5次试验的平均值）CIFAR10上的测试精度90在FashionMNIST9290808870866084508210002000300040005000600070008000900010000标记样品10002000300040005000600070008000900010000标记图像CIFAR-100上的测试精度70SVHN上的测试精度956090508540803075202000400060008000100001200014000160001800020000标记图像10002000300040005000600070008000900010000标记图像图3：CIFAR-10（顶部）和CIFAR-100（底部）的定量比较（放大视图）到0.1。对于实证比较，我们建议读者参考补充材料。比较方法和评估指标：我们将我们的方法与我们在这里描述的广泛的基线进行比较。随机抽样是默认情况下最常用的抽样技术。[31]第31话学习真实空间是迄今为止表现最好的几何技术之一，它是我们的另一个竞争基准。VAAL [33]和学习损失[42]是来自任务不可知框架的两个最先进的基线。最后，我们还将其与基于GCN的框架的代表性基准线-Prop [38]这种方法是为静态固定图可用的情况而设计的。为了近似它们的性能，我们从学习器中提取的特征和特征之间的相似性然后我们计算这个图上的k-中心点距离。为了定量评估，我们报告了测试集上5次试验的平均准确度。定量比较。 我们使用每个数据集上的所有可用训练示例分别训练ResNet-18学习器，并报告测试集上的性能我们的实现在CIFAR-10上获得了93.09%，在CIFAR-100 上 获 得 了 73.02% ， 在 FashionMNIST 上 获 得 了93.74%，在SVHN上获得了95.35%这与官方实施报告的结果相当[15]。这些结果也被设定为主动学习框架的上限性能。图3（左）显示了图4：FashionMNIST（顶部）和SVHN（底部）的定量比较（放大视图）Uncertainly GCN和CoreGCN与CIFAR-10上的其他五种现有方法。实线表示平均准确度，褪色表示标准偏差。这两种抽样方法在每个选择阶段几乎都优于其他任何一种比较方法。CoreSet是我们方法最接近的竞争对手。在选择10，000个标记的示例后，CoreGCN达到90.7%，这是文献中报道的最高性能[42，33]。同样，图3（右）显示了CIFAR-100的准确度比较。我们观察到与CIFAR-10几乎相似的趋势。在只有40%的训练数据的情况下，我们通过应用CoreGCN实现了69%的准确率。这种性能仅比使用整个数据集进行训练与CIFAR- 10相比原因是VAE可能倾向于更大的查询批大小（>1，000）。当主动学习的目的是在探索和开发之间找到一个良好的平衡时，这会详尽地注释大量数据，因为我们限制了预算和批次大小。我们进一步继续我们的评估，通过将我们的方法应用于FashionMNIST和SVHN的图像分类。在图4中，左侧和右侧的图表分别显示了FashionMNIST和SVHN的比较。在前面的情况下，我们的方法实现在最小妈妈类似的性能，现有的方法或优于他们。通过对这些数据集的研究，我们随机不确定性GCNVAAL学习损失CoreSetCoreGCN支持不确定性GCNVAAL学习损失CoreSetCoreGCN支持Dom跑准确度（5次试验的平均值）准确度（5次试验的平均值）准确度（5次试验的平均值）9589CIFAR-10-消融研究的测试准确度908580757065图5：CoreSet和UncertainGCN在CIFAR-10上的探索比较（放大视图）60555010002000300040005000600070008000900010000标记图像图7：消融研究（请放大）图6：CoreSet和CoreGCN在CIFAR-10上的探索比较（放大视图）观察到的一致的适度性能的CIPRPROP [38]。这可能是因为它不能像我们这样概括非结构化的数据定性比较。为了进一步分析我们的方法的抽样行为，我们与现有的方法进行定性比较。我们选择CoreSet是因为它在经验评估中具有更好的性能，与其他基线相比。我们在CIFAR-10上进行了比较。对于这两种算法，我们在第一和第四选择阶段从学习者中生成标记和未标记提取特征的t-SNE [36]图。为了从早期开始就对抽样结果进行有区别的比较，我们选择保持3个阶段的差异图5，t-SNE图，比较了CoreSet和UncertaintGCN的采样率。在第一采样阶段，所选择的样本分布是均匀的，这对于两种技术是相似的。在不失一般性的情况下，用少量种子注释示例训练的学习器是次优的，并且因此标记和未标记的特征都不是足够有区别的。这使得两种方法的采样行为接近随机。在第四选择阶段，学习者变得相对更具辨别力。我们可以从代表CIFAR-10每个类别的聚类中注意到这一点。现在，这些特征是鲁棒的，可以捕获我们在邻接矩阵中编码的标记和未标记示例之间的关系。GCN上的消息传递操作通过诱导类似的表示来利用标记和未标记示例之间的相关性。这使得我们的方法能够针对分布外的未标记样本和特征难以区分的区域。我们可以在Uncertainly GCN的第四选择阶段的图上观察到这种特征同样，在图6中，我们继续CoreGCN采集方法的定性研究。CoreGCN避免了人 口 过 多 的 地 区 ， 同 时 跟 踪 未 标 记 的 数 据 。 与UncertaintGCN相比，CoreGCN的几何信息在所有选择阶段都保持稀疏性。因此，它保留了通过不确定区域传递的消息，而CoreSet保持采样更接近聚类中心。与CoreSet相比，这在分布内和分布外选择之间带来了更强的平衡，并提供了更多的样本。消融研究为了进一步推动GCN提案，我们对采样器架构进行消融研究。在图7中，仍然是在CIFAR-10上，我们用一个2 Dense层的UncertaintDiscriminator替换了GCN。这在早期选择阶段过度拟合尽管具有2层的GCN[18]是事实上的最佳设计选择，但我们也报告了具有1层（阻碍长距离传播）和3层（过平滑）的性能。然而，为了进一步量化我们的邻接矩阵与特征相关性的重要性，我们评估了具有识别性（不确定GCN Eye）并填充有1s矩阵（不确定GCN Ones）的GCN采样器。最后，关于两个重要超参数的研究我们还微调这些参数，以获得最佳的解决方案。4.2. 回归数据集和实验设置：我们进一步将我们的方法应用于来自深度图像的3D手部姿势估计基准的具有挑战性的数据集ICVL [34]在训练集中包含16，004个手部深度图像，测试集包含1，600个。在每个选择阶段，类似于图像分类的实验设置，我们随机预采样10%的整个训练样本DS，并在此数据子集上应用AL方法。在这个预采样的图像子集中，我们应用我们的采样器来选择最有影响力的100个例子。实现细节：3D HPE是一个回归问题，涉及估计手的3D坐标UncertainGCNUncertainGCN OnesUncertainGCN EyeUncertainDiscriminatorUncertainGCN 3 LayersN 1层certainGC联合国准确度（5次试验的平均值）9590ICVL手部数据集181716151413121002003004005006007008009001000带注释的图像RaFD上的测试精度908886848280780 1000 2000 3000 4000合成图像图8：3D手部姿势估计的定量比较（越低越好）深 度 图 像 中 的 关 节 因 此 ， 我 们 用 常 用 的DeepPrior[26]代替ResNet-18我们流水线中的采样器和其他组件与图像分类任务中的这是我们的采样方法与任务无关的另一个证据 对于所有实验，我们使用Adam[17] optimizer训练3DHPE，学习率为10−3。批量大小为128.作为预处理，我们应用了一个预先训练好的U-Net[30]。模型检测手，中心，裁剪和调整大小的图像的尺寸为128x128。比较方法和评价指标：我们从基线谱的两端比较方法一 种 是 随 机 抽 样 ， 这 是 默 认 机 制 。 另 一 个 是CoreSet[31]，表现从以前的实验基线我们报告的per-percent平均从5个不同的试验和标准差的均方误差。定量评价：图8显示了ICVL数据集的性能比较。在图中，我们可以观察到，我们的采样方法CoreGCN和UncertainGCN都优于CoreSet和随机采样从第二个选择阶段开始。我们的方法的误差下降的斜率急剧下降，从第二个到第五个选择阶段的不确定性GCN和直到第六个CoreGCN。当我们得到的芽非常有限时，这使我们比其他方法有优势.在选择阶段结束时，CoreGCN给出了12.3 mm的最小误差。在性能方面，其次是Uncertainly GCN。4.3. 合成数据的子采样。与之前的子采样真实图像实验不同，我们应用我们的方法选择从RaFD [23]上训练的StarGAN [7]中获得的合成示例，用于面部表情的翻译尽管生成对抗网络[12]正在缩小真实数据和合成数据之间的差距[29]，但合成图像及其相关标签仍然不适合训练下游判别模型。最近的研究[3]建议对图9：子采样合成数据的性能比较，以增加表达分类的真实数据在增加到真实数据之前的合成数据。因此，我们应用我们的算法来得到一个子集的质量和影响力的合成的例子。实验设置与我们在前一节中描述的图像分类相似。学习者和采样者保持不变。唯一的区别在于池图像的性质。而不是真实的数据，我们有StarGAN合成图像。图9显示了随机选择与我们的Uncertainly GCN方法在5个试验中的性能比较。从实验中，我们可以观察到，我们的方法实现了更高的精度与更小的方差比常用的随机抽样。从第四选择阶段开始，两种方法的平均准确度都下降。只有一小部分合成示例对训练模型有用[3]。在第四阶段之后，我们强制采样器选择更多的示例，这些示例可能最终选择噪声数据。5. 结论提出了一种基于图卷积网络的图像分类和回归的主动学习方法经过系统和深入的实验，我们采用的采样技术UncertainGCN和CoreGCN在6个基准上产生了最先进的结果。我们已经表明，通过定性分布，我们的选择函数最大限度地提高了数据空间内的信息性。我们的采样机制的设计允许集成到其他学习任务。此外，该方法使得能够在该方向上进一步研究，其中优化的选择标准可以与GCN采样器组合。确认这项工作得到了华为技术有限公司和EPSRC计划资助FACER 2 VM（EP/N 007743/1）的部分支持。随机不确定性GCN平均关节误差[mm]（5次试验的平均值）准确度（5次试验的平均值）跑DomCorUNCeSetertainGCNCoreGCN9591引用[1] 罗伊·阿贝尔和约拉姆·卢祖恩图主动学习中基于区域的查询，2019年。1906.08541v1.[2] WilliamHBeluchBcai ， AndreasNürnbe rger ， andJanMKhler Bcai.集成在图像分类中的主动学习能力。在CVPR，2018年。[3] 比诺德·巴特拉伊，白承烈，鲁梅萨·博德，金泰均。氮化镓合成数据的取样策略。在ICASSP，2020年。[4] Vighnesh Birodkar、Hossein Mobahi和Samy Bengio。图像 分 类 数 据 集 中 的 语 义 冗 余 ： 你 不 需 要 的 10% 。CoRR，2019年。[5] Michael M Bronstein，Joan Bruna，Yann LeCun，ArthurSzlam，and Pierre Vandergheynst.几何深度学习：超越欧几里得数据。IEEE信号处理杂志，2017年。[6] 蔡鸿运，郑文伟，张陈川。图嵌入的主动学习，2017年。1705.05085v1.[7] Yunjey Choi，Minje Choi，Munyoung Kim，Jung-WooHa，Sunghun Kim，and Jaegul Choo. Stargan：用于多域图像到图像翻译的统一生成对抗网络。在CVPR，2018年。[8] 科琳娜·科尔特斯和弗拉基米尔·瓦普尼克支持向量网络。机器学习，1995年。[9] 亚林·加尔和祖宾·加赫拉马尼放弃作为贝叶斯近似：表示深度学习中的模型不确定性。InICML，2016.[10] Yarin Gal，Riashat Islam，and Zoubin Ghahramani.使用图像数据进行深度贝叶斯主动学习。在ICML，2017年。[11] 李皋、洪扬、周川、吴嘉、潘世瑞、岳虎。主动判别网络表示学习。在IJCAI，2018年。[12] Ian Goodfellow ， Jean Pouget-Abadie ， Mehdi Mirza ，Bing Xu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville ， and Yoonne Bengio. 生 成 对 抗 网 。InNeurIPS，2014.[13] Ian J Goodfellow，Yaroslav Bulatov，Julian Ibarz，SachaArnoud，and Vinay Shet.使用深度卷积神经网络从街景图像中1312.6082v4.[14] Sariel Har-Peled和Akash Kushal k-中值和k-均值聚类的较小核心集。在SCG，2005年。[15] 何开明，张翔宇，任少卿，孙健。用于图像识别的深度残差学习。在CVPR，2016年。[16] NeilHoulsby ， FerencHusza'r ， ZoubinGhahramani 和MtLengyel 。 Bayesian Active Learning for Classificationand Preference Learning，2011。1112.5745v1.[17] Diederik P Kingma和Jimmy Lei Ba。ADAM：一种随机优化方法。2015年，国际会议[18] Thomas N Kipf和Max Welling。图卷积网络的半监督在ICLR，2017年。[19] Andreas Kirsch，Joost Van Amersfoort，and Yarin Gal.BatchBALD：深度贝叶斯主动学习的高效和多样的批量采集。2019年在NeurIPS[20] Aryeh Kontorovich，Sivan Sabato，and Ruth Urner.度量空间中的主动最近邻学习。InNeurIPS，2016.[21] 亚历克斯·克里热夫斯基从微小图像中学习多层特征。多伦多大学，2012年5月。[22] Alex Krizhevsky，Ilya Sutskever，and Geoffrey E Hinton.使用深度卷积神经网络进行图像网分类。InNeurIPS，2012.[23] Oliver Langner、Ron Dotsch、Gijsbert Bijlstra、DanielHJ Wigboldus、Skyler T Hawk和AD Van Knippenberg。Radboud人脸数据库的实现与验证。认知与情感，2010年。[24] Vinod Nair和Geoffrey E.辛顿修正线性单元改进受限玻尔兹曼机。ICML，2010年。[25] 马库斯·奥伯维格和文森特·莱佩蒂特Deepprior++：提高快速准确的3D手部姿势估计。在ICCV，2017年。[26] Markus Oberweger，Paul Wohlhart，and Vincent Lepetit.深入学习手部姿势估计。在CVWW，2015年。[27] Lawrence Page ， Sergey Brin ， Rajeev Motwani ， andTerry Winograd.首页>外文书>社科>社会> The PagerankCitation Ranking：Bringing Order to the Web技术报告，斯坦福信息实验室，1999年。[28] Robert Pinsler，Jonathan Gordon，Eric Nalisnick，andJos Miguel Hernani-Lobato.贝叶斯批量主动学习作为稀疏子集近似。2019年在NeurIPS[29] Suman Ravuri和Oriol Vinyals。眼见未必为实：大数据扩充的局限性。2019年，在ICLR[30] Olaf Ronneberger，Philipp Fischer，and Thomas Brox.U-net：用于生物医学图像分割的卷积网络MICCAI，2015.[31] Ozan Sener和Silvio Savarese卷积神经网络的主动学习：核心集方法。在ICLR，2018年。[32] 凯伦·西蒙尼扬和安德鲁·齐瑟曼用于大规模图像识别的非常深的卷积网络。2015年，国际会议[33] Samarth Sinha，Sayna Ebrahimi，and Trevor Darrell.变式对抗主动学习。在ICCV，2019年。[34] 唐丹航，张亨珍，阿利汗·特贾尼，金泰均。潜在回归森林：3