主动学习构建视觉和文本数据中结构化数据的方法

31386846结构化数据苏乔伊·保罗，贾瓦杜尔·H.Bappy和Amit Roy-Chowdhury加州大学电气与计算机工程系，Riverside，CA 92521{supaul，mbappy，amitrc}@ ece.ucr.edu摘要一些研究表明，数据点之间的关系（即，上下文）来获得更好的识别性能。在本文中，我们探索了一个不同但相关的问题：如何使用这些为了实现这一目标，我们提出了一个主动学习框架，通过利用它们之间的关系来选择最佳的数据点子集进行我们从未标记的数据中构造一个图来表示底层结构，使得每个节点表示一个数据点，并且边表示它们之间的相互关系。此后，考虑到该图中的信念流，我们选择那些使图的节点的联合熵最小化的样本进行标记这导致在不损害识别性能的情况下显著减少手动标记工作我们的方法从每批流数据中根据其信息内容选择非均匀数量的样本。此外，我们的目标函数的次模属性，使其计算效率的优化。该框架在各种应用中得到了验证，包括文档分析、场景对象识别和活动识别。1. 介绍多年来，由于技术的进步，每天都会产生大量未标记的视觉和文本数据。此外，机器学习算法在人类生活中变得越来越这些算法中有很大一部分是基于监督学习的，这需要大量的数据进行标记。此外，这些模型需要随着时间的推移而更新，因为新的数据变得可用，以便动态地适应可能随时间漂移的不同类别的概念。手动标记这种连续的数据流不仅对人类来说是一项繁琐的任务主动学习[39]可以解决这个问题，以减少手动操作量标签，而不影响识别性能。主动学习减少手动标记工作的能力是由于并非所有训练样本都对构建识别模型有价值[28]。大多数主动学习方法为每个未标记的样本制定一个效用分数，基于此，它们被选择用于手动标记。分类器不确定性[31]，信息密度[30]，预期梯度变化[39]，预期错误率[11，30]，预期模型输出变化[23]及其组合是设计效用分数的一些流行技术但是，这些技术中的大多数未能考虑可能发生在属于相同或不同识别任务的数据点中的相互关系。一些工作已经表明，在许多应用中，如活动识别[49，46]，对象识别[16，9]，文本分类[36，40]等，可以利用数据点之间的关系来获得更好的识别性能。这些关系也可以在主动学习中利用，以显著减少手动标记的工作。虽然已经有一些工作考虑了主动学习中数据点之间的关系[4，32，18，20]，但他们没有考虑样本之间的信念流，以更好地联合理解样本，这可能有助于选择最具信息性的样本。此外，它们中的大多数是针对特定问题的算法，并处理单个识别任务的主动学习。缺乏一种考虑数据样本之间的相互关系并且可以在各种应用领域中使用可以主动学习场景-对象[50，45]或活动-对象[21，24]分类等任务的联合学习，在这种情况下，选择用于手动标记的信息样本是具有挑战性的，因为它们可能属于不同的识别任务。在本文中，我们提出了一个广义的主动学习框架，它有能力确定最佳数量的信息样本，从而选择他们为单一的，以及多个，共同学习的识别任务，通过利用数据的结构，即，样品之间的关系关系信息不仅可以帮助更新分类器的信念，31386847未贴标批次数据1构建R更新R构建C标记样品2LoopyBeliefSubmodular传播最小化更新C数据转换为图表OO一S一型号（R）关系推理选择翔实样品分类模型（C）特征提取标签查询人特征提取标签数据的小集合图1：该图显示了拟议框架的流程。1.使用一小组标记数据来获得初始关系（R）和分类模型（C）。二、随着时间的推移，新的未标记的数据批次将依次可用，我们首先从原始数据中提取特征然后，使用当前的C和R模型从数据中构建一个图，以表示数据点之间的关系然后利用图上的推理得到节点和边的概率，用于选择信息样本进行人工标注。然后，新标记的实例用于更新模型C和R。每个数据点，而且在选择信息样本的小子集方面也起着重要的作用，当标记时，可以帮助其他未标记的样本更好地理解它们的标签。框架概述。所提出的方法的流程如图1所示。所提出的方法从一小组标记数据开始，并使用它来构建分类（C）和关系（R）模型。R表示数据中的底层结构可以注意到，分类模型可以包含用于多个识别任务的多个分类器在学习了初始模型之后，给定一批未标记的样本，目标是选择一个信息样本子集进行手动标记，这些样本可以用于更新当前的分类和关系模型。当新的一批数据变得可用时，基于它们所属的识别任务将它们分离成不同的集合，并且提取它们的特征使用当前分类器，对于每个未标记的样本，获得在可能的类上的概率质量函数它与R一起用于构建一个图，其节点表示样本。使用消息传递算法对图进行推断，以获得图的每个节点和边的信念推导了一个信息量理论目标函数，该函数利用置信度选择信息量节点进行人工标注。这个优化函数的子模块性质允许我们以计算高效的方式实现这一点。新标记的节点用于更新模型C和R。可以注意到，每个批次选择的样本数量是不均匀的，取决于每个批次的信息内容主要贡献。主要贡献如下。• 我们提出了一个新的广义主动学习框架，利用数据中的关系，以减少人工标记的努力。它可以用于两个单一的，以及作为多个相互关联的识别任务。• 我们的框架从每批数据中选择非均匀数量的样本进行手动标记，这很有帮助，因为一批数据中包含的信息量不同，并且从每批数据中选择相同数量的样本可能没有用。• 与其他利用数据点之间关系的批处理模式子集选择算法不同，我们框架中的优化问题可以被证明是子模最小化问题，这使得在多项式时间内容易获得最优解。2. 相关作品形成大多数主动学习（AL）算法核心的方法概述可以在[38]中找到。大多数人工智能算法都涉及到分类器的不确定性，用于选择信息样本，最佳与最佳。第二好[29]，熵[30]，分类器边缘[44]是分类器不确定性的常用度量。随着分类器的不确定性，通过使用k均值[29]或稀疏代表子集选择[13]引入所选样本的多样化。类数量方面的可伸缩性问题在[22]中通过向人类提出二元问题来解决。他们根据预期的误分类风险从未标记的集合中选择样本，并从标记的集合中提取概率相似的图像，以询问它们是否匹配。AL中使用的另一个重要概念是预期模型变化[6，43，23]。大多数上述工作不考虑数据点之间的关系，可以利用这些关系来减少手动标记的量在文献[5]中，提出了一种AL算法，它涉及不确定性，基于委员会的集成和基于社区的网络数据聚类。在[27]中提出了每个样本的基于网络的效用得分，其中包括邻域信息31386848j=1的网络数据。在[41]中，使用了最大不确定性以及对其他未标记实例的最大影响，其中链接信息增强了用于捕获样本影响的基于特征的在[31]中，提出了一种用于场景分类的AL分层模型，每当分类器提供的场景标签与人类之间存在不匹配时，它们也会在[2]中提出了一种用于场景和对象分类的AL算法。在[32]中，特征空间中的关系被用于AL。在[3]中，信息论中的典型性概念被用于选择样本的最佳子集。最近，在[7]中，提出了一种用于批处理模式AL的算法然而，这些算法不包括从一个样本到另一个样本的置信度的传播最近，在[18]中提出了一种用于活动识别的AL算法。 他们提出了一个基于直觉的目标函数，并提供了一个贪婪的解决方案来优化它。另一方面，我们的算法 不仅在数学上得到验证，而且在实验上支持不同的应用（除了活动识别之外），包括多个相互关联的任务。此外，我们的AL算法是计算效率，由于子模块属性，并可以应用于场景，涉及多个识别模型的联合学习。此外，与此方法不同的是，我们不从每个批次中选择固定数量的样本;而是基于每个批次的信息内容，样本的数量是不均匀的。3. 数据表示所提出的用于信息样本选择的方法基于未标记数据点具有底层结构的假设，即，他们之间有关系我们构建一个图，其节点代表未标记的表示图的两个重要度量是节点势和边势。我们的主动学习框架可以同时为单个和多个联合分类任务选择样本，如果实例共享关系，例如，场景-对象、对象-对象、活动-对象分类等。为了概括，让我们考虑手头有m个共享数据关系的任务。让我们考虑我们具有一组基线分类器C={C1，. . .，Cm}，对于这些m相互关联的任务。节点和边缘电位在我们使用的格式如下所述。节点电位。我们将每个数据点表示为一个节点。 考虑我们有总共n个类{c1，. . . ，c n}，用于这m个分类问题。考虑一个指示器函数I（. 其将类名C作为输入并提供单位标准基向量作为输出，即，I（c=c1）=[1，0. . .，0]T.如果Fj是节点j的特征，则其节点（一元）电势可以表示为，乌姆登φj=Cp（Fj，ci）I（c=ci）（1）p=1i =1其中Cp（Fj，ci）表示节点j属于类别ci的概率。因此，如果Cp的训练数据不包含类ci的数据，则Cp（Fj，ci）=0。边缘电位。边（成对）势表示类之间的关系关系模型R包含边缘势矩阵，其i，j位置是类c i的数据点与类c j的数据点的共现频率[ 16 ]。共现，因此边缘电位，取决于应用，将在第5节讨论。节点和边势在我们的框架中起着重要的作用，因为我们使用它来构建一个图来表示数据点之间的关系。可以注意到，我们的框架可以应用于包含可以被建模为边缘势的关系的任何数据集图构造。假设我们有一组标记的数据实例L。我们用这些标记数据L学习基线分类模型C和关系模型R。现在，考虑新的未标记数据集U变得可用，其中特征{F j}N，N是集U的大小。我们的目标不是手动标记整个未标记的集合，而是通过选择U的信息子集进行手动标记来减少标记工作，从而有助于改进当前模型C和R。我们首先使用当前模型C和R，用U中的实例构造一个图G=（V，E）。 V ={v1，. . . ，v N}表示每个数据点。 边E ={（i，j）|v i和v j是链接的}表示数据点之间的关系。节点之间的链接信息取决于应用程序，将在第节中讨论5. 节点被分配相应的节点电位φ i，边缘被分配边缘电位φ i。可以使用消息传递算法来获得节点和边的信念 。 在 本 文 中 ， 我 们 使 用 Loopy Belief Propagation（LBP）[35]来完成这项任务。经过推理，我们得到了边缘节点概率和边的成对联合分布。4. 信息样本在本节中，我们将讨论如何根据从一批数据中构建的图形模型来选择信息样本。使用节点和边缘概率，目标是选择一个小的集合VlV用于手动标记，这将改进当前模型C和R。我们希望选择节点的子集，使得所有节点H（V）的联合熵最小化。下面我们导出图G的联合熵的表达式。31386849节点的联合熵。每个节点的熵和一对节点之间的互信息可以表示为H（vi）=E[−log2pi]和I（vi，vj）=E[log2pijpipj]和pi，pj和pij是节点和边概率分别。图G的节点的联合熵可以表示如下，(a)ΣN通过优化目标函数。 主要动机是，如果我们获得关于子集Vl的信息，则分类器对集合Vnl是有信心的或者将变得有信心。这里，l表示已标记，nl表示未标记。我们定义G的两个子图如下：Gl=（Vl，El）是其节点将被标记的子图，Gnl=（Vnl，Enl）是其节点将不被标记的子图LH（V）= H（v 1）+H（vi|v1，. . . ，vi−1）为清楚起见，定义如下：E =(b)ΣN=H（v1）+I=2Σ ΣH（ vi）− I（ v1，.. . ，vi−1; vi）{（i，j）|（i，j）∈E，v i，v j∈V l}，E nl ={（i，j）|（i，j）∈E，v i，v j∈ V nl}. 在上述分割之后，联合熵H（V）可以如下分割(c)=H（v1）+I=2ΣN ΣΣiH（ vi）−ΣI（v j; vi|v1，. . . ，vj−1）H（V）=ΣΣvi∈Vl H（vi）−Σ（i，j）∈ElΣI（ vj; vi）+I=2ΣNΣN Σi=H（vi）−j=1I（v j; vi|v1，. . . ，vj−1）ΣΣvi∈VnlH（vi）−Σ（i，j）∈EnlΣI（ vj;vi）−Σ（i，j）∈Evi∈Vl，vj∈VnlI（vj;vi）(d)≈i=1Σvi∈Vi=2j=1ΣH（ vi）−（i，j）∈EI（ vj; vi）（2）=H（Vl）+H（Vnl）−Σ（i，j）∈Evi∈Vl，vj∈VnlI（vj;vi）（3）(a) 联合熵链规则[10](b) 使用I（v1，. . .，v j−1;v j）=H（v j）−H（v j|v1，. . . ，v j-1），其中，I（. ;。）表示随机变量集之间的互信息以“”分隔(c) 互信息链规则[10](d) 计算的条件互信息I（v; v |v，. . . ，v）变得在计算上难以处理一旦Vl中的节点被手动标记并且我们在以所获取的标记为条件的图上运行干涉，则上述表达式的第一项和最后一项变为零（参见补充材料）。大多数主动学习算法假设对于每批未标记的数据，存在固定的预算，即，用于手动贴标的样本数量 如果用于手动标记的预算为K（≤N），则最小化节点的联合熵的最优子集Vlji1j−1因为其所基于的节点的数目增加。此外，在本文中，我们构造我们的图只使用一元（节点）和成对（边）的潜力和忽略高阶潜力。因此，在本发明中，可以表示为，Vl= arg maxVlS.T.|=K|=KH（ Vl）−Σ（i，j）∈Evi∈Vl，vj∈VnlΣI（ vj;vi）（四）我们将条件互信息近似为I（v j;v i|v1，. . .，v j−1）<$I（v j;v i）.此外，我们认为两个节点是独立的，如果它们之间不存在任何链接。还已知两个随机变量之间的互信息为零，如果它们是独立的。等式2中的表达式类似于使用Bethe近似的联合熵的表达式[47]。而且，该表达式对于无圈图是精确的，但只是一个近似然而，每批数据可能包含不均匀的信息量，并且选择相同数量的预算受限样本（即，K）从每一批可能不是一个好主意。相反，可以根据每批的信息内容来确定样本的数量这促使我们修改上述目标函数，使得我们从不同批次的数据中选择非均匀数量的信息样本。我们重写Eqn。4作为无约束最小化问题如下：在包含循环的图的情况下。我们使用这个表达式来导出一个目标函数进行优化，以获得最丰富的手动标记的节点。Vl= arg minVlΣΣ（i，j）∈Evi∈Vl，vj∈VnlΣI（v j; v i）− H（V l）+λ |V l|目标函数推导。我们的目标是从V中选择一个节点的子集，其大小可能会因每一批数据，使得方程中的联合熵H（V）2是最小化后，推断图G的条件下所获得的标签的选定的节点。集合V可以被划分成两个集合，将被选择用于手动标记的Vl和将不被手动标记的Vnl我们需要找到V在这两个集合中的最优划分31386850（五）其中，λ是在最大化等式11中的目标函数和最大化等式12中的目标函数之间的正的权衡参数4，并最小化选择用于手动标记的节点λ的选择将在本节末尾讨论优化问题可以用向量和矩阵符号表示。为了做到这一点，我们定义了以下内容。考虑一个长度为N的向量x，元素为1313868512或0，其中1表示节点被选择为在集合V1中，0表示相反。 我们需要找到解决方程中的优化问题的最优x。五、 让我们定义一个N × 1的节点熵向量h和一个N × N的成对互信息矩阵M如下，h，[H（v1），H（v2）. . . H（vN）]T.v2v3YvS6vv1v4v5Xv8v7图2：此图是集合的示例说明M（i，j），I（v i;v j），如果（i，j）∈E0，否则S，X，Y和元素v参与证明所提出的目标函数是次模的。其中i，j ∈ {1，. . . ，N}。Eqn中的目标函数5可以表示为（见补充材料）算法1提出的框架x*= arg minX1xT Qx+xTf+λxT1（6）2输入：未标记数据的顺序批处理{U1，U2，. . . {\fn方正粗倩简体\fs12\b1\bord1\shad1\3cH2F2F2F}输出：处理每批数据后的分类C和关系R模型其中Q，-M和f，M1-h，其中1=[1 1. . . [1]尺寸为N × 1的T。Eqn中的目标函数6可以被证明是次模的，这使得最优化-变量L：贴标集，k：批号1. L ←U1：请人类标记第一批U1.2. 使用L构建模型C和R。与Eqn相比，问题更简单。4. 接下来讨论优化的细节k← 2.Σwhile新一批数据Uk有效剂量子模块性的证明子模函数是一个集函数f：P（S）→R，其中P（S）是有限集S的幂集，如果它满足以下条件，f（X<${v}）−f（X）≥f（Y<${v}）−f（Y）（7）其中X<$Y<$S且v∈S-Y。这些集合如图所示二、 让我们考虑表示两个集合X和Y的两个向量x和y，即，如果节点存在于集合中，则向量的对应元素将为1，否则为0。考虑一个向量v，它表示方程n的节点v。7，即，V是在第V个元素位置处的全零和一的向量考虑方程中的目标函数6是F。然后，3. 基于Uk构造图G=（V，E）4. 使用当前模型C和R为图分配节点和边电位5. 在图上运行推理以获得节点（pi）和边（pij）的概率6. 计算熵和互信息，分别构造向量h和矩阵M。7. 使用方程找到λ108. 获得x= 0的等式6使用Fujishige-Wolfe最小范数点算法9. 使用x来选择用于人类查询的样本，让我们用Vl表示它。然后，L ← LVl10. 以获得的标签为条件的推理，f（X<${v}）− f（X）=Σ1 （x+v）T2Q（x+v）+L ← L {高度自信的实例}（弱教师）11. 使用L更新模型C和RT T 中国1T T T Σk←k+1（x+v）f+λ（x+v）1−x Qx+x2f+λx1end while=1vT Qv+xT Qv+vTf+λ（8）2此外，f（Y<${v}）−f（Y）=1vT Qv+yTQv+vTf+λ{f（X<${v}）−f（X）}−{f（Y<${v}）−f（Y）}=（x −y）TQv（九）现在，由于X<$Y，y至少在x包含1的位置包含1。因此，向量x-y的元素要么是0，要么是-1。此外，Q的元素是非正的，因为Q=−M，互信息总是非负的。此外，v是一个向量，在单个元素处为1，否则为0因此，（x-y）TQv≥0且等式 7满意，其中31386852博弈论、信息论等。详细的描述可以在这里找到[33]。有一些算法可以用来解决SFM在多项式时间。我们使用子模块函数优化（SFO）[25]工具箱中的Fujishige-Wolfe最小范数点算法[15]来解决等式11中的子模块最小化问题6. 它是解决SFM的最著名的算法之一参数. 式中的参数λ6是如前所述的两个目标之间的折衷。 如果f（x）是方程中的目标函数，6，则λ可以表示为使目标函数在Eqn中。最优化问题是次模极小化问题。优化程序。 子模块功能迷你-因为，λ=αminxf（x）|λ=0−00− maxxxT1（十）Mization（SFM）经常出现在机器学习领域，其中α是标量参数。在等式中10，一个分数是31386853使用两个目标函数的值的范围获得，使得使用λ的两个目标函数之间的缩放是适当的。λ现在取决于α，由于等式n中完成的缩放，对于所有应用，α可以保持接近110、两个目标函数之间的关系模型更新在所选样本被人类标记后，我们对以获得的标签为条件的图进行推理以更新节点的信念，然后我们应用弱教师的概念[51]，这不涉及人类。我们选择那些具有分类置信度> 0的节点，以及相应的标签，将其放在标签集合L中。 标签应足够高，以避免错误的标签。 通过使用L重新训练分类器来更新分类模型C。模型R仅由同现矩阵n组成，并且使用新的标记实例来递增。算法1中给出了整个框架的概述。存档数据的特殊情况。所提出的方法也可以用于整个数据集可用的情况下（见补充材料）。从未标记的数据集中随机选择一小组样本，并获得它们的标签。这些标记样本用于构建初始模型C和R。这些模型用于从剩余的未标记样本池中选择信息样本，然后在获取标签后更新模型。这一过程一直持续到剩余子集的联合熵达到阈值。<5. 实验在本节中，我们将对我们提出的主动学习框架进行实验分析，用于三个不同的应用程序-联合场景对象分类，活动识别和文档分类。选择这些应用程序是因为它们具有共享它们之间关系的数据对于每个应用程序，我们执行以下实验。• 我们将所提出的方法与常用的和最先进的主动学习方法进行比较，即批量排名[7]，BvSB [29]，熵[39，19]，基于密度的采样（DENS）[39]，预期梯度长度（GRL）[40]和随机采样。我们还比较了CAAL[18]的活动识别。• 我们将我们的算法的结果与使用整个数据集进行训练的其他最先进的方法进行比较，其细节随后提到。• 我们对方程中的参数α进行了灵敏度分析。10个。我们使用支持向量机（SVM）[8]作为我们提出的方法以及我们比较的所有主动学习方法的基线分类器，我们使用无向图模型（UGM）工具箱[35]来对图进行推理我们将使用以下简短的符号。通过使用整个数据集进行训练来获得“ALL5.1. 场景对象分类场景和物体往往在图像中同时出现。虽然场景和对象分类器是分开的，但它们的联合理解可能是有益的[50]，这可以在我们的主动学习框架中利用以减少手动标记。数据集。 我们使用SUN数据集[9，48]进行场景对象分类的实验。我们使用的数据集的一为了表示场景节点，我们从在places-205数据集上预训练的VGG-net [52]的fc-7层中提取CNN特征（∈R4096×1）。我们使用R-CNN [ 17 ]的管道来检测对象，然后从Alex-net [26]的fc-7层提取CNN特征，在ImageNet [12]上进行预训练。实 验 设 置 。 我 们 对 此 数 据 集 执 行 5 倍 交 叉 验 证（FCV）n。 4倍的训练数据被分成6批，并依次输入我们的主动学习框架。我们认为第一批是人工标记的，并使用它来构造初始模型C和R.我们假设另一批数据是未标记的，我们只选择信息样本进行手动标记，然后用于更新模型。可以注意到，该应用是描述我们的算法可以联合应用于不同识别任务的主动学习每个图像由检测器检测到的单个场景节点和多个对象节点表示。本申请的图被认为是完全连接的，并且边缘势矩阵的i，j位置是类别i的对象出现在类别j的场景中的次数的计数。结果图3a和3d呈现了所提出的方法与其他最先进的主动学习方法的比较。该方法的性能优于其他方法，并达到了图图3b和图3e呈现了所提出的方法的结果我们与SUN-CNN [52]进行场景分类，与R-CNN [17]和R-CNN[14]进行对象分类。如可以观察到的，所提出的方法需要手动标记的样品的数量少得多，图图3c和图3f给出了所提出的方法对于方程n中的参数α的不同值的结果10. 可以注意到，α=1。1已用于与SUN数据集对应的所有结果。31386854拟定批次等级BvSB熵密度梯度随机所有建议的ALL BatchSUN-CNN拟定批次等级BvSB熵密度梯度随机所有建议的ALL BatchR-CNN拟定批次等级BvSB熵密度梯度随机ALL拟定ALL批次CCNDLBC精度精度精度精度75 75747072656020 30 4050手动贴标（一）50706520 40 60 80100手动贴标（b）第（1）款50454070686620 30 40 50 60手动贴标（c）第（1）款50454040 35 353020203040 50603025201520 40 60 801003025201520 30 40 50 60 70手动贴标（d）其他事项手动贴标(e)手动贴标(f)图3：此图显示了SUN数据集上的联合场景对象分类结果。顶行和底行分别表示场景和对象的绘图。(a)（d）给出了该方法与其他主动学习方法的比较。（b），（e）给出了与使用整个数据集进行训练的其他方法的比较（c）、（f）表示所提出的方法对参数α的灵敏度。7575757070706565656010 20 30406020 4060801006010 20 30 40 50 60手动贴标（一）手动贴标（b）第（1）款手动贴标（c）第（1）款图4：该图显示了CORA数据集用于文档分类的结果（a）给出了所提出的方法与其他主动学习方法的比较(b)与其他使用整个数据集进行训练的方法进行了比较。(c)给出了所提出的方法对参数α的灵敏度。α=0.5α=0.7α=1.1α=1.3α=0.5α=0.7α=1.1α=1.3α = 0.5α = 0.7α = 1.1α = 1.3精度精度精度精度精度313868555.2. 文档分类文档通常通过引用和超链接相互链接，可以使用我们的主动学习方法来减少手动标记工作。数据集。 我们使用CORA数据集[37]进行文档分类实验。 它是一个包含2708份科学出版物的数据集，分为七类。出版物之间共有5429个链接（引用）。使用1433个唯一词的字典来表示出版物，并且特征向量Fi ∈{0，1}1433指示这些词的存在或不存在。实验设置。我们在[ 37 ]之后对此数据集执行10次FCV，并遵循与先前针对场景对象讨论的类似设置。我们构造图，使得每个节点连接到特征空间中的五个最近边势矩阵的i，j位置是属于类别i的出版物经由引用链接与类别j相关的次数的计数。结果所提出的AL方法以及其他最先进的AL方法的结果如图所示。4a. 可以观察到，所提出的方法比其他算法执行得好得多，并且仅需要42%的手动标记来达到31386856建议CAAL批次等级BvSB熵密度梯度随机ALL拟定的所有批次CAARSPN7575 75706560555010 15 20 25 30 3540手动贴标（一）706560555020 40 60 80100手动贴标（b）第（1）款706560555010 15 20 25 30 35 40手动贴标（c）第（1）款图5：该图显示了VIRAT数据集的活动分类结果。(a)给出了该方法与其他主动学习方法的比较。(b)与其他使用整个数据集进行训练的方法进行了比较。(c)给出了所提出的方法对参数α的灵敏度。我们还将我们提出的方法与其他方法进行了比较，这些方法认为整个数据集都是手动标记的，并将其用于训练。图4b给出了与两种方法即CCND [37]和LBC[36]1的比较。所提出的方法比“ALL Batch”执行得更好我们还分析了方程中的参数α。10和图中所示。4c.结果表明，该方法是可行的。图4a和4b中α=1。1.一、α值越低，每批选择的 样本数量的惩罚越小（公式10）。6），因此将选择更多的样本。这一点从图中也可以看出。4c. 虽然，α = 0时的性能。5是类似于α = 1。1在最后，后者选择少得多用于手动贴标的样本数量。5.3. 活动分类活动通常是时空相关的，可以利用它来减少选择用于手动标记的实例的数量。数据集。我们使用关于人类活动的VIRAT数据集[34]进行活动分类实验该数据集由11个视频组成，分为329个活动序列。我们使用预先训练好的3D模型提取特征，卷积网络[42]。我们从时间跨度为8的16帧中提取特征，然后应用最大池化来获得每个活动的单个向量∈R4096实验设置。 我们已经使用了第一个176 se-训练序列（761个活动）和153个序列（661个活动活动）进行测试。我们将训练集分为20批，并将它们依次输入到我们的主动学习算法中。我们认为，如果两个活动发生在一定的时空距离内，它们之间就存在联系。我们认为边缘势是两个活动之间的时空共现。1请注意，水平线应该是100%手动标记的点，但为了清楚起见，我们按原样呈现结果所提出的主动学习算法与其他最先进的主动学习方法的结果如图所示。5a. 可以观察到，所提出的方法不仅在仅18%的人工标记中达到“ALL”的准确性事实上，一个算法可以比“所有”，即执行更好。在[ 28 ]中讨论了使用整个数据集进行训练。虽然批次等级达到“所有” ，但 它需 要比所 提出 的方 法更多 的手 动标记 。 ”CAAL” remains close to the proposed algorithminitially, but the latter peaks up我们在图中比较所提出的方法5b与其他学习算法相结合，这些算法认为整个数据集都是手动标记的，并将其用于训练，即上下文感知活动识别（CAAR）[53]和积网络（SPN）[1]。可以观察到，所提出的方法比“全部批次”更快地达到峰值，这VIRAT数据集参数α的灵敏度分析图如图所示。5c.第二个问题。6. 结论和未来工作在本文中，我们提出了一种新的广义主动学习框架的相互关联的数据。我们的框架可以应用于主动学习的单个以及多个识别任务，同时利用数据中我们提出的方法根据信息量的不同，从每批样本中选取非均匀所提出的信息子集选择方法不仅由于其子模块性质而快速未来的工作将考虑由人类提供的标签并不总是正确的情况。致谢。这项工作通过Mayachitra Inc.的分包合同得到ONR合同N 00014 -15-C-5113的部分支持。α = 0.5α = 0.9α = 1.2α = 1.4精度精度精度31386857引用[1] M. R. Amer和S.托多洛维奇随机结构活动建模的和积网络。计算机视觉和模式识别（CVPR），第1314-1321页。IEEE，2012。[2] J. H.巴比，S。Paul和A. K.罗伊·乔杜里联合场景和对象分类的在线自适应。在欧洲计算机视觉会议中，第227施普林格，2016年。[3] J. H.巴比，S。Paul，E. Tuncel，和A. K.罗伊·乔杜里典型性对信息代表选择的影响计算机视觉与模式识别（CVPR）IEEE，2017年。[4] M. Bilgic和L.去吧基于链接的主动学习。在NIPS研讨会上分析网络和学习与图形，2009年。[5] M.比尔吉克湖Mihalkova和L.去吧网络数据的主动学习。国际机器学习会议（ICML），第79-86页，2010年[6] W. 蔡，Y.zhang和J.舟最大化回归中主动学习的预期模型变化在国际数据挖掘会议（ICDM）上，第51-60页IEEE，2013。[7] S. 查 克 拉 博 蒂 河 谷 Balasubramanian ， Q. 孙 习 Pan-chanathan和J.烨通过凸松弛与保证的解决方案界的主动批 量 选 择 Transactions on Pattern Analysis and MachineIntelligence（TPAMI），37（10）：1945[8] C.- C. Chang 和 C J. Lin Libsvm ： 支 持 向 量 机 库 。TransactionsonIntelligentSystemsandTechnology（TIST），2（3）：27，2011.[9] M. J. Choi，J.J. Lim，台湾野牡丹A.Torralba和A.S. 威尔斯基在对象类别的大型数据库上利用层次上下文。计算机视觉和模式识别（CVPR），第129-136页。IEEE，2010。[10] T. M. Cover和J. A.托马斯信息论的基本原理。JohnWiley Sons，2012.[11] N. V. Cuong，W. S.李，N.是的，K. M. A. Chai和H. L.乔使用最大吉布斯误差准则的概率假设主动学习。神经信息处理系统进展（NIPS），第1457-1465页，2013年[12] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。 计算机视觉和模式识别（CVPR），第248-255页。IEEE，2009年。[13] E. Elhamifar湾Sapiro，A. Yang和S.尚卡尔·萨斯蒂 主动学习的凸优化框架。在国际计算机视觉会议（ICCV）上，第209-216页。IEEE，2013。[14] P. F. 费尔岑斯瓦尔布河B. Girshick，D.McAllester和D.拉玛南。用有区别地训练的基于部分的模型进行目标检测 。 Transactions on Pattern Analysis and MachineIntelligence（TPAMI），32（9）：1627[15] S. Fujishige，T.Hayashi和S.矶谷最小范数点算法应用于次模函数极小化和线性规划。Citeseer，2006.[16] C. Galleguillos，A. Rabinovich和S.贝隆吉使用共现、位置 和 外 观 的 对 象 分 类 在 计 算 机 视 觉 和 模 式 识 别（CVPR），第1-8页。IEEE，2008年。[17] R. 格希克，J。多纳休，T.Darrell和J.马利克丰富的功能层次结构，用于准确的对象检测和语义分割。计算机视觉和模式识别（CVPR），第580-587页。IEEE，2014。[18] M. Hasan和A. K.罗伊·乔杜里活动识别模型的情境感知主动学习。国际计算机视觉会议（ICCV），第4543-4551页。IEEE，2015年。[19] A. Holub，P. Perona，and M. C.伯尔基于熵的物体识别主 动 学 习 。 在 计 算 机 视 觉 和 模 式 识 别 研 讨 会（CVPRW），第1-8页。IEEE，2008年。[20] X. Hu，J. Tang，H. Gao和H.刘某Actnet：微博中网络文本 在 SIAM International Conference on Data Mining（SDM）中，第306-314页SIAM，2013年。[21] A. 贾恩A.R. Zamir，S.Savarese和A.萨克塞纳Structural-rnn ： 时 空 图 的 深 度 学 习 arXiv 预 印 本 arXiv ：1511.05298，2015年。[22] A. J. Joshi，F. Porikli和N.帕帕尼科洛普洛斯。多类图像分 类 的 可 扩 展 主 动 学 习 。 Transactions on PatternAnalysis and Machine Intelligence （ TPAMI ） ， 34（11）：2259[23] C. Kading，A.Fre ytag，E.Rodner，A. Perino和J.丹泽尔河大规模主动学习，近似预期的模型输出变化。德国模式识别会议（GCPR），第179-191页。施普林格，2016年。[24] H. S.科普拉河Gupta和A.萨克塞纳从rgb-d影片学习人类活 动 与 物 件 启 示 。 International Journal of RoboticsResearch（IJRR），32（8）：951[25] A. 克 劳 斯 SFO ： A toolbox for submodular functionoptimization.Journal of Machine Learning Research ， 11（Mar）：1141[26] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。神经信息处理系统进展（NIPS），第1097-1105页，2012年[27] A. J.D. dekar和J.纳维尔 联合集体分类模型的关系主动学习。国际机器学习会议（ICML），第385-392页，2011年[28] A. Lapedriza，H. Pirsiavash，Z. Bylinskii，和A.托拉尔巴 所 有 的 培 训 案 例 都 同 样 有 价 值 吗 ？ arXiv预 印 本arXiv：1311.6510，2013年。[29] X.利河，巴西-地Guo，and J. Cheng.结合用于场景分类的增量和主动学习在机器学习和应用（ICMLA），第1卷，第256IEEE，2012。[30] X. Li和Y.小郭。图像分类的自适应主动学习在计算机视觉和模式识别（CVPR）中，第859-866页31386858[31] X. Li和Y.小郭。场景分类的多级自适应主动学习。欧洲计算机视觉会议（ECCV），第234-249页。Springer，2014.[32] O. Mac Aodha，N.D. 坎贝尔，J。Kautz和G.J. 布罗斯托图上主动学习的分层子查询评估。计