原型表示的交互学习概念的框架及其在视觉概念领域的应用

103170通过与其原型表示进行交互学习概念0Wolfgang Stammer 1 , 3 Marius Memmel 1 Patrick Schramowski 1 , 3 Kristian Kersting 1 , 2 , 301 德国达姆斯塔特工大计算机科学系；2 德国达姆斯塔特认知科学中心；3黑森州人工智能中心（hessian.AI）0{wolfgang.stammer@cs, marius.memmel@stud, schramowski@cs, kersting@cs}.tu-darmstadt.de0摘要0从原始图像中学习视觉概念而无需强监督是一项具有挑战性的任务。在这项工作中，我们展示了原型表示对于理解和修订神经概念学习器的潜在空间的优势。为此，我们引入了交互式概念交换网络（iCSNs），这是一种通过弱监督和隐式原型表示学习概念基础表示的新框架。iCSNs通过交换成对图像的潜在表示来将概念信息绑定到特定的原型槽位。这种语义上有根据且离散的潜在空间有助于人类理解和人机交互。我们通过在我们的新数据集“基础概念推理”（ECR）上进行实验来支持这一观点，该数据集关注几何对象共享的视觉概念。01. 引言0在没有强监督的情况下，从原始数据中学习概念的适当表示是一项具有挑战性的任务。然而，在知识发现领域的研究中，这仍然是重要的，因为缺乏足够的先验知识，目标是获得新的理解。随着机器学习模型的更好表示和架构组件，这似乎变得越来越可行[73]。然而，如果不加以检查，这可能导致学习错误的概念甚至混淆特征[18,70]。概念学习的另一个困难之处是其动态和主观性质，无论监督的级别如何。一个下游任务可能需要比其他任务更细粒度的概念，而且当遇到关于新概念的证据时（例如，在在线学习环境中），概念的知识和层次结构应该不断得到重新批准、讨论和01代码可在以下网址找到：https://github.com/ml-research/XIConceptLearning0您是否认为这些对象共享一个潜在概念？0是的，它们都有蓝色。0您是否认为这些对象共享一个潜在概念？0是的，它们都有三角形的形状。0这些对象呢？0不，我认为这三个和这三个对象共享一个概念：0图1.训练好的模型（左）向人类用户（右）查询它从数据中提取的概念是否与用户的知识相符。随后，模型可以接收用户的修订。0可能已更新。因此，希望这样的概念学习器学到的表示能够被人理解和修订。教授概念信息给机器学习模型的一种明显方法是通过符号表示以监督方式对其进行训练，例如，使用独热编码向量和相应的原始输入[44,84]。然而，这需要对相关概念有广泛的先验知识，并且考虑到概念学习的主观和动态性，似乎是不切实际的。另一方面，研究的另一个分支专注于学习解耦的潜在分布模型[27,31,80]。尽管最初专注于无监督方法，但许多最近的研究已经转向了弱监督学习，并展示了有希望的结果[41, 49, 51, 58,74, 81]。解耦潜在分布模型的一个常见的隐含假设是I'm not sure. However, it is very similarto this prototypical large, blue circle:What do you call this object?:You're right. It is large and blue. I love the color blue!But actually this represents a new shape.Great thanks!What is the concept of love?103180图2.学习新概念的人机交互。用户查询一个对象，并在必要时指导机器的原型建议。0纠缠研究的一个要求是学习到的潜在表示应该对应于人类可解释的因素。然而，许多最先进的变分[51,58]和生成对抗[13, 46, 56, 59,60]方法学习的是连续的潜在表示，这使得人类在没有其他解释潜在空间的技术的情况下很难理解[68]。由于概念学习的复杂性以及受到心理学和认知科学领域概念原型研究的启发，我们研究了原型表示在神经概念学习器中学习人类可理解和可修订的概念表示的优势。为此，我们引入了交互式概念交换网络（iCSN）的新框架，通过弱监督学习将语义概念隐式绑定到潜在原型表示中。这种绑定是通过离散化距离估计和在配对数据样本之间交换共享概念表示来实现的。除其他外，iCSN还允许查询和修订其学习到的概念（参见图1），并集成关于未知概念的知识（参见图2）。我们专注于学习以对象为中心的视觉概念，开发了一个包含2D几何对象图像的新数据集Elementary ConceptReasoning（ECR），并进行了多个实验，强调了我们方法的优势。总之，我们的工作强调了原型表示在以下方面的优势：（i）通过弱监督学习学习一致且人类可理解的潜在空间，（ii）通过人类交互修订概念表示，以及（iii）以在线学习方式更新这些表示。02.相关工作0概念学习。许多先前的概念学习方法都专注于预测选定的高级概念。0用于改进其他附加下游任务[3, 44,84]。一些研究强调了基于概念的机器学习在可解释性[1,25, 54,83]和人机交互[77]方面的好处。为了向人类用户传达概念，一些方法包括一阶逻辑公式[16]、因果关系[82]、用户定义的概念[42]、中间数据集标签的预测[3,54]和独热编码的瓶颈[44]。然而，所有这些方法都专注于监督概念学习。心理学中的概念表示。概念一词源于心理学，可以定义为“具有共同特征的一组事物的标签”[2]，尽管存在不同的概念。表示概念的最常见方法是实例和原型。前一种方法假设在记忆中维护一个或多个概念的典型示例，而后一种方法只假设对几个观察到的示例进行平均表示[39, 61,71, 75,78]。在认知心理学领域，示例和原型表示之间的界限变得更加模糊，它们对概念表示的贡献仍然是一个悬而未决的问题，最近的研究暗示了同时使用两种表示的可能性[6,24]。尽管如此，仍然有证据表明原型在人类记忆系统中的使用和重要性[17, 30,38]。受到这些发现的启发，原型学习系统应运而生[86]。神经原型学习。最近的人工原型学习方法侧重于具有原型向量作为内部潜在表示的神经网络。这些向量可以通过解码方法转换为可解释的可视化结果[45]，或者用于通过简单的距离度量将编码输入与模型的原型的相似性进行类别预测[11]。最后，在少样本学习的背景下，原型显示出有利的特性[37,62, 64,76]。解缠。解缠研究领域与我们的工作也密切相关。这里的目标是提取生成数据的独立潜在因素[4]。最近，通过Locatello等人的工作[49]，解缠研究的大部分内容已经从无监督学习转向了弱监督设置。Shu等人的研究[74]表明，通过已知因素的匹配配对进行监督可以通过他们定义的一致性和限制性的计算给出解缠的保证。文献还扩展到基于群组的解缠，允许对已识别的生成因素进行分组[5, 33, 34, 36, 85,87]。然而，从这些方法中解释潜在表示仍然是一个悬而未决的问题[68]。解释性交互学习（XIL）。对模型的潜在概念表示进行人类交互的概念，例如纠正混淆行为，与我们的工作密切相关。.....................103190图3.交互式概念交换网络。iCSN基于确定性自编码器结构，提供一个最初纠缠的潜在编码（1）。几个读出编码器（2）从这个潜在空间中提取相关信息，并通过加权的softmax点积（4）将其提取的概念编码与一组原型槽（3）进行比较。这导致一个离散化的代码，指示每个概念编码最相似的原型槽。iCSN通过简单的重构损失、匹配配对的弱监督和交换方法（5）来训练，交换共享概念的潜在概念表示，强制将语义信息与特定的原型表示绑定。0与XIL领域相关的工作[69, 70, 72, 77,79]。具体而言，XIL通过允许用户通过模型的解释进行交互，将人类用户纳入训练循环中。与以往的XIL方法通过事后解释进行交互不同，我们专注于直接与模型的潜在表示进行交互。然而，在我们的设置中，这些潜在表示与模型的解释存在联系。尽管我们采取了更直接的方法来修正模型的内部表示，但与XIL中的类似反馈方法适用于我们的工作。03. 交互式概念交换网络0在本节中，我们将介绍交互式概念交换网络（iCSN）的基本架构组件，然后介绍训练过程以及如何与这些网络的隐式原型表示进行交互。概念交换网络的原型架构。假设输入xi∈X，其中X:=[x1，...，xN]∈RN×D。为了简化起见，我们在下面的符号中去除了样本索引i，并用x∈RD表示整个图像。然而，在我们的框架中，x也可以是图像的子区域的潜在表示。这个子区域可以通过预处理步骤（例如分割算法[8, 26,29, 66]或组合生成场景模型[7, 19-21, 28, 48,52]）隐式或显式地从图像中提取出来。此外，我们假设每个x包含多个属性，例如颜色、形状和大小。具体而言，我们将这些属性的实现，例如“蓝色”或“三角形形状”，称为基本概念。相反，我们将“颜色”称为类别概念，或者在认知和心理科学领域中经常称为上位概念[22]。因此，每个图像x都有地面真实的基本概念c:=[c1，...，cJ]，其中0J表示上位概念的总数。我们做出必要的假设，即x只能包含一个上位概念的基本概念实现。为了简单起见，我们进一步假设每个上位概念包含相同数量的基本概念K，这在实践中可能会有所变化，我们将在实验中展示。假设一个编码器-解码器结构，我们定义一个输入编码器h(∙)，它接收图像x并将其编码成潜在表示z∈RZ，即h(x)=z。与许多基于自编码器的方法直接从z进行重构不同，iCSN首先将几个读出编码器mj(∙)应用于潜在表示z，从而得到mj(z)=φj∈RQ，其中j∈[1，...，J]。我们将编码φj称为概念编码。每个读出编码器的目标是从纠缠的潜在空间z中提取与上位概念（例如颜色）相对应的相关信息。我们将在下面讨论如何强制执行这种概念特定信息的提取。iCSN的一个核心组件是一组包含多个原型槽的码书。我们将这个集合定义为Θ:=[P1，...，PJ]，其中单个码书为Pj∈RQ×K。每个码书包含一组有序的可训练的随机初始化原型槽pj∈RQ，即Pj:=[p1j，...，pKj]。为了将每个概念编码φj分配给Pj的一个原型槽，我们定义一个相似度得分Sdot(∙，∙)，它是两个输入的点积的softmax。这样我们就可以得到概念编码φj与特定原型槽pkj之间的相似度。0skj =  Sdot (φj, pkj) = exp (φj  ∙  pkj /√Q)0� K k =1 exp ( φj  ∙  pkj / √Q )(1)0得到的相似性向量sj ∈  RK包含相似性得分：L =12N103200对于类别j的每个原型槽，计算其与概念编码φj的相似性得分。为了进一步离散化和将概念绑定到单个原型槽，我们引入了第二个函数Sτ(∙)，将相似性得分应用于加权的softmax函数：0Πkj =  Sτ (skj) =0� K k =1 exp ( skj /τ ) , (2)0其中Πj ∈  RK和权重参数τ ∈R+。在我们的实验中，我们逐步减小τ以逐渐强制信息的绑定。在极端情况下，当τ →0时，Πj类似于一个one-hot向量（在J >1的情况下是多标签one-hot向量），指示概念编码φj最相似的是类别j的哪个原型槽。最后，我们将每个类别的加权相似性得分连接成一个单一向量，得到最终的原型距离编码y:= [Π1, ..., ΠJ] ∈ [0, 1]J∙K0我们将其传递给解码器g(∙)以重构图像：g(y) = ˆx  ∈RD。概念交换和弱监督。在训练之前，即在初始化之后，原型槽中没有语义知识与之绑定。每个原型携带的意义与其他原型一样少。然而，在收敛的iCSN中间接学习到的语义知识是通过弱监督训练过程和简单的交换技巧来学习的。我们采用了Shu等人的匹配配对方法[74]，这是一种实用的弱监督训练过程，用于克服无监督解缠的问题[50]。在这种方法中，观察到了一对共享数据中已知的一部分潜在变化因素的图像(x,x')，例如颜色，而共享因素的总数可以在1到J-1之间变化。通过这种方式，模型可以利用配对的附加信息来约束和指导其潜在表示的学习。以前关于弱监督训练的工作，特别是VAEs的工作，采用了在共享因素ID处应用编码器分布的乘积[5]或平均值[35]的方法。Locatello等人[51]将这些工作扩展到了一种更弱的监督形式，但提供了更少的解缠保证。与这些工作相比，iCSN在图像对(x,x')之间使用了一个简单的交换技巧，类似于Caron等人[9]。具体来说，对于共享因素ID为v的图像对(x,x')，对应的相似性分数(Πv,Π'v)在最终对应的原型编码之间进行交换，结果为：0y := [Π1, ..., Π'v, ..., ΠJ], y' := [Π'1, ..., Πv, ..., Π'J].0这种交换过程具有直观的语义，它强制iCSN从第一幅图像中提取信息，以表示第二幅图像的类别v的属性。0iCSNs的伪代码可以在补充材料中找到。训练目标。iCSNs最终通过每对图像的单像素重构损失进行训练，每个批次的大小为N：0i =1 ( xi  −  ˆ xi ) 2  + ( x′i −  ˆ x′i )2 (3)0这个简单的损失项与之前关于原型学习的几个工作形成鲜明对比，这些工作通过额外的一致性损失[45, 57,64]来强制语义绑定。通过将语义绑定隐含地纳入网络架构中，我们消除了额外的超参数和对多个目标进行更复杂的优化过程的需求。与VAEs相比，iCSNs的目标不一定是成为一个生成的潜变量模型，学习底层数据分布，而是学习人类可理解和可交互的原型概念表示。因此，自编码器结构只是达到目的的手段，而不是必需品。然而，与在收敛后丢弃解码器不同，iCSN可以呈现每个概念的输入样本最接近的原型重构。因此，通过在测试时查询这些原型重构，人类用户可以确认预测的概念是否合理，并可能检测到不希望的模型行为。通过在测试时间重构误差上定义一个阈值，iCSN可以在识别新样本中的概念方面给出启发式指示。由于离散且语义绑定的潜在代码y，人类用户可以通过将y视为多标签one-hot编码来轻松地与iCSNs进行交互。具体而言，人类用户可以通过附加损失项修订和添加知识，以完全实现Stammer等人的方法[77]。例如，通过逻辑语句，如�img.  �¬hasconcept(img, p11)或�img. isin(img, imgset)  �hasconcept(img,p12)，用户可以制定逻辑约束，其含义是“永远不要检测由原型p11表示的概念。”和“对于这组图像中的每个图像，您应该检测到由原型p12表示的概念。”。用户可以通过交互方式筛选出错误表示的图像集合。最后，iCSNs的模块化结构对于交互式在线学习具有额外的优势，例如当模型提供包含新概念的数据样本或当数据中存在的因素最初被认为不重要，但在初始学习阶段被认为是重要的时候。在这两种情况下，与要学习的概念的层次结构有关的交互方法，即它是一个基本概念还是一个上位概念。对于新的基本概念，方法是直接的。假设人类用户对iCSN的先前概念表示满意，并且J，总的103210如果原型码本的槽位数量被过估计，用户可以简单地通过给出反馈来表示一个新的基本概念，使用相关类别中未使用的原型槽位之一。如果要学习一个新的上位概念，可以在初始训练阶段应用一个简单的技巧，即添加一个额外的读出编码器˜mJ+1(z)=˜φJ+1∈RL。与其他读出编码器不同，这个编码器不会映射到原型槽位的空间，而是保持连续表示，直接与最终的潜在代码y:=[Π0, Π1, ..., ΠJ,˜φJ+1]连接。通过这种方式，˜mJ+1(∙)可以学习将不应通过常规过程离散化的所有信息合并在一起。最终，iCSN的初始潜在空间z可以被训练成表示完整的数据分布，即使只有特定的概念应该从这个空间离散化。要包含最初被认为是不相关的概念，只需扩展J，即添加一个新的读出编码器mJ+1(z)=φJ+1∈RQ和码本PJ+1到iCSN中。然后，mJ+1学习将“新的”上位概念的新基本概念绑定到PJ+1，这只需要展示先前不重要的概念的新数据对。额外的备注。总结一下：方程（3）的梯度为整个网络提供了学习信号，包括初始编码器、读出编码器、原型槽位和解码器。此外，通过逐步降低softmax温度τ，可以强制将信息绑定到特定的原型槽位，使得特定的概念映射到单个原型槽位。通过这个离散化过程，解码器学习生成与数据中的典型表示相对应的重构。例如，给定一对蓝色物体的图像，它们的蓝色阴影不同，iCSN将学习将这些物体的颜色信息映射到同一个原型槽位，从而学习到两种阴影的典型蓝色。这个离散化步骤是各种GAN和具有高斯分布的VAE方法的一个关键区别，后者试图学习底层因素的连续潜在空间。04. Elementary Concept Reasoning数据集0最近的研究表明，面向对象的学习对于执行复杂的下游任务有益[52, 77,84]。因此，我们引入了一个新的基准数据集，ElementaryConceptReasoning（ECR），它专门关注面向对象的视觉概念学习，而不是像Kim等人[43]那样学习整个图像的概念。ECR由RGB图像（64×64×3）组成，图像中的2D几何对象位于统一的有色背景上。对象可以在形状（圆形、三角形、正方形和五边形）、大小（大和小）和颜色（红、绿、蓝、黄）上有所变化。0成对样本 随机样本0图4. Elementary ConceptReasoning数据集的样本。每个样本图像（左侧）描绘了一个带有三个不同属性的居中2D对象：颜色、形状和大小。图像是成对出现的，使得对象之间共享一个到两个概念（右侧）。0我们对每个颜色添加均匀抖动，从而产生各种颜色阴影。每个图像包含一个固定在图像中心的对象。此外，ECR遵循Shu等人的匹配配对设置，将图像配对，使得各个图像中的对象至少共享一个，但最多共享J-1个属性。ECR包含5000个图像对的训练集和2000个验证图像。图4显示了ECR的示例图像。左侧是随机样本，展示了形状、大小和颜色的组合。右侧是示例图像对。ECR的一个重要特点是，尽管存在各种颜色阴影，但它们都映射到四种离散的颜色。请注意，例如，两个配对的蓝色物体的颜色差异。尽管这两个物体呈现不同的蓝色阴影，但它们配对的状态表明它们共享相同的独特形状（五边形）和颜色（蓝色）概念。05. 结果0在本节中，我们通过交互式概念交换网络展示了基于原型的表示的优势。我们首先通过研究iCSN的潜在表示的稀疏性和语义性来开始我们的分析。接下来，我们展示了该模型能够通过其离散化的潜在空间将提取的概念传达给人类用户。随后，我们通过简单的反馈规则模拟人类用户的交互，这足以修正iCSN的潜在概念空间。最后，我们展示了通过简单的人类交互可以轻松地将新概念添加到iCSN的概念空间中。实验细节。对于我们的实验，我们将iCSN与几个基线模型进行比较，包括无监督训练的β-VAE[31]和Locatello等人的Ada-VAE[51]，使用编码器分布的算术平均值，如[35]所述。为了与通过共享匹配配对训练的iCSN进行公平比较，以及最初作为较弱形式的监督引入的Ada-VAE进行公平比较，我们还使用已知的共享因子ID训练了Ada-VAE。这个基线本质上类似于一个β-VAE，它在已知的共享因子ID处的图像对之间使用编码器分布的平均值。在下面的结果中，它被表示为VAE。最后，我们将与使用Gumbel-softmax技巧[40,53]（Cat-VAE）通过分类分布的离散化VAE方法进行比较。Cat-VAE的训练方式与VAE相同，即通过共享配对和编码器分布的平均值进行训练。我们使用简单的重构损失（如公式（3））和逐渐降低的softmax温度来训练iCSN。我们展示了两个iCSN配置的结果。普通设置被称为概念交换网络（CSN），它对应于在人类交互之前具有正确数量的上位概念（J=3）和每个上位概念的过度估计数量K的iCSN。最后，iCSN表示经过初始训练阶段并进行了额外用户交互的CSN。对于β-VAE，Ada-VAE和VAE的潜在变量数设置为真实的上位概念数。所有Cat-VAE运行都使用每个具有k =6个事件的三个分类分布进行。所有配置都使用五个随机种子初始化进行训练，并且结果呈现这些运行的平均值和标准差。所有呈现的结果都是从一个保留的验证集中获得的。更多细节可以在补充材料中找到。降低的代码方差。模型的潜在空间的人类可理解性和交互性在于模型的概念表示的一致性。换句话说，颜色蓝的表示应该是特定于这个概念的，一个物体的蓝色的潜在表示应该与第二个蓝色物体的潜在表示非常相似。如果不是这样，对于人类用户来说，识别和与这些学习到的概念进行交互仍然是困难的。受到这种直觉的启发，我们首先研究了方差的变化。DTLRβ-VAE (unsup.)88.98 ± 11.5373.86 ± 18.07Ada-VAE (pair)63.39 ± 11.3274.07 ± 6.40VAE (pair + ID)97.28 ± 5.3297.88 ± 0.73Cat-VAE (pair + ID)74.79 ± 19.4591.17 ± 13.13CSN99.92 ± 0.0599.87 ± 0.07iCSN100.0 ± 0.00100.0 ± 0.001103220图5.不同模型类型和训练设置下，给定真实概念标签的平均潜在编码方差。比较的模型包括无监督训练的β-VAE，带有配对图像的Ada-VAE，带有配对图像和已知共享因子ID的VAE和分类VAE，以及具有学习概念空间上的附加交互的新型CSN和iCSN。注意，较低的方差是可取的。0β-VAE（无监督）88.98 ± 11.53 73.86 ± 18.07Ada-VAE（配对）63.39 ± 11.32 74.07 ± 6.40VAE（配对+ID）97.28 ± 5.32 97.88 ± 0.73Cat-VAE（配对+ID）74.79 ± 19.45 91.17 ± 13.13 CSN99.92 ± 0.05 99.87 ± 0.07 iCSN 100.0 ± 0.00 100.0 ±0.000消融Cat-VAE w. swap. 60 . 85  ±  7 . 29 65 . 71  ±  10 .66 iCSN  w. avg. 68 . 84  ±  39 . 4 68 . 81  ±  39 . 40表1.通过决策树（DT）和逻辑回归（LR）进行线性探测。（顶部）在iCSN模型和各种基线上进行探测。（底部）通过在Cat-VAE的潜在代码上进行探测进行消融研究，包括编码器分布交换和iCSN概念编码平均。所有分类准确率都是在一个保留的测试集上计算的。0给定每个验证图像的地面真实多标签信息，计算每个概念在所有验证图像上的潜在代码方差。在数学符号中，这对应于：0K ∙ J0J =30j = 10k = 1 Var({¯zj}l == k) (4)0使用Var（∙）表示方差，¯zj表示相应模型的潜在表示的占位符（iCSN的离散原型距离代码y，具有高斯分布的VAE的分布均值和Cat-VAE的事件概率）。{∙}l ==k表示来自图像的潜在表示的集合，其中类别j的基本概念对应于k。所有模型的结果代码方差可以在图5中看到。请注意，低代码方差是可取的，并且指示概念如何映射到不同的表示。图5的结果表明，CSN的潜在空间的方差要低得多，显示出更一致的概念表示。然而，减少的潜在代码方差并不是概念一致性和人类可理解性的充分标准。例如，学习将所有概念映射到单个表示的模型具有零潜在代码方差，但也没有表示能力。因此，我们接下来通过线性模型来探测潜在概念空间。探测潜在空间。与自我监督社区的作品[10,12,14,15,63]类似，我们通过线性探测来研究每个模型的潜在代码。为此，我们推断出每个模型在一个保留数据集上的潜在代码，就像前面的实验一样。接下来，通过将该数据集的每个多标签基本事实向量c转换为32维的one-hot向量来获得地面真实标签。encoding. Finally, a Decision Tree (DT) and a Logistic Re-gression (LR) are trained supervisedly on this data set andvalidated on an additional held-out data set.The results in Tab. 1 (top) document the average accu-racy and standard deviation on the held-out validation setover the five random initializations for the different models.We observe that the latent code of CSNs allows for nearlyperfect predictive performance and surpasses all variationalapproaches. Importantly, CSNs’ representations even sur-pass those of VAE approaches (VAE and Cat-VAE) thatwere trained with the same type of weak supervision asCSNs. As expected, the β-VAE performs worse on averagethan the weakly-supervised models. Interestingly, however,the Ada-VAE configuration performed worse than the β-VAE. In addition, the discrete latent representations of Cat-VAE also perform worse than CSNs. Noticeably, the Cat-VAE runs indicate a high deviation in performance, indi-cating that several Cat-VAE runs converged to sub-optimalstates. In summary, although the ECR data set only containsvariations in individual 2D geometrical objects, the baselinemodels do not perform as well as CSNs, even when trainedwith the same amount of information.Explaining and revising the latent space. An advantage ofan iCSN’s semantically bound, discrete latent space, is thestraightforward identification of sub-optimal concept rep-resentations by a human user cf. Fig. 1. Upon identifyingcorrectly or falsely learned concepts, a user can then applysimple logical feedback rules on this discrete concept space.Specifically, after training via weak supervision, it is rec-ommendable for the machine and human user to discuss thelearned concepts and identify whether these coincide withthe user’s knowledge or if a revision is necessary. For exam-ple, an iCSN can learn to represent a color over several pro-totype slots or represent two shapes via one slot, indicatingthat it falsely considers these to belong to the same concept.An iCSN can then convey its learned concepts in two ways.First, it can group novel images that share a concept ac-cording to its inferred discrete prototype distance codes andinquire a human user if indeed the grouped images sharea common underlying concept cf. Fig. 1. Second, utilizingthe decoder, it can present the prototypical reconstructionof each learned concept, e.g., presenting an object with aprototypical shade of blue cf. Fig. 2.Having identified potential sub-optimal concept repre-sentations, a human user can now interact on the discretizedlatent space of iCSNs via logical rules and further improvethe representations, which we demonstrate via simulateduser interactions in the following.For all previous runsof the vanilla CSN configuration, we visually inspect theconcept encodings y for one example each of the 32 possi-ble concept combinations and identify those prototype slotswhich are “activated” in the majority of examples per in-dividual concept (primary slots) and, additionally, identify103230对于我们的示例子集中从未或很少激活的每个概念的原型槽（次要槽），我们接下来对y应用L2损失，以避免使用这些次要槽，并通过原始训练集上的原始重构损失和这个额外的L2损失微调先前的运行。这种反馈的语义是概念只应该由它们的主要原型槽表示。此外，在两次运行中，我们修正了一个观察到的次优解，即五边形和圆形绑定到同一个原型槽。通过额外的L2损失，对训练集上的所有五边形样本提供反馈，将它们绑定到一个空的原型槽。这些交互的结果可以在图5和表1（顶部）的iCSN中找到，分别表示每个真实概念的接近零的潜在编码方差和完美的线性探测准确性。因此，这表明了与iCSN的潜在空间进行交互和修订的便利性。交互式学习新的基本概念。此外，iCSN的基于原型的表示对于在线学习环境具有有趣的特性，例如遇到模型以前未见过的新概念。通过iCSN的解码器，评估重构误差可以作为识别模型是否对新样本具有良好表示的手段。当教授iCSN一个新的基本概念，如半圆形，用户可以识别模型的潜在表示中的一个未绑定的原型槽，并鼓励将其绑定到该槽。为了防止灾难性遗忘[55,65]，即覆盖已经学到的概念，我们使用常见的回顾[67]和知识蒸馏方法[32,47]的组合，让模型预测过去样本的潜在编码，并限制iCSN不偏离这些编码。具体来说，我们使用L2损失对已知和未知的单热概念编码进行简单的损失，以鼓励绑定未知概念，同时不遗忘已知概念。图6（顶部）显示了iCSN潜在空间上线性模型的预测准确率，该模型被呈现为包含新概念半圆形的数据集。标签before表示在Tab.1（顶部）的iCSN运行的潜在编码上的准确率，这些运行是在标准ECR概念上进行训练的，而after表示在与模拟用户的额外交互之后的潜在编码上的准确率，通过提供将新概念绑定到形状码本的空原型槽的信息。这些结果表明了将新的基本概念的附加知识添加到iCSN的潜在表示中的便利性。交互式学习新的上位概念。接下来，我们展示如何添加一个新的上位概念。对于这种设置，我们使用ECR数据集的一个变种，在大约一半的对象中心添加了白色斑点。另一半则呈现了与原始ECR数据集中一样的实心颜色。我们考虑一个在线学习环境，在初始训练期间斑点是不重要的，但在第二轮交互中被重新考虑为重要。iCSN的模块化性质使我们可以在初始训练期间轻松添加一个读出编码器，该编码器学习表示通过初始配对样本未离散化的所有数据信息（详见第3节）。在第二轮训练中，这个连续的读出编码器可以被一个离散化的读出编码器和额外的码本替换。这种模块化性质进一步消除了灾难性遗忘的危险，因为所有先前训练的模块都可以在第二轮训练中被冻结，因此只需要对新的读出编码器进行微调。通过假设iCSN已经正确学习了先前的概念，并使用额外的连续读出编码器来表示斑点特征，模拟人类用户交互。随后，引入了额外的训练样本对，展示了新的上位概念，并像标准训练设置中那样微调新的读出编码器。结果可以再次在图6中看到，展示了模型在潜在表示上的线性模型准确性，包括模拟用户交互之前和之后的情况，表明新的上位概念可以轻松地绑定到模型的内部原型表示中。在这里，我们提到了iCSN处理混淆数据的理想特性。假设在数据生成过程中存在不希望的混淆因素，导致出现虚假特征，iCSN可以通过上述机制学习忽略这些特征。这与GAN或具有高斯分布的变分方法相比，后者可能也会学习建模虚假特征。消融研究。为了评估iCSN的不同组成部分的重要性，我们进行了消融研究，并在表1（底部）中显示了线性探测分类性能。具体来说，我们测试了一个使用相关编码器分布交换的Cat-VAE，而不是iCSNDTLRNovel Superordinate Conceptbefore93.1 ± 4.4667.54 ± 9.07after99.85 ± 0.398.29 ± 3.42a solid color as in the original ECR data set.We consider an online learning setting where spots areunimportant during the initial training but reconsidered im-portant in the second round of interaction. The modularityof iCSNs allows us to easily add a read-out encoder duringinitial training that learns to represent all the informationof the data that is not discretized via the initial pa