ADINet：属性驱动增量网络用于视网膜图像分类

140330ADINet：用于视网膜图像分类的属性驱动增量网络0国立信息学研究所医学大数据研究中心0qiermeng@nii.ac.jp0国立信息学研究所医学大数据研究中心Satoh Shin’ichi0satoh@nii.ac.jp0摘要0视网膜疾病包括各种类型，包括不同的疾病和严重程度。用所有可能的疾病类型训练模型是不切实际的。当出现患有新疾病的患者时，动态训练模型是必要的。深度学习技术近年来取得了显著的进展，但是当新的训练类别出现时，它们会遭受灾难性遗忘，即性能显著下降。我们发现保持教师模型的特征分布有助于保持增量学习的性能。在本文中，我们设计了一个名为“属性驱动增量网络”（ADINet）的框架，将类别标签预测和属性预测整合到增量学习框架中，以提高分类性能。通过图像级分类，我们应用知识蒸馏（KD）来保留基类的知识。通过属性预测，我们计算图像的每个属性的权重，并使用这些权重进行更精确的属性预测。我们设计了属性蒸馏（AD）损失来保留基类属性的信息，以适应新的类别。这种增量学习可以多次进行，性能下降适度。我们在我们的私有视网膜底图像数据集上进行的实验结果表明，我们提出的方法优于现有的最先进方法。为了证明我们提出的方法的泛化性，我们在ImageNet-150K-sub数据集上进行了测试，并展示了良好的性能。01. 引言0视网膜疾病包括各种类型，包括不同的疾病和严重程度。通常，视网膜疾病有几十年的类型。由于疾病在不同阶段的变化，很难同时收集所有疾病类型来训练模型，特别是在一些常见疾病如视网膜静脉阻塞或中心性浆液性脉络膜病的情况下。当出现患者患有新的疾病时，动态训练模型是必要的。0图1.几种视网膜疾病的示例。图示了我们的基本思想。我们研究具有图像级标签和基类对应属性的图像。我们使用教师模型预测新类别的标签和属性。0疾病出现。在医学成像应用中，对于能够在一系列任务中实现增量学习的系统的需求越来越大。由于疾病数据集的隐私问题，很难获取所有旧数据集。深度卷积网络在计算机视觉的分类任务中取得了很好的性能。然而，增量学习范式仍然存在灾难性遗忘的问题，即当新类别的数据集出现时，基类的性能会下降。在现实世界的物体分类中，系统必须通过检查新知识来不断升级。然而，始终使用旧数据和新数据一起对模型进行重新训练是不切实际的。当出现新类型的数据时，进行增量学习的一种自然方式是在新数据上微调预训练模型。图1展示了我们提出的方法的基本思想和视网膜疾病数据集的示例图像。视觉属性是计算机视觉中的一个重要研究领域，因为它们可以作为一个强大的中层表示，可以连接低级特征和高级人类识别。用于中层表示的属性已经在各种计算机视觉任务中进行了研究，包括识别、分类和检索。240340多年来，眼底成像中，属性是从每个患者的疾病症状的病例历史中总结出来的。对于图像分类，我们发现良好的属性预测有助于提高分类性能。鉴于上述情况，学习新类别而不遗忘基类有两种直接的解决方案：（1）保留原始模型的参数，即将初始化的输出层添加到原始模型并调整整个网络[34，14]，以及（2）使用知识蒸馏（KD）等技术在原始模型中保留基类的知识[11，25]。然而，尽管这些方法在一定程度上可以缓解灾难性遗忘，但整体分类性能仍然明显低于经典联合学习。我们工作的主要贡献是提供一种基于属性的增量学习方法。我们假设每个类别的属性预测可以用于编码模型的表示，并且可以使用属性蒸馏（AD）损失来约束教师模型和学生模型的属性预测，如第3.5节所解释的那样。AD损失有助于模型记住一些视觉知识。通过整合属性预测，我们提高了图像分类的性能。另一个贡献是我们的模型可以对不同的类别进行分类并预测每个图像的属性。我们要求眼科医生为每个类别提供属性注释，而不是每个图像。为了准确预测属性，我们根据每个属性的信息熵计算每个图像中每个属性的权重。然后，将每个属性的权重整合到一个全连接层中进行属性预测。我们将预测的属性信息整合到增量学习框架中。我们的论文是第一个使用特征分布来保留基类知识以提高增量学习性能的论文。所得到的框架在我们的私有视网膜眼底图像数据集上优于现有的最先进方法。我们发现该方法可以推广到其他领域，因此我们还在一个包含专家属性注释的公共数据集ImageNet-150K [22]上进行了实验。02. 相关工作0与所提出方法相关的工作可以分为两类：增量学习和属性学习。以下是关于我们的工作与这些方法之间在相应方面的联系和区别的解释。02.1. 增量学习0增量学习一直是机器学习中的一个长期问题[3，15]。由于训练过程是增量的，主要问题是过拟合。0即将发生的灾难性遗忘。基于深度学习的成功，现有的工作可以分为两类：基于参数和基于蒸馏。基于参数的方法根据网络权重的重要性估计教师模型和学生模型的权重参数。MAS[1]也着重研究了网络权重的重要性，以无监督和连续的方式。当出现新数据时，可以对重要参数的变化进行惩罚，以防止先前知识的遗忘。基于蒸馏的方法主要依赖于知识蒸馏。知识蒸馏[11]是将知识从一个网络传递到另一个网络的有效方法。知识蒸馏首次应用于增量学习是在无遗忘学习（LwF）[20]中，其中使用修改的交叉熵损失来保留教师模型中的知识。Hou等人[12]提出了一个通过蒸馏和回顾从基类中提取先前知识的框架。M.Castro等人[2]通过使用蒸馏损失来保留知识提出了一个端到端的增量框架，而交叉熵损失则用于对新类型进行分类。S.Rebuffi等人[26]选择了一些靠近平均样本的示例，并使用蒸馏损失从中蒸馏知识。02.2. 属性学习0属性学习在大规模数据集中的图像分类中引起了广泛关注[16,7]。学习视觉属性有助于提高分类性能[17]。实例或类别的属性描述作为语义上有意义的中间表示，有助于弥合低级特征和高级类别概念之间的差距。[31]提出了一种用于人脸识别和属性预测的联合学习架构。[32]提出了一种增加不同类别之间差异性的多任务学习机制。[19]通过学习由不同属性组成的二进制代码，解决了大规模基于内容的人脸图像检索问题。已经有一些应用于属性研究中的增量学习的应用，例如[13, 5, 33]。03. 提出的方法03.1. 动机0我们的方法受到了关于知识蒸馏的最近工作的启发。在增量学习过程中，我们使用知识蒸馏来保留基类的知识。我们还设计了AD损失来保留基类属性的知识。对于属性预测，我们估计每个图像中每个属性的权重。该权重用于计算用于预测每个图像属性的表示。它有助于精确预测属性并提高分类性能。我们的损失函数专门设计用于利用部分标记的属性，在现实世界中更具普遍性。所有过程都是逐步进行的。我们的提出方法旨在通过仅使用类别注释而不是每个图像的属性注释来提高增量学习分类的性能并预测每个图像的属性。流程图如图2所示。In this section, we explain each symbol used in our pro-posed method. Assume that we have N training images ex-d×Nd340350图2.提出方法的框架。我们同时进行图像级别的分类和属性预测。在属性预测中，我们估计每个属性的权重，以精确预测属性。对于蒸馏，我们使用KD损失进行图像级别的分类和AD损失进行属性预测。0在本节中，我们解释了我们提出方法中使用的每个符号。假设我们有N个训练图像表示为X = [x1, x2, ..., xN] ∈ Rd ×N，其中xi ∈ Rd03.2. 问题描述0第i个图像具有d维表示。我们还有真实的类别标签l ∈ [1, 2,...,P]，其中P表示标签的数量。我们还有所有类别属性的真实注释，以类属性注释矩阵的形式表示，记为A ∈ {0, 1, 2}P× T，其中T表示每个类别的属性数量。al,j是矩阵A中的元素，表示第l个类别中的第j个属性。a l,j =1和0表示该属性是否存在/不存在。我们使用a l,j =2表示第j个属性与第l个类别无关。因此，属性标签缺失，即该属性无法为该类别的分类提供有用信息。在我们提出的方法中，我们需要同时进行图像级别的分类和属性预测。我们还计算每个属性的权重wl,j，以指定第j个属性对第l个类别的贡献。我们将pl表示每个类别标签l的预测，pl,j表示每个属性标签的预测，w l,j表示每个属性的权重。03.3. 图像级别的分类0我们使用ResNet50[10]作为我们提出方法的骨干，因为ResNet架构在图像分类方面表现良好。全局特征，即在ResidualBlock4的avg-pooling之后的全连接层fc，被馈送给T +1个分类器作为fc1，fc2，...，fcT +1。fc1用于图像级别的分类。fc2到fcT +1用于对每个类别的属性进行分类。在图像级别的分类中，我们使用softmax层在fc1层之后获得类别预测。这个分类是多类别分类。03.4. 权重估计和属性预测0即使在同一类别中，同一属性在不同图像中的贡献也不同。将所有属性视为同等信息量会降低预测性能。为了准确反映每个图像中每个属性的信息量，我们估计每个属性的权重并进行属性预测。我们采用ResNet50作为特征提取器。然后，我们应用T个属性预测器，包括一个全连接层和一个sigmoid层，进行属性预测。图3显示了权重估计的过程。我们将图像输入ResNet50并获得类别l中第j个属性的初始预测结果p l,j。然后，我们计算该属性的熵来表示该属性的信息量。熵的计算公式如下：02 ( p l,j log ( p l,j )+(1 − p l,j ) log (1 − p l,j )) . (1)在计算每个类别中每个属性的熵之后，我们计算每个熵的指数作为权重：Conf (pl,j) =�eEntropy(pl,j )σ2,al,j ̸= 2,0,al,j = 2,(2)fcnewl,j= wl,jfcl,j,(4)Lcls = Lcategory + αLattribute,(5)Lcategory = −n+m�l=1lllog(pl),(6)Ll,j = −I(al,j ̸= 2)(al,jlog(pl,j)+(1−al,j)log(1−pl,j)),(7)Lattribute =n+m�l=1T�j=1Ll,j,(8)440360图3. 权重估计和属性预测的框架0Conf  ( p l,j ) 然后将这些指数归一化以获得权重：0w l,j  = Conf  ( p l,j ) / T j =1 Conf  ( p l,j) , (3)0检查这个权重以显示属性在区分类别方面的贡献程度。当 al,j  = 2时，意味着该属性对于区分该类别没有贡献，因此我们将Conf  ( p l,j )设置为0。我们将这些权重与全连接层的输出相乘，以获得类别l中属性j的新全连接层输出fc new l,j ：0fc new l,j被发送到属性预测器，该预测器由一个全连接层和一个sigmoid层组成。属性预测器通过使用属性标签进行修改的二元交叉熵损失进行训练。03.5. 损失函数0整个框架以增量方式进行训练；即，在增量学习步骤t中，我们将教师模型定义为N t ，将学生模型定义为N t +1 。Nt 在基类n上进行训练，N t +1在基类n和新类m上进行训练，通过向N t的输出层添加m个神经元。学生模型的权重参数使用教师模型的参数进行初始化，除了输出层中新添加的神经元，它们是随机初始化的。为了在训练新类别的数据时减轻对基类的灾难性遗忘，我们在损失函数中利用知识蒸馏[11]。KD损失函数使用教师模型的输出作为地面真实标签来训练学生模型，而不是使用硬标签来训练损失函数。对于图像级别分类，我们联合优化基类上的KD损失和新类上的交叉熵损失，以实现良好的分类性能。0对于分类部分，我们反向传播图像级别分类和属性分类的损失。分类的损失函数 L cls 定义如下：0其中，L category 是图像级别分类的损失函数，l l是疾病标签的真实标签。L attribute是属性分类的损失函数。L l,j是修改后的交叉熵损失函数，a l,j是属性标签的真实标签。在L l,j 中，I (cond.)在条件为真时为1，否则为0。当属性标签缺失时，我们有 I( a l,j  = 2) = 0 。α 是一个权衡参数，定义为0.5。L cls是我们工作中分类部分的损失函数。在获得教师模型之后，我们希望保留基类的知识。我们在图像级别分类中使用知识蒸馏损失[20]。蒸馏损失函数 L dis 定义如下：0Ldis = LD + αLAD，(9)0LD = -0l=1 ˆltl log(pt+1l)，(10)0ˆltl = softmax(fct1/Tdis)，(11)0其中Tdis是一个温度标量。LD是图像级分类的蒸馏函数（图2中的KD损失），ˆltl是第l个类别的输出概率的蒸馏版本540370教师模型的类别Nt。而pt+1l是学生模型Nt+1的第l个类别的预测概率[20]。为了保留基类的属性知识，我们设计了属性蒸馏损失LAD来保留旧属性的知识。对于任何给定的输入图像x，令b是Nt预测的前k个基类中的最高类别，并且我们将模型Nt和Nt+1的属性预测向量分别表示为Ax,bt和Ax,bt+1。我们使用这两个属性预测向量的逐元素L1差异之和来计算LAD：0LAD =0T′0j=10|Ax,bt,j - Ax,bt+1,j| ≤ 1，(12)0实质上，图像x的属性预测表示特征分布，反映了教师模型对基类的研究。如果Nt和Nt+1对基类具有相等的知识，它们应该预测属性相似。因此，Ax,bt和Ax,bt+1应该是相似的。整体损失结合了蒸馏损失和分类损失：0L = λL dis + (1 - λ)L cls，(13)0其中标量λ用于平衡这两个项。标量λ设置为n′0n + m，其中n和m是基类和新类的数量。03.6.使用基类的示例0在我们的应用中，我们选择了一种流程，将少量基类的示例应用于我们的训练数据集。这是因为仅使用新类进行下一次迭代训练将导致基类的大部分信息丢失。为了减少增量学习的训练时间和存储成本，我们选择了基类数据集的一部分而不是全部数据集。示例图像的选择通常有两种方式。第一种是随机选择，从每个基类中随机选择固定数量的图像。第二种是由iCaRL提出的示例管理策略，选择使示例的平均特征向量最接近均值的图像。在我们的流程中，我们选择了第二种策略。04.实验04.1.实验设置0数据集我们在两个数据集上进行了实验。第一个是眼底图像数据集，是我们的私有眼底图像数据集。它包含6000张图像，包括20种不同类型的疾病。对于每个类别，多位专家眼科医生在该数据集中注释了24个属性。表1显示了疾病标签和属性标签0表1.眼底图像数据集中的部分疾病标签和语义属性0疾病标签 属性0黄斑正常中心回流0年龄相关性黄斑出血，...0变性早期[AMD（早期）]黄斑水肿0年龄相关性黄斑出血，...0变性萎缩性[AMD（萎缩性）]黄斑水肿0年龄相关性黄斑出血，...，硝石0变性渗出性[AMD（渗出性）]萎缩0中心性浆液性脉络膜病变黄斑水肿，...，视网膜内液0视网膜静脉出血，玻璃体出血0阻塞支（RVO（B））糖尿病视网膜病变出血，...，新生血管0青光眼淡色视盘，扩大杯盘0近视黄斑病变视盘改变，黄斑裂孔0近视性脉络膜地理萎缩，...，出血0新生血管0第一部分是一个眼底图像数据集，由13所大学编制，多位专家眼科医生对图像进行了图像级别标注。数据集的60%用于训练，20%用于验证，剩余的20%用于测试。第二部分是ImageNet-150K-sub，它是ImageNet-150K[22]的一个子集。ImageNet-150K是ILSVRC2012数据集[28]的一个子集，包含150,000张图像。在ImageNet-150K中，从数据集中为每个1,000个类别选择了来自训练集的148张图像和来自验证集的2张图像。在该数据集中，多位专家为每个图像注释了25个属性。每个属性有三种标签，其中-1表示不存在，0表示不确定，在[22]中被视为缺失，1表示存在。我们将具有1的属性视为存在，-1的属性视为不存在。因为“不确定”不能提供有用的属性信息，我们将具有0的属性视为缺失。我们随机选择了100个类别的子集来进行实验。我们将该数据集称为“ImageNet-150K-sub”。在这里，我们分别使用每个类别的属性注释数据集和每个图像的属性注释数据集进行实验。我们希望比较性能并观察简单注释是否能提高实验性能。04.2. 实现细节0训练之前，我们对眼底图像进行预处理，通过裁剪来去除黑色区域，因为这些区域不包含任何信息。然后，我们将图像调整为512×512像素。在训练阶段，我们使用数据集中的随机旋转、水平翻转和垂直翻转的图像来增强数据集。CNN模型使用PyTorch在QuadroGV100上训练。我们最初使用ImageNet [4]对ResNet50[10]进行微调。使用动量为0.9的梯度下降优化器。我们训练了我们的CNN模型。01 完整的疾病标签和相应的属性标签可以在补充材料中找到。Bilinear-CNN [21]76.1%PDFR [35]77.0%FV-CNN [8]77.2%FCAN [23]78.5%RA-CNN [6]78.1%Boost-CNN [24]79.5%MA-CNN [36]81.2%A3M [9]80.5%ADINet82.7%Bilinear-CNN [21]81.2%PDFR [35]83.0%FV-CNN [8]83.4%FCAN [23]83.9%RA-CNN [6]84.2%Boost-CNN [24]84.9%MA-CNN [36]85.4%A3M [9]85.7%ADINet87.4%640380批大小为16，初始学习率为0.01。我们选择iCarL[26]作为我们工作的基线。对于眼底图像实验，每个基类存储了10个示例图像。对于ImageNet-150K-sub实验，每个基类存储了20个示例图像。04.3. 增量学习评估0每个阶段后，通过分类准确率曲线评估增量学习。我们还计算了所有准确率的平均值，即平均增量准确率。0我们将我们提出的ADINet方法与我们私有的眼底图像数据集上的最先进方法进行了比较。我们将ADINet的结果与无遗忘学习（LwF）[20]，增量分类器和表示学习（iCaRL）[26]以及端到端增量学习（EEIL）[2]的结果进行了比较。图4显示了10、5和2个阶段的增量设置的结果。每种方法旁边的括号中显示了平均增量准确率。如图4所示，ADINet在分类准确率曲线的趋势或平均增量准确率方面优于最先进的方法。特别是在5个阶段中，ADINet的增长超过了iCaRL[26]的10%。根据图4，可以看出ADINet能够保留基类的知识，解决了基类和新类之间的不平衡问题。ADINet在10、5和2个阶段的平均增量准确率分别为82.7%、83.2%和83.1%。根据图4，可以看出随着增量阶段的增加，由于在我们的眼底图像数据集上的灾难性遗忘，性能下降了。0我们还比较了ADINet在ImageNet-150K-sub数据集上的表现。我们展示了该方法在验证数据集上的性能。图5展示了与10、5和2个阶段进行比较的结果。ADINet在10、5和2个阶段的平均增量准确率分别为87.4%、87.3%和82.5%。0ADINet在脉络膜数据集上的平均增量准确率不如在ImageNet-150K-sub数据集上的平均增量准确率好，这是因为ImageNet-150K-sub数据集具有更大的方差，更容易分类。ImageNet-150K-sub为每个图像提供属性标签，但我们的脉络膜数据集只提供每个类别的属性标签。然而，观察这两个数据集的结果曲线，我们发现仅使用每个类别的属性标签也可以有效地减轻增量学习中的灾难性遗忘。基于这些结果，我们的方法仍然可以通过仅使用每个类别的属性标签来提升增量学习的性能。0表2. 脉络膜图像数据集的分类结果0方法top-1准确率0表3. ImageNet-150K-sub的分类结果0方法top-1准确率04.4. 图像分类评估0我们将ADINet与一些经典的图像分类方法进行了比较。我们在我们的私有脉络膜图像数据集和ImageNet-150K-sub上进行了实验。我们使用分类准确率（top-1准确率）进行衡量。结果总结在表2和表3中。我们使用10个阶段的平均增量准确率作为与最先进方法的比较的分类性能。从所展示的结果可以看出，我们的模型表现出了竞争性的性能。这表明将属性和权重估计与增量学习相结合可以提升增量学习的性能，在进行图像分类时是有效的。04.5. 属性预测评估0我们在属性预测方面比较了我们提出的方法。我们在ImageNet-150K-sub数据集上进行了实验。我们使用分类准确率（top-1准确率）进行衡量。表4将ImageNet-150K-sub数据集中的10个属性的结果与两种先前方法进行了比较。其中一种方法仅使用ResNet50进行属性识别，另一种方法是DeepMAR [ 18]，通过使用人类属性之间的相关性来进一步提高整体识别性能。根据表4，ADINet在低比例属性方面的改进比其他两种先前方法更显著。通过仅使用ResNet50，可以看出属性识别的整体性能相对较低。通过考虑属性之间的相关性，整体性能得到提高。计算权重预测并将权重与属性识别相结合可以02ImageNet-150K-sub数据集中的所有属性识别结果可以在补充材料中找到。(a)(b)(c)Figure 4. Performance on our private fundus image dataset with incremental setting of 10, 5, and 2 phases.740390(a) (b) (c) 图5. 在ImageNet-150K-sub上的性能，采用10、5和2个阶段的增量设置。0图6.视网膜图像数据集上的属性识别。第一行显示了三种不同疾病的属性预测结果，第二行显示了三种不同AMD严重程度的属性预测结果。蓝色箭头显示了属性的对应区域。我们显示了前2个预测分数的属性。0显著提高性能。图6显示了使用视网膜图像数据集进行属性预测的示例。可以看出，我们的方法有效地预测了每个视网膜图像的属性，这将有助于眼科医生进行诊断。0表4. ImageNet-150K-sub的属性识别比较0属性比例 ResNet50 DeepMAR ADINet0黑色 0.12 57.2 65.2 75.20蓝色 0.0235 66.3 76.1 81.40棕色 0.0895 62.8 71.6 78.20灰色 0.0265 61.8 67.7 73.60绿色 0.0315 52.9 65.2 78.90橙色 0.012 57.3 69.0 73.40粉色 0.0075 57.4 67.8 72.10红色 0.0435 59.3 76.2 75.10紫色 0.003 64.1 81.7 83.20白色 0.111 67.6 78.7 82.30平均 * 60.7 71.9 77.304.6. 消融研究0我们现在分析我们方法的组成部分，并展示它们对整体性能的贡献。我们使用10个阶段的增量设置来评估我们的方法。我们进行了两个不同的实验：没有属性蒸馏的ADINet和没有权重估计的ADINet。在第一个实验中，我们在视网膜图像数据集和ImageNet-150K-sub上进行了实验。我们报告了每个增量步骤的分类准确率（top-1准确率）。我们还将不同方法的平均增量准确率进行了比较。在第二个实验中，我们还在这两个数据集上进行了实验。我们比较了私有视网膜图像数据集和ImageNet-150K-sub上每个增量步骤的分类准确率（top-1准确率）。并且我们比较了ImageNet-150K-sub上的平均属性识别准确率。840400(a) (b) (c) 图7. 视网膜图像消融研究。分别为10、5和2个阶段的结果。0(a) (b) (c) 图8. 在ImageNet-150K-sub上的消融研究。分别为10、5和2个阶段的结果。04.6.1 属性蒸馏评估0如前所述，为了估计图像分类中属性的影响，我们添加了属性蒸馏来提高分类性能。进行了全面的实验，并在图7和图8中显示了结果。我们比较了带有属性蒸馏的ADINet和不带属性蒸馏的ADINet。根据这些图表，没有属性蒸馏时，每个增量步骤的分类准确率显著下降。特别是随着增量步骤的增加，ADINet和不带属性蒸馏的ADINet之间的差异增大。这表明从基类中提取属性信息有助于保留特征并提高分类性能。04.6.2 权重估计评估0我们添加了权重估计，以精确预测每个类别的属性。根据图7和图8，在去除权重估计后，每个增量步骤的分类准确率下降。这是因为在每个图像中，不同的属性对分类的贡献不同。更具信息量的属性应该给予更高的权重。我们还比较了ADINet和没有估计的ADINet在ImageNet-150K-sub上的平均属性识别准确率。根据这个表格，可以看出我们提出的方法对ImageNet-150K-sub数据集产生了更精确的识别结果。我们这里只展示了与iCaRL的比较结果。其他比较的结果可以参考原文。0表5. 两个数据集的属性识别准确率比较0数据集ADINet无权重估计ADINet0ImageNet-150K-sub 73.6 76.60补充材料中可以找到基准线。05. 结论0我们研究了图像分类任务的增量学习问题，并提出了一种方法：属性蒸馏和属性权重估计。通过将属性信息整合到教师模型到学生模型的知识转移中，所提出的方法提高了分类性能。同时，我们提出的方法还可以研究每个图像的预测属性。这种方法优于现有技术。关于未来的工作，所提出的方法可以应用于即使没有属性标签也只有少数属性标签的情况。由于每个图像缺乏真实属性，增量属性识别是一个具有挑战性的问题。我们打算在这个方向上扩展我们的工作。致谢：眼底图像数据集由日本眼科成像注册研究组提供。本研究得到了日本医学研究和开发机构AMED的临床和医学研究人工智能ICT基础设施建立和实施的支持。940410参考文献0[1] Rahaf Aljundi, Francesca Babiloni, Mohamed Elhoseiny,Marcus Rohrbach, and Tinne Tuytelaars.记忆感知突触：学习什么（不）要忘记.在欧洲计算机视觉会议（ECCV）上，2017年11月。20[2] Francisco M. Castro, Manuel J. Marin-Jimenez, NicolasGuil, Cordelia Schmid, and Karteek Alahari. 端到端增量学习.在欧洲计算机视觉会议（ECCV）论文集中，2018年9月。 2，60[3] Gert Cauwenberghs and Tomaso Poggio.增量和减量支持向量机学习.在第13届国际神经信息处理系统会议（NIPS'00）上，第388-394页，2000年。20[4] J. Deng, W. Dong, R. Socher, and L. Li.ImageNet：一个大规模的分层图像数据库.在2009年IEEE计算机视觉和模式识别会议上，第248-255页，2009年。 50[5] Emrah Ergul. 基于相对属性的增量学习用于图像识别.CAAI智能技术交易，2（1）：1-11，2017年。20[6] J. Fu, H. Zheng, and T. Mei.看得更仔细才能看得更好：用于细粒度图像识别的循环注意卷积神经网络.在2017年IEEE计算机视觉和模式识别会议（CVPR）上，第4476-4484页，2017年。 60[7] Gang Wang and D. Forsyth.联合学习视觉属性、物体类别和视觉显著性.在2009年IEEE第12届国际计算机视觉会议上，第537-544页，2009年9月。20[8] Philippe Henri Gosselin, Naila Murray, Herv´e J´egou, andFlorent Perronnin. 重新审视Fisher向量用于细粒度分类. PatternRecognition Letters，49：92-98，2014年。 60[9] Kai Han, Jianyuan Guo, Chao Zhang, and Mingjian Zhu.属性感知注意模型用于细粒度表示学习.在第26届ACM国际多媒体会议（MM'18）上，第2040-2048页，纽约，美国，2018年。ACM. 60[10] K. He, X. Zhang, S. Ren, and J. Sun.深度残差学习用于图像识别.在2016年IEEE计算机视觉和模式识别会议（CVPR）上，第770-778页，2016年。 3，50[11] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean.蒸馏神经网络中的知识.在NIPS深度学习和表示学习研讨会上，2015年。2，40[12] Saihui Hou，Xinyu Pan，Chen Change Loy，ZileiWang和DahuaLin。通过渐进蒸馏和回顾进行终身学习。《欧洲计算机视觉会议(ECCV)》论文集，2018年。20[13] P. Kankuekul，A. Kawewong，S. Tangruamsub和O.Hasegawa。在线增量属性为基础的零样本学习。《2012年IEEE计算机视觉和模式识别会议》，页码3657-3664，2012年6月。20[14] James Kirkpatrick，Razvan Pascanu，Neil Rabinowitz，JoelVeness，Guillaume Desjardins，Andrei Rusu，Kieran Milan，0John Quan，Tiago Ramalho，AgnieszkaGrabska-Barwinska，Demis Hassabis，ClaudiaClopath，Dharshan Kumaran和RaiaHadsell。克服神经网络中的灾难性遗忘。《国家科学院院刊》，114，2016年12月。20[15] Ilja Kuzborskij，Francesco Orabona和BarbaraCaputo。从N到N+1：多类别迁移增量学习。《计算机视觉和模式识别国际会议(CVPR)》，2013年6月。20[16] C. H. Lampert，H. Nickisch和S.Harmeling。通过类间属性转移学习检测未见过的物体类别。《2009年IEEE计算机视觉和模式识别会议》，页码951-958，2009年6月。20[17] Ryan Layne，Timothy Hospedales和ShaogangGong。通过属性进行人物再识别。《英国机器视觉会议(BMVC)》论文集，卷2，2012年1月。20[18] D. Li，X. Chen和K.Huang。用于监控场景中行人属性识别的多属性学习。《2015年第三届IAPR亚洲模式识别会议(ACPR)》，页码111-115，2015年11月。60[19]李岩，王瑞平，刘浩淼，姜华杰，单世光和陈锡林。一石二鸟：联合学习用于大规模人脸图像检索和属性预测的二进制码。《计算机视觉国际会议(ICCV)》，2015年12月。20[20] Zhizhong Li和DerekHoiem。无遗忘学习。《IEEE模式分析与机器智能交易》，卷40，页码2935-2947，2016年。2，4，5，60[21] T. Lin，A. RoyChowdhury和S.Maji。用于细粒度视觉识别的双线性CNN模型。《2015年IEEE国际计算机视觉会议(ICCV)》，页码1449-1457，2015年12月。60[22] H. Liu，R. Wang，S. Shan和X.Chen。学习用于类别和属性导向检索任务的多功能二进制码。《2017年IEEE计算机视觉和模式识别会议(CVPR)》，页码6259-6268，2017年7月。2，50[23]刘晓，夏天，王江和林元庆。全卷积注意力定位网络：用于细粒度识别的高效注意力定位。CoRR，abs/1603.06765，2016年。60[24] Mohammad Saberian Jian Yang Nuno VasconcelosMoham- mad Moghimi，Serge Belongie和Li-JiaLi。增强的卷积神经网络。在Edwin R. Hancock Richard C.Wilson和William A. P.Smith的编辑下，《英国机器视觉会议(BMVC)》论文集，页码24.1-24.13，BMVA Press，2016年9月。60[25] Amal Rannen, Rahaf Aljundi, Matthew B. Blaschko和TinneTuytelaars。基于编码器的终身学习。《计算机视觉国际会议(ICCV)》，2017年10月。20[26] Sylvestre-Alvise Rebuf�，Alexander Kolesnikov，GeorgSperl和Christoph H.Lampert。icarl：增量分类器和表示学习。《计算机视觉和模式识别国际会议(CVPR)》，2017年7月。2，5，61040420[27]安东尼∙罗宾斯。灾难性遗忘、排练和伪排练。《连接科学》，7(2)：123-146，1995年。10[28] Olga Russakovsky，Jia Deng，Hao Su，JonathanKrause，Sanjeev Satheesh，Sean Ma，ZhihengHuang，Andrej Karpathy，Aditya Khosla，MichaelBernstein，Alexander C. Berg和LiFei-Fei。ImageNet大规模视觉识别挑战。《国际计算机视觉杂志》（IJCV），115（3）：211-252，2015年。50[29] Steffen Schmitz-Valckenberg，Frank Holz，AlanBird和RichardSpaide。眼底自动荧光成像：回顾与展望。《视网膜》（费城，宾夕法尼亚州），28：385-409，2008年4月。10[30] Konstantin Shmelkov，Cordelia Schmid和KarteekAlahari。无灾难性遗忘的对象检测器的增量学习。在2017年IEEE国际计算机视觉会议（ICCV）上，2017年10月。10[31] Fariborz Taherkhani，Nasser M. Nasrabadi和JeremyDawson。通过面部属性预测增强的深度人脸识别网络。在2018年IEEE计算机视觉和模式识别（CVPR）研讨会上，2018年6月。20[32]王占雄，何可可，傅彦伟，冯锐，姜宇刚和薛向阳。用于联合人脸识别和面部属性预测的多任务深度神经网络。在2017年ACM多媒体检索国际会议论文集上，ICMR'17，第365-374页，纽约，纽约州，美国，2017年。ACM。20[33]梁煜，金晓明，丁贵光，韩军功，李雷达。增量式少样本学习用于行人属性识别。第3912-3918页，2019年8月。20[34] Friedemann Zenke，Ben Poole和SuryaGanguli。通过突触智能进行持续学习。在2017年ICML上。20[35]张旭，熊浩，周伟，林伟，田强。选择深度滤波器响应进行细粒度图像识别。在2016年IEEE计算机视觉和模式识别会议（CVPR）上，第1134-1142页，2016年6月。60[36]郑贺亮，傅建龙，梅涛和罗杰波。学习多注意力卷积神经网络进行细粒度图像识别。在2017年IEEE国际计算机视觉会议（ICCV）上，2017年10月。6