半监督医学图像分类中的伪标签生成和线性分类器：一种新的SSL算法

20697加密伪标签一代KNN分类器线性分类器伪标签生成线性分类器ACPL：半监督医学图像分类刘峰北1*于天1*陈元宏1刘玉源1VasileiosBelagiannis2 Gustavo Bagiiro11阿德莱德大学澳大利亚机器学习研究所2Uni versit aütUlm，German y摘要有效的半监督学习（SSL）在医学图像中的应用伪标签年龄分析（MIA）必须解决两个挑战：1）工作有效地在多类（例如，病变分类）以及多标签（例如，多疾病诊断）问题，和2）处理不平衡的学习（因为疾病患病率的高变化）。在SSL MIA中探索的一种策略是基于伪标签策略，但它有一些缺点。伪标记的准确率一般低于一致性学习，它不是专门为多类和多标记问题设计的，并且可能受到不平衡学习的挑战与传统的通过阈值选择可信伪标签的方法不同，本文提出了一种新的SSL算法，称为反课程伪标签（anti-coursealpseudo-labeling，ACPL），它引入了新的技术来选择信息丰富的未标记样本，改善了训练平衡，使模型能够同时处理多标签和多类问题，并通过准确的分类器集成来估计伪标签（提高伪标签精度）。我们在两个公共医学图像分类基准上进行了广泛的实验以评估ACPL：胸部疾病多标签分类的胸部X射线14和皮肤病变多类别分类的ISIC 2018我们的方法在两个数据集上都优于传统的SOTA SSL方法12。1. 介绍深度学习在医学图像分析（MIA）中表现出了出色的结果[24，34，35]。与计算机视觉相比，由医学专家标记MIA训练集的成本要高得多，导致标记图像的可用性低，但未标记图像的可用性高。*前两位作者对这项工作作出了同等贡献。1由澳大利亚研究委员会通过赠款DP180103232和FT190100525支持。2代码可在https://github.com/FBLADL/ACPL自信伪标签选择(a) ACPL（上图）和传统伪标签SSL（下图）的示意图(b) 多标签胸部X线片14 [39]（左）和多类别ISIC 2018 [36]（右）图1.在（a）中，我们显示了拟议的ACPL（上）和传统的伪标签SSL（下）方法的图表，（b）显示了多标签胸部X射线14 [39]（左）和多类ISIC2018 [36]（右）的每个标签的图像直方图。可以在深度学习分类器的建模中探索来自诊所和医院数据库的图像此外，与倾向于大多数多类和平衡的计算机视觉问题不同，MIA具有多个多类（例如，单个类别的病变图像）和多标记（例如，来自患者的图像可以包含多种疾病）问题，其中由于疾病的可变流行率，这两个问题通常包含严重的类别不平衡（参见图1-（b））。因此，MIA半监督学习（SSL）方法需要足够灵活，以处理多标签和多类问题，除了处理不平衡学习。最先进的（SOTA）SSL方法通常基于未标记数据的一致性学习[5，[32]和自我监督的预训练[25]。尽管基于一致性的方法显示了多类SSL问题的SOTA结果，但伪标记方法显示，参考样本选择取消标签取消标签特征提取器伪标签特征提取器20698多标签SSL问题的更好结果[29]。伪标记方法为用于重新训练模型的置信分类的未标记样本提供标签[22]。伪标记SSL方法的一个问题是，自信地分类的未标记样本代表信息量最少的样本[30]，对于不平衡问题，这些样本可能属于多数类。因此，这将使分类偏向多数类，并且很可能使少数类的分类准确性此外，选择置信伪标记样本在多类中是具有挑战性的，但在多标记问题中更是如此以前的论文[2，29]对所有类使用固定阈值，但是解决多标签问题中的不平衡学习和类之间的相关性的类阈值将实现更准确的伪标签预测。然而，这样的类的阈值是很难估计不知道类分布，或者如果我们正在处理一个多类或多标签的问题。此外，将模型输出用于伪标记过程还可能导致确认偏差[1]，因此，不正确的伪标记的分配将增加这些不正确预测的模型置信度，从而降低模型准确度。在本文中，我们提出了反课程伪标签（ACPL），它解决了多类和多标签不平衡学习SSL MIA问题。首先，我们介绍了一种新的方法来选择最丰富的未标记的图像进行伪标记。这是出于我们的论点，即存在着一个分布之间的转移，未标记和标记的样品SSL。一个有效的学习课程必须关注信息丰富的未标记样本，这些样本尽可能远离标记样本的分布。因此，这些信息样本很可能属于MIA不平衡学习问题中的少数类。选择这些信息样本将自然地平衡训练过程，并且鉴于它们是在伪标记过程之前选择的，我们消除了估计类分类阈值的需要，从而使我们的模型能够很好地处理多类和多标签问题。未标记样本的信息含量测量是用我们提出的交叉分布样本信息性计算的，该交叉分布样本信息性输出未标记样本与标记锚样本集的接近程度（锚样本是高度信息化的标记样本）。其次，我们引入了一种新的伪标签机制，称为信息混淆，它将模型分类与样本信息引导的K-最近邻（KNN）分类相第三，我们提出了锚集纯化方法，该方法选择信息量最大的伪标记样本包含在标记锚集中，以提高KNN分类器的伪标记精度。在以后的训练阶段。总而言之，我们的ACPL方法选择高度信息化的样本进行伪标签（解决MIA不平衡分类问题并允许多标签多类建模），并使用分类器集成来产生准确的伪标签（解决确认偏差以提高分类准确性），其中主要技术贡献是：• 一种新的信息含量测度--交叉分布样本信息度• 一种新的伪标签机制，称为信息混合，它从深度学习和KNN分类器的集合中生成伪标签;以及• 一种新的方法，称为锚集纯化（ASP），以选择信息性的伪标记样本，包括在标记的锚集，以提高KNN分类器的伪标记准确度。我们在两个公开可用的医学图像分类数据集上评估了ACPL，即胸部X射线14（用于胸部疾病多标签分类[39]）和ISIC 2018（用于皮肤病变多类别分类[8，36]）。我们的方法优于目前的SOTA方法在这两个数据集。2. 相关工作我们首先回顾基于一致性和伪标签的SSL方法。然后，我们讨论了完全和半监督学习的课程和反课程学习文献，并提出了相关的SSL MIA方法。基于一致性的SSL优化了标记图像的分类预测，并最大限度地减少了未标记图像的不同视图的预测输出，其中这些视图是从不同类型的图像扰动中获得的，例如空间/时间[21，33]，对抗[27]或数据增强[5，6，32]。基于一致性的方法的性能可以通过自我监督的预训练进一步提高[25]。尽管基于一致性的SSL方法显示SOTA结果在许多基准点[32]，但它们依赖于扰动函数的精心设计Fur-11，Rizve等人。[29]表明，伪标记SSL方法对于多标记问题更准确。伪标记SSL方法[7，29，31，41]使用可用的标记数据训练模型，估计以高置信度分类的未标记样本的伪标签[22]，然后使用这些伪标记样本重新训练模型。如上文所述，在SEC。1.伪标签SSL方法在不平衡问题中可能偏向于大多数类，不能无缝地适应多类和多标签问题，并且还可能206993：预热列pθt（x），DDi=1[SD←D D D←D\DDDDDD←X →i=1Y{|Y|}{}|D||D|D{}导致确认偏差。我们认为，伪标记SSL方法的改进取决于选择信息丰富的未标记样本来解决大多数类偏差和适应多类多标记问题，以及一个准确的伪标记机制来处理确认偏差，这是我们要指出的两点。算法1反课程伪标签算法1：require： 标记集合L，未标记集合U和训练阶段数T2：初始化DA=DL，并且t=01Σ拿着这张纸。训练样本的选择基于他们的信息-θ t= arg minθ|DL|4：当t τ，0，否则，（二）伪标记函数g（. ）在（1）中，具有由密度加权的y∈众数l（x）和y∈KNN（x）的线性组合20702DDDD--×D ddD dd（一）从未标记到锚集的KNN锚集纯化（ASP）模块选择要插入锚集中的连接最少的伪标记样本，如（见图11）3）：.D D≤a（fθ（x），DU，DA）=1、c（f θ（x），U，A）α，0，否则，（七）（三）最终连接图3. ASP：1）从锚点集合DA的信息性未标记样本中找到KNN样本; 2）从其中，将来自（6）的具有a（fθ（x），U，A）=1和yθ=g（fθ（x），A）的伪标记样本插入到锚集中。在（7）中，伪标记样本fθ（x）的信息内容c（fθ（x），U，A）以三个步骤计算（参见图3）：1 ） 找 到 从 fθ （ x ） 到 锚 集 DA 的 KNN 样 本 N （ fθ（x），DA）;2）对于K个元素（xA，yA）∈ N（fθ（x），DA），找到从fθ（xA）到将（1）的每个锚样本映射到未标记集合U;以及3）计算幸存最近邻的数量。 具有最小c（. ）被选择插入到DA中。（4）的评分如下：y=g（fθ（x），DA）=d（fθ（x），DA）×y=模l（x）+（1−d（fθ（x），DA））×y<$KN N（x）.（六）（6）中的信息混合与MixUp [42]不同，因为它组合了来自两个模型的同一图像的分类结果，而不是来自两个图像的同一模型的分类。此外，我们的信息性混合使 用 密 度 得 分 对 分 类 器 进 行 加 权 ， 以 反 映 y_modell（x）和y_kNN（x）之间的权衡。由于信息样本是从具有低特征密度的锚点集的区域中选择的，因此KNN预测y∈KNN（x）比y∈model（x）可靠性低，因此，我们应该更信任模型分类。（6）中的两个预测之间的权重反映了这种观察，其中，如果d（f θ（x），A通常大于0。5、如图所示在图2中（见右下角的信息量得分直方图）。当样本位于高密度区域时，我们将大部分权重放在模型预测上，因为在这种情况下，模型是高度可靠的。另一方面，当样本处于低密度区域时，考虑到模型的低可靠性，我们试图平衡模型和KNN预测的贡献3.4.锚钉套件纯化（ASP）在估计了信息性未标记样本的伪标签之后，我们的目标是用信息性伪标记样本更新锚点集，以在后续训练阶段保持密度得分从（4）准确。然而，添加所有伪标记样本将导致锚定集合过大并且增加超参数灵敏度。因此，我们建议c（fθ（x），U，A）被计算为对于集合N（fθ（x），D A）的K个元素，伪标记样本x在KNN集合N（f θ（xA），DU）中出现的次数。（7）中的阈值α是用α= minx∈DSc（f θ（x），DU，DA）计算的。4. 实验对于下面的实验，我们使用胸部X射线14 [39]和ISIC 2018 [8，36]数据集。胸部X射线14包含来自30，805名不同患者的112，120张CXR图像。有14个标签（每个标签是一种疾病）和无结果类别，其中每个患者可以有多个标签，形成多标签分类问题。与以前的论文[2，26]相比，我们采用了官方的训练/测试数据分割[39]。我们使用ROC曲线下面积（AUC）报告测试集（26K样本）的分类结果，学习过程使用包含2%，5%，10%，15%，20%的标记数据的不同比例的训练集。ISIC 2018是一个皮肤病变数据集，包含10，015 im-有七个标签。每个图像与一个标签相关联，形成多类分类问题。我们遵循[26]中的训练/测试分割进行公平比较，其中训练集包含20%的标记样本和80%的未标记样本。我们报告AUC、灵敏度和F1评分结果。4.1. 实现细节对于这两个数据集，我们使用DenseNet-121 [12]作为我们的主干模型。对于胸部X射线14，数据集预处理包括将图像转换为512和512，以加快处理速度。对于优化，我们使用Adam optimizer [19]，批量大小为16，学习率为0.05。在训练过程中，我们使用基于随机裁剪和调整大小以及随机水平翻转的数据增强。我们首先在初始标记子集上训练20个epoch，以预热模型进行特征提取。然后我们训练50个epoch，每10个epoch我们用ASP更新锚点集，U4U10U45U1U5L1U20U100U3U10U14U259U45U10U89U13U90L3L4U34U56U1U13U90U45U1L5（二）从锚样本到未标记集的KNNU13U19L2L1L5L2 U1L4L3L1L5U1L3cf x杜杜20703×表1.对于不同标记集训练百分比，胸部X射线14的14种疾病分类的平均AUC测试集结果。* 表示使用DenseNet-169作为主干架构的方法。粗体数字表示每个标签百分比的最佳结果，下划线表示之前的最佳结果。方法类型标签百分比百分之二百分之五百分之十百分之十五百分之二十[26]第二十六话66.9572.2975.2877.7679.23基于一致性[37]第三十七话[25]第二十五话72.6074.6977.0478.9677.6179.90N/A80.3179.4981.06伪标签图XNet*[2]UPS [29]53.0065.5158.0073.1863.0076.8468.0078.9078.0079.92我们74.8279.2080.4081.0681.77表2.我们的方法与其他半监督SOTA方法之间的类级AUC测试集结果比较，这些方法在胸部X射线-14上使用20%的标记数据进行* 表示模型使用DenseNet-169作为主干。粗体数字表示每个类别的最佳结果，下划线表示次佳结果。方法类型监督基于一致性伪标记方法Densenet-121[33]*[26]*[25]第二十五话GraphXNet [2]UPS [29]我们肺不张75.7575.1275.3878.5771.8977.0979.53心脏肥大80.7187.3787.788.0887.9985.7389.03积液79.8780.8181.5882.8779.281.3583.56浸润69.1670.6770.470.6872.0570.8271.40质量78.4077.7278.0382.5780.981.8282.49结节74.4973.2773.6476.6071.1376.3477.73肺炎69.5569.1769.2772.2576.6470.9673.86气胸84.7085.6386.1286.5583.785.8686.95巩固71.8572.5173.1175.4773.3674.3575.50水肿81.6182.7282.9484.8380.283.5684.95气肿89.7588.1688.9891.8884.0791.0093.36纤维化79.3078.2479.2281.7380.3480.8781.86胸膜血栓73.4674.4375.63七十六点八六75.775.5577.60疝86.0587.7487.2785.9887.2285.6285.89是说78.1978.8379.2381.0678.0079.9281.77秒三点四分。对于（2）中的KNN分类器，我们将2%和5%（标记数据）的K设置为200，其余标记比例为50。这些值是根据验证结果设置的，但我们的方法对大范围的K值具有鲁棒性-我们展示了一项消融研究，该研究比较了我们的方法在不同K值下的性能。对于ISIC 2018，我们将图像大小调整为224 224，以便与基线进行公平的比较。对于优化，我们使用Adam优化器[19]，批量大小为32，学习率为0.001。在训练期间，数据增强也基于随机裁剪和调整大小以及随机水平翻转。我们预热模型40个epoch，然后训练100个epoch，每20个epoch，我们用ASP更新锚点集。对于KNN分类器，基于验证集将K设置为100。 代码是用Pytorch编写的[28]， 我们使用两个RTX 2080ti GPU进行所有实验。使用Faiss [16]库进行胸部X射线14未标记样本的KNN计算需要5秒，我们遵循[25，26，33]来维护训练模型的指数移动平均（EMA）版本，该版本仅用于评估而非训练。4.2. 胸部疾病分类结果对 于 表 1 中 胸 部 X 射 线 14 的 结 果 ， 我 们 的 方 法NoTeacher [37] 、 UPS [29] 和 S2 MTS2 [25] 使 用DenseNet-121主干，而SRC-MT [26]和GraphXNet [2]使用DenseNet-169 [12]。 [第26话] 是基于一致性的SSL;NoTeacher [37]通过将EMA过程替换为与概率图模型相结合的两个网络来扩展MT; S2 MTS2 [25]将自监督预训练与MT微调相结合; GraphXNet [2]从数据集样本构建图，并通过标签传播为未标记的样本分配伪标签; UPS[29]应用概率和不确定性阈值来启用未标记样本的伪标签。所有方法都使用官方测试集[39]。我们的方法实现了SOTA结果的所有百分比年龄的训练标签。与UPS和GraphXNet的伪标签方法相比，我们的方法比它们高出3%到20%。 与基于一致性的方法SRC-MT和NoTeacher相比，即使我们使用骨干架构，我们的方法在所有情况下都能实现2%的改进20704DD表3. ISIC 2018上的AUC、灵敏度和F1测试结果，其中标记了20%的训练集。粗体显示每个度量的最佳结果，下划线显示次佳结果。75.0074.2573.5072.7572.00含ASP不含ASP50 100150200250300不同K800006000040000200000介质高低1 2 3 4 5训练阶段较低容量的结构（即，DenseNet-121而不是DenseNet-169）。与之前的SOTA相比，我们的方法在所有情况下都优于S2 MTS2 [25] 1% AUC，这是值得注意的，因为我们的方法是用ImageNet预训练模型而不是昂贵的自监督预训练方法初始化的。使用SSL方法的20%标记数据的类级性能如表2所示，这表明我们的方法在14个类中的10个中实现了最佳结果。我们的方法比之前的伪标记方法GraphXNet高3.7%，比基于阈值的伪标记方法[29]高1.8%。我们的方法也优于基于一致性的方法MT [33]和SRC-MT[26]超过2%。对于具有自监督学习的方法S2MTS2[25]，我们的方法可以使用ImageNet预训练模型胜过它，从而减轻了计算昂贵的自监督预训练的需要。4.3. 皮肤病变分类结果我们在表3中显示了ISIC 2018的结果，其中竞争方法基于自训练[3]，生成对抗网络（GAN）以增强标记集[11]，时间集成[21]，MT [33]及其扩展[26]，以及使用20%的训练集训练的DenseNet-121 [12]基线。与基于一致性的方法[23，26，33]相比，我们的方法在AUC方面提高了我们的方法在所有指标上都大大优于以前的自我训练方法[3]。4.4. 消融研究对于消融研究，我们测试了我们的三个贡献中的每一个，并在具有2%标记训练集的胸部X射线14 [39]上可视化具有高和低信息样本的选定子集的数据分布，其中对于CDSI和ASP，我们运行每个实验三次，并显示AUC结果的平均值和标准差。交叉分布样本信息性（CDSI）。我们首先在表4中研究性能如何受到图4.（左）KNN中不同K值的平均AUC测试结果（对于（4）中的CDSI和（5）中的伪标记），其中绿色区域使用ASP，蓝色区域不使用ASP。（右）当根据（2）添加高、中和低信息含量的未标记样本时，每个训练阶段的L的平均大小。模型在胸部X射线14上训练，其中2%的训练被标记。表4.胸 部 X 线 消 融研 究 14 （2% 标 记 ）。 从 基 线 分类 器（DenseNet-121）开始，我们根据（2）（即，低、中、高），以及使用锚集纯化（ASP）模块。信息内容ASPAUC ±标准品基线65.84 ±0.14低’67.18 ±2.40✓67.76 ±1.05介质’70.83 ±1.49✓71.16 ±0.51高’73.81 ±0.75✓74.44± 0.38使用我们的CDSI对具有不同信息量（低、中、高）的未标记样品进行伪标记。从达到65% AUC的基线分类器DenseNet-121开始，我们观察到伪标记低信息含量未标记的样品产生最差结果（约67%AUC），并且选择 高 信 息 含 量 未 标 记 的 样 品 产 生 最 佳 结 果 （ 约73%AUC）。图4（右）绘制了训练期间标记集L的大小如何取决于要伪标记的未标记样本的信息量程度。这些结果表明：1）高信息内容的未标记样本使得能够识别较小的标记集合（与低或中信息内容的未标记样本相比），从而允许产生更准确的KNN分类器的更有效的训练过程;以及2）与低或中信息内容相比，当选择高信息内容的未标记样本时，表4中的结果的标准偏差较小。第二点可以通过Chest X-Ray 14中的类不平衡问题来解释，其中低信息含量样本的选择将使得能够训练多数类，可能对少数类产生无效训练，这可能增加结果的方差。平均AUC标记的样品方法AUC灵敏度F1监督90.1565.5052.03SS-DCGAN [11]91.2867.7254.10[23]第二十三话92.2468.1758.44[21]第二十一话92.7069.8159.33[第33话]92.9669.7559.10[第26话]93.5871.4760.68自我训练[3]90.5867.6354.51我们94.3672.1462.2320705联系我们表5.不同伪标记策略的胸部X线片14（2%标记）上的AUC测试集结果（α表示结合模型和KNN预测的线性伪标签策略方法AUC基线-65.84单一预测模型预测KNN预测72.6372.45Mixup随机抽样α[42]第四十二话73.2369.28我们信息混淆74.44锚定装置纯化（ASP）。同样在表4中，我们将ASP与一种替代方法相结合，该方法选择所有伪标记样本以包括在锚集中，低、中和高信息含量的未标记样本。结果表明，ASP模块将AUC提高了0.3%至1.0%，并将标准偏差降低了0.4%至1.4%。这表明，ASP模块能够形成一个信息量更大的锚点集，可以提高伪标记的准确性，从而提高最终的AUC结果。此外，在图4（左）中，示出了ASP相对于以下各项稳定该方法的性能：K50、100、150、200、250、300对于（4）的KNN分类器。特别是，使用ASP时，最佳和最差AUC结果之间的差异约为1%，而不使用ASP时，差异增长至2%。这可以通过以下事实来解释：在没有ASP的情况下，锚点集在相对较少信息的伪标记样本的情况下快速增长，这降低了方法的稳定性。信息混淆（IM）在表5中，我们表明，我们的亲-（6）中的设定IM产生了更准确的伪标签，我们将其与其他伪标签方法进行了比较，例如仅使用模型预测，仅使用KNN预测，来自beta分布的随机样本α来替换（6）中的密度得分，以及常规MixUp [42]。很明显，使用模型或KNN预测作为伪标签并不能很好地工作，很可能是因为确认偏差（前一种情况）或KNN分类器的不准确性（后一种情况）。当在多标签图像或多个单对象图像中执行MixUp时，MixUp [42]也没有显示出良好的准确性，如[38]和[18随机抽样α来代替密度分数显示出比MixUp更好的结果，但是缺乏基于图像的权重来平衡两个预测，如（6），损害了性能。我们提出的IM显示的结果是至少1.5%优于任何其他的伪标记方法，显示使用锚集中的未标记样本的密度来加权模型和KNN分类器的贡献的重要性。在图5中研究了不平衡的学习缓解，图5显示了以百分比年龄表示的标签分布的直方图（对于四种疾病少数类别的子集和第二种疾病少数类别）。图5.选择信息量高的未标记样本（蓝色）促进了更平衡的学习过程，其中属于少数或主要类别的样本数量的差异绿色显示原始数据。完整的14级分布显示在附录材料中。通过选择高（蓝色）和低（黄色）信息含量的未标记样本来查找多数类）。我们还以绿色显示原始标签分布以供参考。请注意，选择高信息量的样本显著增加了疾病少数类别的百分比（从5%到10%增加到近30%），并降低了无发现多数类别的百分比（从60%到30%），从而使这五个类别的分布更加平衡。这表明，我们的样本选择信息可以帮助减轻不平衡的学习问题。我们在补充材料中包括完整的14类直方图。5. 讨论和结论在 这 项 工 作 中 ， 我 们 介 绍 了 反 课 程 伪 标 签（ACPL）SSL方法。与使用阈值来选择确信分类的样本的传统伪标记方法不同，ACPL使用新机制来选择用于伪标记的高度信息化的未标记样本和分类器的集合来产生准确的伪标记。这使得ACPL能够解决MIA多类和多标签不平衡分类问题。我们在实验中表明，ACPL在多标签Chest X-ray 14和多类ISIC 2018基准测试中优于以前的基于一致性，基于伪标签和自监督SSL方法。我们在消融研究中展示了我们每个贡献的影响，我们还展示了我们新选择的信息样本如何解决MIA不平衡分类问题。对于未来的工作，可以想象ACPL可以应用于更一般的计算机视觉问题，所以我们计划在传统的计算机视觉基准测试中测试ACPL。我们还将在初始标记和未标记的集合中探索具有分布外（OOD）数据的半监督分类，因为我们的方法目前假设所有样本都是分布内的。20706引用[1] Eric Arazo ， Diego Ortego ， Paul Albert ， Noel EO'Connor和Kevin McGuinness。深度半监督学习中的伪标 记 和 确 认 偏 差 2020 年 国 际 神 经 网 络 联 合 会 议（IJCNN），第1IEEE，2020年。2[2] Angelica I Aviles-Rivero ， Nicolas Papadakis ， RuotengLi ，Philip Sellars ，Qingnan Fan ，Robby T Tan ， andCarola-BibianeSch oünlieb.在最低限度的监督下进行胸部x线分类arXiv预印本arXiv：1907.10085，2019。二三五六[3] Wenjia Bai 、 Ozan Oktay 、 Matthew Sinclair 、 HideakiSuzuki 、 Martin Rajchl 、 Giacomo Tarroni 、 BenGlocker 、 Andrew King 、 Paul M Matthews 和 DanielRueckert。基于网络的心脏磁共振图像分割的半监督学习在医学图像计算和计算机辅助干预上，第253260. Springer，2017. 三、七[4] 约瑟芬·本吉奥，杰罗姆·卢拉杜尔，罗南·科洛伯特，杰森·韦斯顿.课程学习。第26届机器学习国际年会论文集，第41-48页，2009年3[5] 大卫·贝特洛、尼古拉斯·卡利尼、伊金·D·库布克、亚历克斯·库-拉金、孙奇赫、张涵和科林·拉菲尔。Remix-match：具有分布匹配和增强锚定的半监督学习。在2019年国际学习代表会议上一、二[6] 大卫·贝特洛，尼古拉斯·卡利尼，伊恩·古德费罗，尼科-拉斯·帕佩诺，阿维塔尔·奥利弗和科林·A·拉菲尔。Mixmatch：半监督学习的整体方法。神经信息处理系统的进展，32：5049 一、二[7] Paola Cascante-Bonilla et al. Curriculum labeling ：Revisiting pseudo-labeling for semi-supervised learning.arXiv预印本arXiv：2001.06001，2020。二、三[8] Noel Codella，Veronica Rotemberg，Philipp Tschandl，M Emre Celebi，Stephen Dusza，David Gutman，BrianHelba ， Aadi Kalloo ， Konstantinos Liopyris ， MichaelMarchetti，et al. Skin lesion analysis towards melanomadetection 2018 ： A challenge hosted by the internationalskin imaging collaboration（isic）. arXiv预印本arXiv：1902.03368，2019。二三五[9] Wenhui Cui，Yanlin Liu，Yuxing Li，Menghao Guo，Yiming Li，Xiuli Li，Tianle Wang，Xiangzhu Zeng，and Chuyang Ye.半监督脑病变分割与适应平均教师模型。在医学成像信息处理国