+ v：mala 2255参考 指导伪 标签generation 一代for Medical Semantic 语义Segmentation 部分康斯坦丁 · 塞 博尔德 ，1西蒙 耸 耸肩 ，1 Jens Kleesiek 自己2 Rainer Stiefelhagen ，11卡尔斯鲁厄 研究 所 （ Karlsruhe Institute of technology 技术2医学 大学 University Medicine Essen1{firstname.lastname}@kit.edu， ，2{firstname.lastname}@uk-essen.de，abstract抽象产生大量标注的数据是一项用于医疗成像应用的困难和Ted的任务。要 解决 这个 问题 prob-lem ，We建议A ANOVEL 办 法 ~ 两个 generate supervision 监 督 semi-supervised semantic segmentation 半 监督 语义 分割 。我们可能会发现，在标记和未标记图像之间存在类似的区域，可能包含相同的语义，并且应该在此之前共享其标签。我们将标记图像的小数字用作参考材料，并将未标记图像中的像素匹配到参考集合中最佳像素的语义中。《 This Way We Avoid Pitfalls So As 》公司 - tion比 亚 ，Common 的在Purely 纯基于 预测伪 标签sinceour 我们method 方法does不是需求any Architectural 建筑Changes或者 访问 网络 ， 人们 可以 很 容易 地 将 其 插入 现有框架 。“ 我们 以 全面 标准 的 方式 实现 同样 的 表现”supervised监 督 modelonX-Ray 解 剖学segmentation ， 阿 尔 贝 特 95% fewer labeled images（ fewer 标签 图像 ）。Aside from an in-depth analy - sisof different aspects of our proposed method . 我们 进一步演示 了 方法 的 不同 方面 。The Effectiveness 效果of our我们参考 指导学习 范式By comparing 比较our 我们办法~ Against existing 存在方法 对于 视网膜 流体 分割 具有竞争 性能 作为 我们 提高 到 15% 的 平均 水平 工作IU 。Introduction介绍TheAcquisition 收购of详细Annotations 公告for semantic语义segmen - tation 是 一 个 复杂 且 耗时 的 消费 过程（ cordts ）et al。2016）。在医学领域，它变得越来越困难，需要的专业知识（Mendy et al.）2014）。当考虑 到 医生 的 义务 在 临床 治疗 中 ，gathering 问题AA Large 大Amount 的of详细medical #21487 ; 的 广告 可能 会 变成 最 不 保险 的 。Thus ， make these obstacles（ 做 那些 障碍 ）IT desirable 的两 个PERFORMANCEAccurate semantic 语义segmentation while minimizing thenecessary annotated 最 小 化 必要 标注 的data .半 监督semantic 语义segmentation 部分Solves 的These这 些 tasks by combining small quantities of labeled datawith a lot 加入 标签 数据 的 小 数量of unannotateddata for training.不公布的训练数据。在过去的几年里，有几个方向已经作为学生教师框架进行了调查（Gou etal）2021年；陈和阿尔2020；李和al。 2020 A ？阿 菲et al.2021 年 ，一致 性 规范 化（ Ouali ） ，胡迪 罗 ，及tami 2020 ;儿子ET艾尔 2020 ;RebuffiET艾尔 2020 ）伪 标签 pseudo-labels李 et al.2013 年 ;埃森 et al.2019 ;大米ET艾尔 2021 年 ） 。 大多 数伪 标签methods 方法典型 的employ2020 年 中国 国家 科学 院 （www.aaai.org）. All Rights 所有 权利储备 |arXiv：2112.00735v1 [eess. IV] 1 Dec+ v：mala 2255图 1 ： 一 个 概念 性 的 例子 突出 显示 不同 的 情况未 公布 的Samples could 的be综合 性Into A A网络 空间 和 决策 边界 。颜色 强度 Color intensityrepre -Sents 网络 预测的 信心 。Networkpredictions 预言for unlabeled Data两 个either的save Them对于 培训or use Them online AS目标在The SAME iteration 。 Theyare 经 常 Paired with TheGeneration 一 代 of predictions 预 言 from differentperturbations ， on an input image ， 数据 增强 ， 在不同 的 情况 下” （ Berthelot et al 。2019 年 ， a ？儿子 和 阿尔 2020 年 ） 。例如，假设网络预先存在偏差，错误的结论可能会产生负面影响。We run into the issue of confirm—tionbias我们奔向信仰的问题—（Rizve et al.）2021年）。因此 ， 我们 认为 ， 这些 方法 的 积极 因素 可以 避免 ， 同时 减少 不良 反应 。effects 影响By Taking AA Different 不同PATH ：comparing 比较embed - dingsbetween predictions of unlabeled samples and labeledreference 非 标记 样本 和 标记 参考 之间 的 预测images两 个instill The supervision 。 for all pixels在礼物 A Given unlabeled影像 ，We Find class-wise 的最近的 邻居 是 图像 的 像素 在 小 标签 参考 设置 。从这一点，我们计算了一个类的接近，属性im—portance通过基于自信的称重，然后输入伪标签。 By Takingthis Detour及不是Directly 直接using class predictions 类的 预测but matching 匹配Them两 个A A known参考set ，+ v：mala 2255TheBias 的Towards Large 大CLASS CAN be受 管制及We bypass the problem of direct class predictions as 直接类 预测 的 问题supervision 。我们 在 图 中 说明 了 特点 。1. 第 一 ， while the Unlabeled 的p iXEL （ UP ） ， DEPICTED BY GREY-DIAMOND 1 ， Would Be （ 绿色 钻石 1 号 ）predictedAS橘色 ，IT IS more模拟 器两 个The错误 分类 的 绿色样本 ， 并且 您 希望 其 接近 ， 我们 将 通过 绿色 伪标签 。第二，我们将向UP 2发出一个绿色伪标，但它与两个橙色的距离很远，而绿色样本几乎是平等的，其重量应该是最小的。第 三 次 申请 ， 我们 申请 绿色伪 标签with A A high Weight 重量两 个The UP AS IT ISClose to a green sample and far from the second nearest 附近 的 一些 地方等级 。WeView this 办 法 ~ AS A A Straightforward 的 支 持mech -anismto pseudo-labeling insemi-supervisedsemantic seg - mentation 半 监督 语义 标注 的 anism 。它很容易通过任何半监督学习方法扩展。我们 展示 了我们 的 方法 对 多 类 和 二 进制 的 扩展 实验 的 有效性多 等级半 监督 式semantic 语义segmentation 部分onthe RETouch（ Bogunovic ）ET艾尔 （ 2019 ）及JSRT（ Shiraishi ）et al 。（ 2000 ）数据 |我们希望通过这些数据集实现竞争性结果，特别是对于样本的最小值。我们 总结 我们 的 贡献as ：1. We illustrate a different view on online 语义 标签 在线segmentation 。By强制consistency 的在 预测 和 特征空间 之间 ， 我们 的 覆盖 率 不是 由 标准 伪 标记处理 的的 办法 。2. 我们 展示 了 我们 的 方法 在 不同 数据 集 上 的 有效 性及various low Data settings 。 特 蕾 比 ，Wedemon - rate it use for handling the challengingsegmentation of overlapping labels from scarce data aswe reach fully supervised performance from six labeled我们 如何 处理 重叠 标签 的 细分 挑战 ， 因为 我们从 六 个 标签 中 获得 了 充分 监督 的 性能Images 。3. We提供 商A A详细Ablation Study Investigating 调查differ - ent aspects of our pseudo-labels in various 不同的 伪 标签settings 。related 相关Work半监督式学习半监督学习（SSL）使用许多标记的样本与未标记的样本配对以执行给定的任务。20 、 这 片 田野 已经 看见Significant 重要 的Progress（ Berthelot ）ET 艾 尔 2019 年，a ？ 卡 斯坎特- 波 莉etal.2020 ;Ouali ， Hudelot ， and Tami （ 欧 阿里 ， 胡德洛 和 塔 米 ）2020 ;Chenet al 。2020 ;儿子 和 阿尔2020 ;阿 菲 et al.2021 年 ） 。大多 数 meth - odsfollow one 一orCombinationsofDirectionSUCHASEntropyMinimization 最 小 化（ 作者 ： Bengio et al. ）2005年 ，一致 性 规范 化（ Tarvainen and Valpola ）2017 ;对 ， Henriques 。及韦 德利2019 ;儿子ET艾尔 2020 ）or伪 标签 pseudo-labeling（ Leeet al 。2013 年 ;埃森 etal.2019 ; 卡 纳 瓦 罗 et al.2020 年 ） 。 基 于 标 签（ Labeling based ）approaches 的典型 的火车A A使用未 标记 数据 的 伪 目标 从 模型 的 高 置信 度 预测 中提 取 经 典 值 （ Classifier with unlabeled data usingpseudo targets derived from the model 's high-confidencepredictions ）et al 。2013 ） 。如何—永远，伪标记可以导致noisy训练贫困校准，并作为不正确的高置信度预测的结果”（Guo et al.）2017；雷和Al。2021年）。其他方法 Other Methods伪 标签 pseudo-labeling By FollowingA A transductive 翻译设定 ，即建立最近的邻居图和执行标签传播。 this Generation 一代进程of伪 标签IS not feasible in an online setting due tothe high demand on run - time and memory consumption forlabel-propagation and is performed （ 不 适合 在 缐 运行的 高 需求 - 时间 和 记忆 的 消费 ， 已 被 执行 ）After AA set Amount 的of iterations（ shi ）ET艾尔 2018 年 ;+ v：mala 2255埃 森 et al.2019 ； 刘 et al.2019 ） 。 标 签 ： pseudo-labelingLiterature CAN be Divided 分 享 Into onlinevariants ，什么 是 伪 标签 for unlabeled data directlyduring for - ward pass ？李 et al.2013 年 ;儿子 和 阿尔2020 年 ， 和 offline variants ， which 什 么 generateNEW 目 标 for The 数 据 在 greater intervals 大 间 隔（ Iscen ）ET艾尔 2019 ;ChenET艾尔 2020 ;xieET艾尔2020 B .卡纳瓦罗 et al.2020 ;阿 菲 et al.2021 年 ） 。最近，”（Taherkhani et al.）（2021）未标记数据集群与其 大 多 数 类 似 的 离 线 程 序 的 匹 配 。 Taking theadvantageous aspects of label-propagation methods 标签传播 方法（ shi ）et al 。2018 年 ;埃森 et al.2019 ;刘 etal.（ 2019 ） ，We introduce a way to make them workonline and even for semantic 我们 发明 一 种 让 他们 在网上 工作 的 方式 ， 甚至 是 语义 学 的 方法分类 ：mentation where pixel-wise 相 关 labels add to thecomputational load . 标 签 添 加 到 计 算机 负 载 。Favorable 优惠storage Requirements of our 我们Solution解决make 做Streamlined 的一体 化with consistency 的正规 化meth 是 可能 的 。在一致性规范化中，预计相同输入的不同版本将被强制进行类似。Usually this isachieved by setting up augmented versions of an inputimage.（此问题已解决）（刘et al.）2020年，恐惧的扰 动 —Ture Maps （ Ouali ， Hudelot ， and Tami ）2020）不同的网络（Work States）（Tarvainen andValpola ） 2017 ） 。 在 我 们 的 工 作 中 ， 我 们Intertwineonline-generatedpseudo-labelswithconsistency regularization to always drawback in either ofthe world 。两 个 。Semi—Supervised Segmentation半监督分割。Semi—supervised secman—tic segmentation proposed severalextensions to concepts in SSL，i.e.（SSL，即，半监督的第二层分段，提议的第二层扩展概念）2.规范化一致性。（French et al.）（2019）包括CutMix（张杰etal.）2017）要在混合输出和对混合输入的预测之间保持 一 致 。 CCT （ Ouali ， Hudelot ， and Tami ）2020 ）阿里 格The Outputs of The主要segmentation 部分decoder 的模块 和 辅助 解码 器 培训 了 不同 的 扰动 以 强 制 一 致 特 征 表 示 。 伪 （ Zouet al 。（ 2021 ）Adapts FixMatch 调整 公式（ 刘 et al. ）2020 ）因此 ， 在 每周 和 累积 段 之间 的 一致 性Augmentedimagesemploying就 业 GradCAM的（ Selvaraju ） ET 艾 尔 2017 ） 。 （ 陈 ET 艾 尔（ 2021 ）use两 个Independent 独立网络 具有 相同 的结构 和 其 之间 的 力量 一致 性predictions 。 在Contrast两 个These 这些办法 ，our 我们方法 利用 标签 数据 在 没有 任何 网络 切换 的 伪 标签 生成 ，rendering it flexible to统筹 。自我 培训for Medical Imaging . 网络 生产 力Pervision- - 执行for unlabeled Data IS开始 Starting两 个gain 获得traction在医学 - ical Image analysis 。 （ Tang ）ET艾尔 （ 2021 ）建议A A自我 训练 - based Framework工作for mass 的Detection在Mammography 摄影Aging -- Aging medical报告 。 （ chaitanya ）ET艾尔 2020 ）Depict The使用 自 监督 学习 进行 半 监督 分割 。（ Seibold ） ET 艾 尔 2020 ） Devise 的 Entropy 的minimiza - 本地 化 疾病 在 大多 数 无线 电（ Huo ）et al。（2021）这是一个半研究者—监督胰腺肿瘤分割的研究框架。（刘强东et al）（2021）在网络不同层之间实施预测一致性的网络调整时，应采用深度监督。最 常用 的 网络 预测 方法 （ Most Methods either utilizenetwork predictions ） or predefined 预 定义 Signals（ Ouyang ）ET艾尔 2020 ）AS pervision - - 执行 。OUR method 方法IS Suitable 问题for medical Image分析Due两 个继承结构 性相似 性 ，E . G 。 Anatomical 解剖 学 正 确 - ties Make a natural fit for our method aslabeled images can convey . 正确 - ties 使 自然 适合 我们的 方法 作为 标记 图像 可以 处理strong 强参考Points 项目for matching 匹配及onto labeled 信息Images 。+ v：mala 2255psl×psli =1i =1∈{}∈{――}∈pRppsU，→，→×Figure 2：Overview of the proposed Training step for unlabeled images.图表2：概述的建议的培训步骤为未标记的图像.For each unlabeled image，we extract its features in addition to a pool of sampled annotated images to generate pseudo—labels.对于每一个未标记的图像，我们提取了它的功能，在添加到一个样本标记的图像库中生成伪标签。在 平行 ，我们 使用 的 预测 一 个 星期 的 听证 会样本两 个ACT AS supervision 监督for A A Strongly增 材Version 版本of Theimage . on The right ，We Illustrate 文件our 我们基于 伪 标签 生成 过程 （ Based pseudo-label generation process ）K=5。Methodology方法在this部分 ，We建议A A NOVEL战略两 个generate网上 伪 标签基础on标签 Wise feature 特性类似 物from一个 参考 池 。我们 首先 定义 初步 信息 ， 然后流产on基于 Reference-based伪 标签世代 （ RPG ）及最 后Expand on RPG with基于 增强 的 一致 性规范 化 。Preliminaries的评论在The setting of半 监督 式semantic 语义segmentation ，A Small Set of Labeled 一 个 小 实验室sl={（X i， y i）}nl A Large Amount的影人参 考 POOL 。 我 们 使 用 标 签 引 用 来 生 成 伪 标 签 。Therefore，we project both labeled and un—labeled pixelsinto the same feature space using.我们在两个项目中标注和联合标记像素，使用相同的特征空间。Ffeat。Sinceavailable memory is limited ， processing （ 记忆 力 有限 ， 行程 ）H W D- dimensional pixel-wise 表示 eachimage in这 是 unfeasible 。additionally ，Solutions like AA记忆 银行（ Wu ）ET艾尔 （ 2018 ）很 难 融入 到sheer amount of pixel-wise representations 中 。 We办法~These 这些issue 问题By randomly 随机 的sam - pling apool of labeled images from in each mini-batch iteration .sam - -p={（x ， y）∼ ∼ ∼ sl}（ 1 ）As we later generate 伪 标签p所有 CLASSIES Haveofunlabeled images sU={X i}nu are提供 。 An Image两 个be present 出席otherwise The失踪class labels 分类CAN不是bebe defined as 定 义为 XiRCH×H×wwith CH 图 像Channels ， Height H width 的w。标签 ： be definedasy i0， 。。。， C1H×w在 Segmentation into 的 案例c classes 或y i0， ，1c×H×wif at EACH地点 Locationmore than one 一class CAN be present 出席（ MultiLabel ）segmentation ） 。 Thus ，The task决心两 个using sl及recovered。We ， Thus ， sample 我们 ， 我们 ， 我们p such that each class occurs at least once in 至少 一 次。We generate our reference set by extracting the pixel -wise features of each image in to get pixel - representationsandLabels ：两 个Find A A model that correctly 正确 的predicts 预言Labels on孙 楠Images。for后来目的 ，We define The segmentation 部分modelRp={（Ffeat（X）， y： （x ， y）∈【 p 】。（2）as （ 1 ） a dense feature extractor （ 一 个 牙 特征 提取 器 ）Ffeat：RCH×H×wRD×H×w及（ 2 ）A A subsequent 结果pixel-wise 相关classifier经典F CLS：RD×H×w（ 0 ） ，（ 1 ） [c×H×wthat Transforms 的The DDimensional 规 模 Features 特 点 atEACH 地 点Location Into class predictions 。 FfeatIS parametered 参数ByA A Neural Network及for FCLSWe Leverage AA 1 1 convolution 的及正常 化Function（ Sigmoid ）or softmax 的Depending 依赖on the y i公式 ） 。基于 引用 的 伪 标签generation 一代We propose using image-reference pairs in the . 我们 建议使 用 图 像 引 用 对 pseudo-label generation process forsemantic segmentation 语义 分割 的 伪 标签 生成 过程 。Controlly to Direct 直接衍生伪 标签from Network预测 ，我们 搜索for A A最 佳fit在feature 特性space Among 先生+ v：mala 2255×Rp∈s URp|R|··ppRpA A pool of labeled reference 相关images 及转 让TheirSemantic 的 。 We display 介 绍 我 们 的 方 法 在Figure 。 2.To further reduce the memory constraints we sub—samplethe pixel—wise representations and labels to a feasible size（进一步减少内存限制，我们将采用像素明智的表示和标签来制作一个尺寸的照片）s s s使用近邻居插值。接下来 ， 我们 讨论 了 Pixels 之间 和 唯一 关心 的 空间 关 系 。 be a set of 是 什 么 D Dimensional FeatureVector-Label Pairs 尺寸 特征 矢量 标签 对with=pHw。 通过 Samplingcontinuously 继续during 的训练 ，The Labeled images CAN经验A A Large大数据 增强 技术 的 变化 ， 在 参考 集 中 引入 更多 多样 的 像素 表示。Label 标签Assignment 。 We建伪 标签By FindingThe closest labeled pixels in feature space from thereference pool 最 后 标注 的 像素 在 特征 空间 中每个 未 标记 的 像素For each unlabeled image 截图uIn the Mini-Batch We Extract Pixel-Wise 功能特 色 u阿索斯 =FFea t （ u ） 。wen o ;wAssignTheta r getofANunlabeledVEectoru阿 索 斯X，ywithThe空间协调 人X，y∈nH×w基础onThe+ v：mala 2255DCLSD{∈}u阿索斯X，yRi= 1iX，y， IWeIllustrate 文件之后CASE 问题on The rightthandSIDE of fig 2.r 2·Function：l RPGcContextually 相关Closest feature 特性Vector 在Rp。The clipped cosine 距 离 D Between of The LabeledPixel 介绍r ∈Rp及The unlabeled pi X EL-Presentation介绍u阿 索 斯X，y∈u阿 索 斯ser V esMostCommon 的一 个 。 this IS杜两 个The事实 上 ，that distances 距离of all classes influence the weighting ofa pixel label assignment . （ 所有 类 影响 对 Pixel 标签分配 的 权重 。更 进一步 ，this Weighting 体重handles极端CASE 问题where 哪儿E . G 。近 距离Measure ：juX，y=1对于 所有 的 类 ， 这里 的 熵 将 是 最 大 的ΣDr·u阿索斯Imal ，which 什么在Turn威尔Lead两个ignoring uu阿索斯+ϵX，ysincew uX，y =0。D（r，u阿 索 斯X，y）=1― ―max（。ΣD。ΣD，（ 0 ），i =1ii =1（3）最 后 通牒 ，our 我们method 方法IS Formulated 的ASThe Following Losswith subscript 使用i indexing the ; i第 一 个 矢量 的 尺寸th dimension of a vector及lrpG= e（x ， y）∈ Sl= （FCLS（F feat（X）），y）]The small constant 小 的 持续ϵ= 1e− 8。 using两 个特征 向量A A distance 距离of零if They are Identical 相同及The maximum 最 大+eX∈ SU = （F c（Ffeat（X））， l（X） ）·w X]，（8）两个人之间的距离，要么是相互的，要么是相互的。For each unlabeled pixel （ 每 只 不 加 标签 的 像素 ）uX，y伪 标签l（uX，y）IS ASSIGNED BASED 相关on Thelabel of其Closest样本在The参考pool ：l（uX，y）=y：argmin 命令（r，u阿 索 斯X，y）（ 4 ）（r，y）∈ RpThe whole image is labeled by 整个 图像 被 标记 l（u）=l（uX，y） ：uX，yu。注意 这 一 种 方式 ，yCan either a one-hot vector or a sophisticated （ 一次性的 矢量 ）多 标签Vector 。 OUR办法~ IS Contraryto classical pseudo-labeling ， where assigning a multi-label vector requires the network to hit manually designed（ 传统 伪 标记 ， 需要 建立 多 个 标签 矢量 的 网络 ）他们 也 收藏 了 Thresh - 《 Olds For Every Class 》[ MP3 !我们最近的目标分配与以前的方法有关（Escenet al.）2019；刘et al. 2019 ;梅赫雷斯 ， 塔尔 米 和Zelnik 庄园2018 ） ，however ， we operate online andaccess multiple reference images at the same . 我们 在 网上 运营 并 访问 多 个 参考 图像 。时间 。基 于 密 度 的 类 熵 （ Density—based Class Entropy ）Overall ， for an adequate pool-size 总 的 来说 ， 足够大p， 这个 最近 的 邻居 标签 assignments 应该bebeneficial 福 利 for semantic 语 义 segmentation 。However ，We No - ticed a potential pitfall ： For featureswith similar distances to 没有 - ticed a potential pitfall ：For features with similar distances to - 潜在 差距 的 特征严重 的CLASS direct assignments 的错误The NetworkwithCE谴责binary 二 进制or多 等级Cross-Entropy 交叉熵depend - ing on the type of segmentation 相关任务 |Consistency 一致 性regularization 规范 化toShowcase事 件 thatour我 们 办 法 ~WorksComplementary 的两 个一致 性 - sistency正规 化methods方 法 在 semantic 语 义 segmentation ， 我 们 扩 展 了FixMatch 的 格式（ 刘 et al. ）2020 年 ） 。我们 生成伪 标签 ， 从 网络 上 的 预测 在 Weakly AugmentedImages ， 并 使用 它们 作为 标签 为 强大 的 8 - mented版 本 的相 同 的 图 像 ， thereby 强 制 CON -sistencyBetween 他。while 什 么时 候 WeakAugmentations 的are com-monly ：used颠覆 性SUCH ASrandom飞 起来 ，for strong augmentations 增强 的Wefollow RandAugment 的（ 古巴 ）ET艾尔 2020 年 ） 。We follow a similar setting as in son我们像一个儿子etal。（刘et al.） 2020 年 ） 。 since We行动segmentation部分instead of我们 生成 像素 级 伪 标签 ， 并 设置 该地区 的 指定 标签 AF - 由 CutOut 增强 功能 提供（ DeVries & Taylor ）2017 ）“ background ” 。one—hot的目标y，我们使用标准的伪标签成型（刘et al.）2020 ）during 的训练 。 to Avoid 的this岛 ，We Apply A AWeighting 体重′。argmax 的cFc（u阿索斯X，y），ifFc（u阿索 斯x ，y）>τ（9）机械 主义 基于 对 未 标记 的 模糊 性Pix
我的内容管理
展开
