没有合适的资源?快使用搜索试试~ 我知道了~
1基于几何关系增强的OCT图像视网膜病变区域分割BehzadBozorgtabar2,3,4 Ling Shao11IIAI,Abu Dhabi2 LTS 5,EPFL,Lausanne3 CIBM,Laussane4 CHUV,Lausanne{dwarikanath.mahapatra,ling.shao}@ inceptioniai.orgbehzad. epfl.ch摘要医学图像分割是计算机辅助诊断的一项重要任务。大型数据集的像素手动注释需要很高的专业知识,并且很耗时。传统的数据扩充由于不能完全表示训练集的基本分布而具有有限的益处,因此当在从不同源捕获的图像上测试时影响模型稳健性。先前的工作利用合成图像进行数据增强,忽略了不同解剖标签之间的交错几何关系我们通过联合编码几何和形状的内在关系,提出了对基于神经网络的医学图像合成方法的潜在空间可变采样导致从基础图像产生不同的给定由我们的方法生成的那些增强图像,我们训练分割网络以增强视网膜光学相干断层扫描(OCT)图像的分割所提出的方法优于国家的最先进的分割方法上的公共RETOUCH数据集,从不同的采集过程中捕获的图像。烧蚀研究和可视化分析也证明了整合几何形状和多样性的好处。1. 介绍医学图像分割是疾病诊断、手术计划和疾病进展监测等医疗保健应用虽然深度学习(DL)方法展示了医学图像分析任务的最新结果[38],但其鲁棒性取决于不同训练数据集的可用性,以学习不同的疾病属性,如外观和形状特征。用于分割的大规模数据集注释需要图像像素标签,这是耗时的并且涉及高度的临床专业知识。这个问题对于病理图像尤其严重,因为(a)(b)(c)第(1)款(d)(e)图1.(a)基础图像(红色轮廓表示分割掩模);使用以下各项生成的图像的示例:(b)我们提出的GeoGAN方法;(c)Zhao et al.[42];(d)DAGAN方法[1];(e)cGAN方法[25]。对于不太普遍的疾病状况,难以获得不同的图像,这就需要增加数据。我们提出了一种基于生成对抗网络(GAN)的病理图像增强方法,并证明了其在病理区域分割中的有效性。图1总结了我们的方法和[42]的图像生成结果,并通过合并几何信息突出了我们的卓越性能。传统的增强(如图像旋转或变形)的益处有限,因为它们不能完全代表训练集的底层数据分布,并且对参数选择敏感。 最近的工作[15,42,14,30]提出通过使用合成数据进行增强来解决这个问题,并增加训练样本的多样性。然而,这些方法尚未令人满意地解决某些挑战。赵等等人[42]提出了一种基于学习的配准方法,用于将图像配准到图谱,使用相应的变形场来使分割掩模变形,并获得96119612(一)(b)第(1)款图2.正常和充满液体的OCT图像示例:(a)没有任何异常的示例对照受试者图像(取自[9]);(b)来自我们的数据集的由于糖尿病黄斑水肿和AMD而具有累积液体的图像。流体区域用红色箭头标记。新数据这一做法带来了以下挑战:1)由于配准误差传播到后续阶段,不准确的配准会对数据生成过程产生不利影响; 2)对于正常对象的图谱,由于外观或形状变化,配准来自患病对象的图像是困难的。这对于视网膜光学相干断层摄影(OCT)图像中的层分割特别相关,其中在正常和患病病例之间存在层形状图2(a)图2(b)示出了由于糖尿病性黄斑水肿(DME)和年龄相关性黄斑变性(AMD)引起的视网膜液体积聚的两个病例。与图2(a)相比,视网膜层严重失真,配准方法在生成准确图像方面的影响有限。最近使用生成对抗网络(GAN)[13]进行数据增强的方法[14,30,6,7然而,它们与分割的相关性有限,因为它们不对不同器官之间的几何关系进行建模,并且大多数增强方法在正常和患病样本之间没有区别。第4.5节中的实验表明,在正常受试者图像上训练的分割方法(图2(a))对患病病例的效果并不相同,因为两种类型之间的形状变化显著。因此,需要考虑不同解剖区域之间的几何关系并且生成针对患病和正常情况的不同图像的增强方法另一个局限性是,9613租金增加方法的一个缺点是,它们没有以原则性的方式纳入多样性。在[25]中,形状掩模被手动合并用于图像生成,这是不切实际的,并且可能导致不切实际的变形。2. 相关工作2.1. 用于视网膜OCT分割的深度模型在OCT图像上使用多尺度卷积神经网络(CNN)的首批工作之一[35]采用了基于块的体素分类,用于在完全监督和弱监督设置下检测视网膜内液(IRF)和视网膜下液(SRF)。在[39,12]中使用了完全卷积神经网络和U-网来分割IRF,在[ 39,12 ]中使用了完全卷积神经网络和U-网来分割IRF。[33]以分割视网膜层和液体。显式流体分割方法(如[40])也可实现高分类性能。2.2. 数据增强(DA)虽然传统的增强方法易于实现和生成大型数据库,但它们在诱导数据多样性方面的能力有限。它们还对参数值[11]、图像分辨率变化、外观和质量[22]敏感。最近的基于DL的方法训练合成图像优于那些训练标准DA分类和分割任务。Antoniou等人[1]提出了DAGAN 用 于 少 镜 头 学 习 系 统 中 的 图 像 生 成 。Bozorgtabar等人[8]通过对齐目标数据和源域的特征分布,使用GAN目标进行域转换。Mahapatra等人[25]使用条件GAN(cGAN)生成以扰动输入掩模为条件的信息性合成胸部X射线图像。GAN还用于生成合成视网膜图像[43]和脑磁共振图像(MRI)[14,36],面部表情分析[5],用于超分辨率[21,24],图像配准[27,26,28]以及从其低强度采集对应物生成更高强度的MRI[41]。生成的图像在强度分布中具有隐式变化,但没有明确尝试对属性(例如形状变化)进行建模,这些属性对于捕获人群中的不同状况很米勒塔里等.[29]具有模拟解剖变化的增强医学图像,但基于变换函数和参数设置展示变化的性能。2.3. 使用不确定性生成图像Kendall et al. [17] used approximate Bayesian infer-ence for parameter uncertainty estimation in sceneunder- standing, but did not capture complex correlationsbetween different labels. Lakshminarayanan等人[20]提出了一种使用M网络的集合生成不同样本的方法,而Rupprecht等人。[34]一个人,9614X˜x,cg用于图像生成的具有M个头的角网络。Sohn等人[37]提出了一种基于条件变分自编码器(cVAE)的方法来建模分割掩模,从而提高了生成图像的质量。在概率UNet [19]中,cVAE与UNet [32]相结合以生成多个分割掩模,尽管由于仅在最高分辨率下引入随机性而具有有限的多样性。Baumgartner等人[2]引入了一个框架,通过在多个级别上注入随机性来生成具有更大多样性的图像。2.4. 我们的贡献基于改进的数据增强在DL系统中产生更好的分割性能的前提,我们假设通过考虑以下因素之间的内在关系,可以改进合成图像的生成:x的bel为lx。我们的方法学习生成一个新的图像和分割标签地图从一个基本的图像和其相应的手动掩模。第一 阶 段 是 空 间 变 换 器 网 络 ( Space transformernetwork,缩写为TRNN)[16],它将基础遮罩变换为具有不同位置、比例和方向属性的新形状。用于获得新的′将分割掩码s应用于x以得到对应的′变换图像x。因为我们的主要目标方法是学习解剖区域的轮廓和其他形状特定信息,修改的UNet架构作为生成器网络有效地捕获形状的分层信息。它还可以更容易地在不同级别的图像抽象中引入多样性。生成器Gg采用输入sx和输出掩码cg的期望标签向量,以经由矩阵输出仿射变换矩阵A,即,Gg(sx,cg)=A. A用于′ ′解剖结构的形状和几何结构[4]。在本页中-因此,我们提出了一种几何感知形状生成对抗网络(GeoGAN),其学习生成所需解剖结构的合理图像(例如,视网膜OCT图像),同时保留几何形状和形状之间的学习关系。我们做出以下贡献:1. 与标准DA相比,简化几何信息有助于生成逼真且定性不同的医学图像和形状。其他作品,如[25,43]没有纳入解剖部分之间的这种几何关系。2. 在类别标签上使用不确定性采样和条件形状生成,以在掩码生成过程中引入多样性。与以前的方法相比,我们在不同阶段引入多样性(不同于[25,43,19])并引入辅助分类器(不同于[2,37])以提高生成图像的质量和准确性。3. 方法我们的增强方法:1)对多个分割标签之间的几何关系进行建模:2)保留原始图像的疾病类别标签以学习疾病特定的外观和形状特征;以及3)通过不确定性采样在图像生成过程中引入多样性。图3显示了使用修改后的基于UNet的生成器网络的训练工作流程。一套IM-生成sx 和x. CNOD类确定输出图像是否保留了期望的标签CG。该软件的任务是确保生成的面具和图像是真实的。设Gg与Dg之间的极大极小准则为minGgmaxDgLg(Gg,Dg). 损失函数Lg具有三个分量Lg=Ladv+λ1Lclass+λ 2Lshape(1)其中1)Ladv是对抗损失,以确保Gg输出真实的变形;2)L类确保生成的图像具有目标输出类标签(疾病或正常)的特征;以及3)L形状确保新掩模具有逼真的形状。λ1、λ2平衡每项对抗性损失-Ladv(Gg,Dg):生成了一个新的语义映射sxA(s x),并输出A,以sx为条件的A的预测。Ladv定义为:Ladv(Gg,Dg)=Ex<$logDg(sx<$A<$(sx))<$+Esx<$log(1−Dg(sx<$A<$(sx)<$,分类损失-L类 :仿射变换A以获得生成图像′X.在优化G g和Gg的和Dg,并将分类损失定义为,年龄和分段掩码用于训练生成器,而时间序列提供反馈以改进L类=E′[−logDclas s(cg|x′)],(3)发电机输出。图4描绘了从验证图像集生成合成图像以及随后在测试时训练UNet以进行图像分割的使用。3.1. 几何感知形状生成让我们将输入图像表示为x,将对应的手动分割掩码表示为sx,并且将疾病类别表示为la。其中,项Dclass(cg|x′)表示概率dis-对D.形状损失-L形 :我们打算保留不同标签之间的相对几何排列。所生成的掩模具有带有不同分配的分割标签的区域,因为基本掩模(图像(二)9615ΣX图3.概述我们方法训练阶段的步骤 图像(X)和对应的分割掩模(SX)被输入到一个卷积器,其输出被馈送到生成器网络。发电机网络基于UNet架构,通过不确定性实现多样性′以不同的水平进样生成的掩码SX被馈送到基于L类评估其准确性的SVM,L形和Ladv.所提供的反馈用于权重更新以获得最终模型。图4.面具生成的描述。经训练的生成器网络用于验证集基础图像,以生成用于训练分割网络(UNet或Dense UNet)的新图像然后,该模型从测试图像中分割视网膜层。已生成)已具有标记图层。让我们用si来表示sx中的图像区域(或像素),该图像区域被赋予标签i。考虑另一组pixels,s,j ,分配标签j 。 我们计 算 Pshape(li|sj,si),即g iv en区域si,sj,si是标签i的成对概率。如果n表示标签的总数,对于每个标签i,我们计算n-1个这样的概率值,并对所有n个标签重复计算因此i/=j1这对标签图之间的条件概率使得分类器能够隐式地捕获几何关系和体积信息,而不需要定义显式特征。不同层之间的几何关系对于疾病和正常情况将不同,这被我们的方法有效地捕获。3.2. 不确定性抽样的样本多样性通过融合生成器Gg的L个级别(如图3所示)来获得生成的掩码s′,每个级别与潜在变量zl相关联。我们使用概率不确定性抽样来模拟分割掩模的条件分布,并在多分辨率下使用单独的潜变量来考虑固有的不确定性。分层方法在不同阶段引入多样性并影响不同的特征(例如,早期层的低级特征和后期层的抽象特征去-为了简单起见,将生成的掩码记为s,我们得到条件分布p(s|x)对于L潜在水平,为:p(s|x)= p(s|z1,···,zL)p(z1|z2,x)···L形=n×(n−1)i、jP形;(i,j)∈{1,···,n}(四)p(zL1|zL,x)p(zL|x)dz1···dzL.(五)该概率值是从一个预先训练的modified VGG16架构来计算L形状,其中输入,把有两个单独的地图对应的标签对。每个地图潜变量zl在原始图像的分辨率2− l+1处对多样性进行建模(例如,z1和z3表示原始和1/4图像分辨率)。一个变分逼近q(z|s,x)近似后验分布p(z|s,x),其中z={z1,.,zL}。logp(s|x)=L(s|x)+9616KL(q(z|s,x)||p(z|s,x)),其中L是证据下限,KL(.,. )是Kullback-Leibler分歧。先验分布和后验分布被参数化为正态分布N(z|μ,σ)。图3示出了L = 3的示例实现。我们使用6个分辨率级别和L=4个潜在级别。图3示出了在UNet架构中形成跳过连接的潜变量zl,使得图像之间的信息并且分割输出经过采样步骤。隐变量没有映射到一维向量以保留它们之间的结构关系,并且这个实体大大提高了分割精度。zl的维数是r x 2 − l +1 × r y 2 − l+1,其中rx,ry是图像维数。4. 实验结果4.1. 数据集描述我们将我们的方法应用于OCT图像,因为视网膜疾病导致视网膜层的显著变化,而由于其他形式的疾病(如X射线或MRI)引起的变化对于轻度严重病例不那么明显此外,在视网膜OCT中,不同层(分割标签)之间存在更大的相互作用,这是证明我们尝试对不同解剖区域之间的几何关系进行建模的有效性的良好用例公开可用的RETOUCH挑战数据集[3]用于我们的实验。它有以下病理的图像:1)视网膜内液(IRF):包含组织柱的连续的充满液体的空间; 2)视网膜下液(SRF):在视网膜下腔中积聚透明或富含脂质的渗出物; 3)色素上皮脱离(PED):由于液体或材料在RPE下空间中的积聚,视网膜色素上皮(RPE)连同上覆的视网膜从剩余的Bruchs膜(BM)脱离。常见于年龄相关性黄斑变性(AMD)。使用来自三个不同供应商的谱域SD-OCT设备采集OCT 体 积 : Cirrus HD-OCT ( Zeiss Meditec ) 、Spectralis ( Heidelberg Engineering ) 和 T-1000/T-2000(Topcon)。每个供应商有38个病理每个Cirrus OCT由128个512×1024像素的B扫描组成。每台SpectralisOCT均具有49次B扫描,512×496像素,每台Topcon OCT具有128次512×885(T-2000)或512×650(T-1000)B扫描像素所有OCT体积覆盖6×6 mm 2的黄斑区域,轴向分辨率为:2µ m(Cirrus),3. 9µ m(光谱),和2.6/3。5µm(Topcon T-2000/T-1000)。我们使用了35名正常受试者的额外数据集,这些受试者均来自三种器械类型(12,12,11),没有视网膜疾病的训练集由90个OCT体积组成,分别使用Cirrus、Spectralis和Topcon采集24、24和22个病变体积,以及额外的20个正常受试者(每种器械分别采集7、7、6个的测试集有57个体积,每个器械供应商提供14个患病体积,15个正常受试者(每个器械类型5不同的液体病理(IRF、SRF、PED)和疾病(AMD、RVO)的分布在训练集和测试集中几乎相等。图像总数如下:9071张训练图像(体积的2D扫描)-7064张患病图像和2007张正常图像; 5795张测试图像-4270张患病图像和1525张正常图像。在每个(9071+5795= 14866)B扫描中手动注释分割层和液体区域(病理图像中)。由4名评分员进行手动注释,最终注释基于共识。4.2. 实验设置、基线和重复性我们的方法有以下步骤:1)将数据集分为训练(60%)、验证(20%)和测试(20%)折叠,使得任何患者的图像仅在一个折叠中。2)使用训练图像来训练图像生成器。3)从验证集生成形状,并在生成的图像上训练UNet分割网络[324)使用经过训练的UNet分割测试图像。5)对不同的数据扩充方法重复上述步骤。我们使用Adam optimiser [18]训练所有模型,学习率为10-3,批量为12。使用批次标准化在Eqn.1是通过对18个体积(每个装置6个)的单独数据集进行详细网格搜索来设置的它们在[0,1]之间以0为步长变化。在整个范围内,固定λ1,改变λ2,可以对所有λ1值重复此操作。当λ 1 = 0时,分割精度最高。9,λ2=0。95,这是我们的最终参数值。我 们 将 我 们 的 方 法 称 为 GeoGAN ( 几 何 感 知GAN),并将其性能与其他方法进行比较,例如:1)旋转、平移和缩放(表示为DA数据增强); 2)DAGAN-[ 1 ]的数据增强GAN; 3)cGAN-[ 25 ]的基于条件GAN的方法;以及4)Zhao-[ 42 ]的图谱配准方法。分割性能根据Dice Metric(DM)[10]和HausdorffDistance(HD)[31]进行评估。DSC为1表示完全重叠,0表示没有重叠,而较低的HD值(以mm计)表示较好的分割性能。算法基线。我们的方法的以下变体用于消融研究:1. GeoGANnoL类-没有分类损失的GeoGAN(等式10)(3)第三章。2. GeoGANnoLshape-没有形状关系的GeoGAN-船舶建模项(方程4).96173. GeoGANNoSamp- GeoGAN没有不确定性采样,用于注入多样性,以确定采样4. GeoGANL类-使用分类损失的GeoGAN(等式3)和对抗性损失(Eqn. 2)确定L类5. GeoGANL形状-使用形状损失的GeoGAN(等式10)4)和对抗性损失(Eqn. 2)确定L形6. GeoGANSamp-仅使用不确定性采样和对抗性损失的GeoGAN(等式10)2)。该基线量化了采样对图像生成过程的贡献。4.3. 细分结果和分析我们假设,一个好的图像增强方法应该捕捉解剖结构和生成的图像之间的不同的复杂关系,从而提高分割精度。表1报告了RETOUCH测试数据集所有器械类型病理图像的平均DSC。图5显示了使用在来自不同方法的图像上训练的UNet的分割结果。图5(a)显示了测试图像以及重叠的手动掩模,并显示为红色轮廓,图5(b)显示了手动掩模。图5(c)-(g)分别显示了GeoGAN,Zhao[42],DAGAN,cGAN和DA获得的分割掩码。我们的方法优于基线传统的数据增强和其他竞争方法的显着保证金。其他方法的结果取自[3]。Ge-ogan的DSC为0. 906高于DSC值(0. 87)的最佳性能的方法(获得的光谱的图像)。虽然GeoGAN的平均性能在所有三个设备映像中同样良好,但竞争方法对不同设备的排名不同。GeoGAN因此,我们尝试对不同标签之间的内在几何关系进行建模,可以生成高质量的掩模。在一个单独的实验中,我们用一个设备的图像训练GeoGAN,并分割其他设备的图像,并对所有设备类型重复。平均DSC值为0。893,HD为8。与表1中的GeoGAN相比,性能的降低是预期的,因为列车-图像和测试图像来自不同的设备。然而,我们仍然比Zhao[42]和相同数据集上的竞争方法做得更好。我们使用Dense UNet [23]而不是UNet作为分割网络重复表1中的一组实验我们比较方法提出DA达甘[1]cGAN[25][第四十二话]GeoGANDM0.793(0.14)0.825(0.10)0.851(0.07)0.884(0.09)0.906(0.04)HD14.3(4.2)12.9(3.8)10.6(3.0)8.8(3.3)7.9(2.2)表1.来自RETOUCH数据库的病理OCT图像的分割结果。显示了平均值和标准差(以括号表示)。每个指标的最佳结果以粗体显示。获得以下平均DSC值:GeoGAN-0。917,赵-0。896,cGAN−0。864,DAGAN− 0. 834和DA-0。802 GeoGAN给出了最佳结果,因此表明它分割框架。消融研究。表2显示了不同消融研究的分割结果。图6示出了通过图5(a)中所示的相同图像的不同基线获得的分割输出与地面实况和GeoGAN获得的结果完全不同。在某些情况下,层中的正常区域被包括为病理区域,而流体区域的部分不被分割为病理区域的部分这两种情况都不利于疾病的诊断和量化。因此,我们的成本函数的不同组件是不可或缺的方法的性能和排除一个或多个分类损失,几何损失和采样损失的分割性能产生GeoGANnoLclsGeoGANnoL形状GeoGANnoSampDM0.867(0.07)0.864(0.09)0.862(0.09)HD9.4(3.0)9.5(3.3)9.9(3.2)GeoGANonlyLclsGeoGAN只有L形GeoGANonlySampDM0.824(0.08)0.825(0.07)0.818(0.06)HD11.2(2.9)11.1(3.0)12.5(2.8)表2.对来自RETOUCH数据库的病理OCT图像进行消融研究的分割结果的平均值和标准差(括号内)。HD的单位是mm。4.4. 合成图像先前的结果表明,GeoGAN可以生成更多样化的图像,这使得相应的UNet表现出更好的分割精度。图1显示了使用GeoGAN和除DA之外的其他图像生成方法生成的合成图像的示例,因为它只涉及旋转和缩放,9618而图7显示了来自9619(a)(b)(c)(d)(e)(f)(g)图5。RETOUCH挑战数据集上的分割结果:(a)使用手动分割掩模(红色轮廓)裁剪的图像;(b)地面实况(手动)的分割掩模;(c)GeoGAN;(d)Zhao [42];(e)DAGAN;(f)cGAN和(g)常规DA。(a)(b)(c)第(1)款(d)(e)(f)图 6. 消融 研究 结果 (a) GeoGANnoL形状;(b)GeoGANnoLGeoGANCLS;(c)GeoGANnoSamp;(d)(e)GeoGANonlyLcls;(f)GeoGANONLYSamp. HD的单位是mm。消融模型两个图中的基础图像是相同的。目视检查显示GeoGAN生成的图像在大多数情况下尊重相邻层的边界,而其他方法往往不这样做。只有GeoGAN和在某种程度上Zhao生成的图像具有一致的层边界。由其他方法生成的图像受到以下限制:1)容易产生噪音; 2)多个伪影暴露不真实的外观;3)使层边界失真的平滑图像;(4)视网膜各层与液区重叠。在这些图像上训练的分割模型将妨碍它们产生准确分割的能力两名受过训练的眼科医生,分别有4年和5年的经验,检查视网膜OCT图像异常的经验关系评估生成的图像的真实性我们向他们展示了一组来自GeoGAN的500张合成图像,并要求他们将每一张图像分类为真实或不真实。评价会议分别进行,每位眼科医生对其他人的答案以及图像生成模型不知情GeoGAN的结果显示,一名眼科医生(OPT1)识别出461/500(92. 2%)的图像是真实的,而OPT2识别出452(90。4%)生成的图像逼真。 两种方法与440张常见图像(88. 0%-考虑到OPT1和OPT2的反馈,共有473(94。6%)的唯一图像被识别为真实的(27/500(5)4%)的图像无法识别表3.不同图像生成方法的一致性统计两名眼科医生之间的ODs。粗体数字表示同意百分比,括号内数字表示500例患者中的实际人数。任何专家都认为这是现实的(其他方法的一致性统计总结见表3。两个眼科医生之间的最高协议是由我们的方法产生的图像。对于所有其他方法,它们与GeoGAN的差异是显著的。赵等[42]在它们中表现最好,但一致性差异超过6%(对于“至少1名专家“)相比,GeoGAN(94。六比八十八。2)。表3中的数字显示了其他方法的较大差异,因此突出了病理区域分割中建模几何关系的重要性。4.5. 合并疾病和正常数据集第4.3节显示了在患病群体形状上训练UNet以分割患病形状的结果。在本节中,我们展示了相反的场景,其中在正常图像上执行训练,随后使用网络从患病基础图像生成图像,表4示出了相应的结果,并且还示出了当训练图像是患病群体和正常群体的混合,而测试图像来自患病群体时的情况。所有报告的结果均针对同一组测试图像。协议统计两专家至少1专家没有专家GeoGAN88.0(440)94.6(473)5.4(27)赵等al. [第四十二届]84.8(424)88.2(441)11.8(59)cGAN([25])83.2(416)85.4(427)14.6(73)DANG([1])82.2(411)84.2(421)15.8(79)DA80.4(402)82.4(412)17.6(88)GeoGANnoLcls83.6(418)86.4(432)13.6(68)GeoGANnoL形状83.0(415)85.6(428)14.4(72)9620(a)(b)(c)(d)(e)(f)图7.消融研究方法生成的图像:(a)GeoGANnoLcls;(b)GeoGANnoLshape;(c)GeoGANnoSamp;(d)GeoGANonlyLcls;(e)GeoGANonlyLshape;(f)GeoGANONLYSamp.与表1中的结果相比,疾病和正常人群分别训练网络的优越性是显而易见的。图8(a)显示了当训练图像和测试图像来自患病人群时的分割输出,而图8(b)显示了训练图像来自正常人群而测试图像是患病病例的场景。红色轮廓显示了手动分割的轮廓,而绿色轮廓显示了我们方法的输出。当训练图像来自正常人群时,从患病人群中分割图像更具流体层的不准确分割可能对后续诊断和治疗计划产生严重后果。图8(c)显示了当训练数据库是患病和正常人群的混合时的结果,这是真实世界场景的更准确表示。训练集中正常和患病人群图像的混合导致可接受的性能。然而,专门针对疾病病例训练网络提高了病理区域的分割准确性,这当然比分割正常解剖区域更重要。由于获得大量的注释图像是具有挑战性的,特别是对于患病病例,我们提出的图像增强方法是对实验方法的显著改进(a)(b)( c ) 第(1)款图8. 不同训练数据源的测试图像分割结果:(a)只限于患病人口;(b)仅正常人口;(c)患病和正常人群的混合。表4.病变和正常OCT图像混合的分割结果每个指标的最佳结果以粗体显示HD的单位是mm。5. 结论我们提出了一种新的方法来生成合理的视网膜OCT图像,通过将分割标签之间的关系,通过不确定性采样在图像生成过程中引入多样性。比较结果表明,从GeoGAN增强数据集优于标准的数据增强和其他竞争的方法,当应用于视网膜OCT图像中的病理区域(流体填充区域)的分割我们发现,形状,分类和采样项之间的协同作用,导致改进的分割和更大的视觉协议的经验丰富的眼科医生。这些术语中的每一个在生成逼真的形状时都同样重要。我们的方法可以用于其他医学成像模式,而无需对工作流程进行重大更改。尽管我们的方法的良好性能,我们观察到失败的情况下,由于图像采集过程的固有特性的基础图像是嘈杂的,当流体区域大大重叠与其他层。虽然第二种情况并不常见,但在医学上可能是至关重要的。在未来的工作中,我们的目标是评估我们的方法 我们的方法也可用于生成逼真的图像,用于教育临床医生,其中有针对性的合成图像(例如,复杂病例或疾病模拟者的生成)可用于加速训练。类似地,所提出的方法可以用于深度学习系统的质量控制,以通过有针对性的高吞吐量合成图像生成和测试来识别引用[1] Antreas Antoniou,Amos Storkey,and Harrison Edwards.数 据 增 强 生 成 对 抗 网 络 。 在 arXiv 预 印 本 arXiv :1711.04340,,2017.一、二、五、六、七、八[2] 克 里 斯 蒂 安 ·F 作 者 : Kerem C. 放 大 图 片 创 作 者 :Andreas M.乌尔斯·赫克Muehlematter,Khosky正常时训练,中断DA达甘[1]第一章cGAN[25日][第四十二届]GeoGANDM0.7410.7810.8020.8210.856HD15.314.513.711.39.9混合训练,混合DA达甘[1]第一章cGAN[25日][第四十二届]GeoGAN9621作者:Anton S.贝克尔,奥利维奥·多纳蒂,安德·科努科格鲁。Phiseg:捕获医学图像分割中的不确定性。在Proc. MICCAI(2),第119-127页,2019年。3[3] Hrvoje Bogunovic et. al. RETOUCH:视网膜oct液检测与分割的基准与挑战。IEEE医学学报伊玛格,38(8):1858-1874,2019.五、六[4] 弗雷德湖布克斯坦整合、分解和自相似:表征地标数据中形状变化的尺度。Evolutionary Biology,42(4):395-426,2015. 3[5] 贝赫扎德·博佐格塔巴,德瓦里卡纳特·马哈帕特拉,还有让·菲利普. Thiran Exprada:用于面部表情分析的对抗域适应。In Press Pattern Recognition,100:15-28,2020. 2[6] Behzad Bozorgtabar、Dwarikanath Mahapatra、 Hendrikvon Teng 、 Alexander Pollinger 、 Lucas Ebner 、 Jean-Philipe Thi- ran和Mauricio Reyes。使用类感知生成对抗网络生成信息样本,用于胸部X光片分类。计算机视觉与图像理解,184:57-65,2019。2[7] Behzad Bozorgtabar , Mohammad Saeed Rad , HazımKemal Ekenel,and Jean-Philippe Thiran.学习综合,综合学 习 。Computer Vision and Image Understand- ing,185:1–11, 2019. 2[8] BehzadBozorgtabar , MohammadSaeedRad ,DwarikanathMahapatra,andJean-PhilippeThiran.Syndemo:协同深度特征对齐,用于深度和自我运动的联合学习.在IEEE计算机视觉国际会议论文集,第4210-4219页,2019年。2[9] 斯蒂芬妮·J作者:Chiu,Xiao T.放大图片作者:PeterNicholas , Cynthia A. 作 者 : Joseph A. Izatt 和 SinaFarsiu。与专家手动分割一致的sdoct图像中视网膜七层的自动分割Opt. Express,18(18):19413- 19428,2010. 2[10] 利 河 骰 子 . 物 种 间 生 态 关 联 量 的 量 度 Ecology , 26(3):297-302,1945. 5[11] Alexey Dosovitskiy , Philipp Fischer , Jost TobiasSpringenberg,Martin Riedmiller,and Thomas Brox.使用示例卷积神经网络的判别式无监督特征学习。 IEEETrans. 帕特Anal. 马赫内特尔,38(9):1734-1747,2016. 2[12] G. N. 放大图片创作者:杨晓萍,李晓萍.Kothari和JenyRajan。利用全卷积神经网络模型从光学相干断层扫描图像中分割视网膜内囊肿。 IEEE J.BioMed.健康信息。,23(1):296-304,2018. 2[13] 伊恩·古德费洛、让·普盖特-阿巴迪、迈赫迪·米尔扎、许冰、大卫·沃德-法利、谢尔吉尔·奥扎尔、阿伦·库维尔和约舒亚·本吉奥。生成性对抗网。 在神经信息处理系统的进展,第26722[14] Changhee Han , Hideaki Hayashi , Leonardo Rundo ,Ryosuke Araki,Wataru Shimoda,Shinichi Muramatsu,Yujiro Fu- rukawa , Giancarlo Mauri , and HidekiNakayama.基于gan的合成脑mr图像生成。2018年IEEE第15届国际生物医学成像研讨会(ISBI 2018),第734-738页。IEEE,2018年。一、二9622[15] 黄胜伟、林哲宗、陈淑萍、吴燕怡、许柏豪、赖尚红。Auggan:基于gan的数据增强的跨域自适应。在欧洲计算机视觉会议(ECCV)的Proceedings中,第718-731页,2018年。1[16] MaxJaderberg,KarenSimonyan,AndrewZisserman , Koray Kavukcuoglu. 空 间 Transformer 网络。在NIPS,第-页3[17] Alex Kendall , Vijay Badrinarayanan , and RobertoCipolla.贝叶斯分段:用于场景理解的深度卷积编码器-解码器架构中的模型不确定性。载于arXiv:1511.02680,2015。2[18] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的方法。在arXiv预印本arXiv:1412.6980,,2014. 5[19] Simon A. A.放大图片创作者:John W.克劳斯·莱德萨姆 Maier-Hein , S. M. Ali Eslami , Danilo JimenezRezavih,and Olaf Ronneberger.一种用于模糊图像分割的概率u-网。在Proc. NIPS,第6965-6975页,2018年。3[20] Balaji Lakshminarayanan , Alexander Pritzel , andCharles Blundell.使用深度集成进行简单且可扩展的预测不确定性估计 在proc NIPS,第6402-6413页,2017年。2[21] Christian Ledig , Lucas Theis , Ferenc Huszar , JoseCaballero,Andrew Cunningham,Alejandro Acosta,Andrew Aitken , Alykhan Tejani , Johannes Totz ,Zehan Wang,and Wen- zhe Shi.使用生成对抗网络的照 片 逼 真 的 单 图 像 超 分 辨 率 。 CoRR ,abs/1609.04802,2016。2[22] 开尔文K作者:Matthew J.作者:John W.放大图片作者:Shona Clegg,Clifford R.放大图片作者:MichaelW.作者:Nick C. Fox、A.Ourselin和A. D. N.主动。使用多部位连续mri测量阿尔茨海默病的稳健萎缩率:组织特异性强度归一化和参数选择。神经影像,50(2):5162[23] Xiaomeng Li,Hao Chen,Xiaojuan Qi,Qi Dou,Chi-Wing Fu,and Pheng-Ann Heng. H-DenseUNet:混合稠密连接unet用于ct卷中肝脏和肿瘤分割。IEEE医学学报伊玛格,37(12):2663-2674,2018. 6[24] Dwarikanath Mahapatra 、 Behzad Bozorgtabar 和 SajiniHewavitharanage。图像超分辨率使用生成对抗网络和局部显着图视网膜图像分析。在MICCAI,第382-390页,2017年。2[25] Dwarikanath Mahapa
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功