深度学习用于增强结肠镜检查中失真图像转换

Shawn Mathew1∗Saad Nadeem2∗Sruti Kumari1Arie Kaufman1{shawmathew,srkumari,ari}@cs.stonybrook.edunadeems@mskcc.orgBoth VC and OC provide complementary information.OC endoscope videos are comprised of individual framescapturing complex real-time dynamics of the colon with im-portant texture information (e.g., veins, blood clots, stool,etc).VC, on the other hand, provides complete 3D ge-ometric information of the colon including polyps. Thiscomplementary nature of OC and VC motivates our cur-rent work to find ways of translating information betweenthese two modalities. The geometric information from VCimages can aid in 3D reconstruction and surface coverage(percentage of colon inspected) during the OC procedure;lower the surface coverage higher the polyp miss rate. In-ferring scale-consistent depth maps for given OC video se-quences enables 3D reconstruction through established si-multaneous localization and mapping (SLAM) algorithms[23, 25], which can help deduce the surface coverage duringOC. Augmenting VC with texture and specular highlightsfrom OC can be used to generate realistic virtual trainingsimulators for gastroenterologists as well as realistic polyps.Shin et al. [24] have presented a method to produce polypsfrom edge maps and binary polyp masks. This generates re-46960使用扩展和定向CycleGAN进行失真图像转换的结肠镜检查增强01 Stony Brook大学 2 Memorial Sloan Kettering癌症中心0摘要0结直肠癌筛查模式，如光学结肠镜检查（OC）和虚拟结肠镜检查（VC），对于诊断和最终切除息肉（结肠癌的前体）至关重要。非侵入性的VC通常用于检查经CT扫描重建的3D结肠中的息肉，如果发现，将进行OC程序以物理遍历结肠并切除这些息肉。在本文中，我们提出了一种深度学习框架，即扩展和定向CycleGAN，用于OC和VC之间的失真非配对图像转换，以从VC中增强OC视频序列的比例一致深度信息，并从OC中增强VC的患者特定纹理、颜色和高光（例如，用于逼真的息肉合成）。OC和VC都包含结构信息，但OC中的附加患者特定纹理和高光使其模糊，因此OC到VC的转换是失真的。现有的CycleGAN方法不能处理失真转换。为了解决这个缺点，我们引入了一个扩展的循环一致性损失，它比较VC领域中来自OC的几何结构。这个损失消除了CycleGAN在VC领域嵌入OC信息的需要。为了处理更强的纹理和照明去除，引入了一个定向鉴别器来区分转换的方向（通过为鉴别器创建配对信息），而不是标准的CycleGAN，后者是无方向的。通过结合扩展的循环一致性损失和定向鉴别器，我们展示了在幻影、纹理VC和真实息肉和正常结肠视频序列中的比例一致深度推断的最新结果。我们还展示了通过在3DVC模型中引入凸起来自实际息肉和平坦息肉的逼真合成的结果。0* 平等贡献01. 引言0结直肠癌是最常见的癌症之一，每年全球报告有180万新病例（及随后的75万死亡）[1]。光学结肠镜检查（OC）是最常见的结肠癌筛查程序。在这种侵入性的程序中，可以使用内窥镜找到和切除息肉（结肠癌的前体）。相比之下，虚拟结肠镜检查（VC）是一种非侵入性筛查程序，其中结肠是通过计算机断层扫描（CT）重建为3D，并通过虚拟飞行（模拟OC内窥镜遍历）检查息肉。由于其非侵入性、低成本和低风险（无需镇静），VC正成为结肠癌筛查的常用工具。事实上，美国多学会结直肠癌任务组建议平均风险患者50岁以上每5年进行VC筛查，每10年进行OC筛查[22]。46970直方图均衡化直方图均衡化OC合成VC输出OC合成VC输出0图1.标准CycleGAN有损转换问题的两个示例[3]。在OC到VC的转换中，标准CycleGAN将纹理和镜面反射存储在VC域中，如直方图均衡化的输出所示。0逼真的息肉，但是3D形状和内窥镜方向很难控制，因此很难产生特定的息肉形状，例如扁平息肉。在我们的背景下，OC到VC的转换可以完全控制3D形状和内窥镜方向，从而容易生成悬垂息肉和扁平息肉。在OC和VC之间进行转换的任务可以推广为图像到图像的域转换。由于OC和VC没有配对的真实数据，CycleGAN[27]适用于这个问题，但它无法处理有损转换，例如VC（结构）和OC（结构+颜色+纹理+镜面高光）之间的转换，如Chu等人所示[3]。Porav等人[20]提出了一种处理有损CycleGAN转换的方法，通过添加去噪器来减少低幅度高频率。如图1所示，镜面高光和纹理没有被嵌入为高频/低幅度信号，因此去噪器在我们的背景下没有帮助。因此，我们引入了一种新颖的扩展循环一致性损失来处理有损图像域转换。通过将OC比较替换为VC比较，从而使网络不再需要在有损域中隐藏信息。通过方向鉴别器来更强烈地去除这些镜面反射和纹理，该鉴别器区分转换的方向，而不是标准的CycleGAN，后者是无方向性的。这个方向鉴别器像条件GAN中的鉴别器一样工作，并处理配对数据，从而使整个网络更好地理解两个域之间的关系。本文的贡献如下：01.通过一种新颖的扩展循环一致性损失的有损图像到图像转换模型，从VC中去除纹理、颜色和镜面高光。02.通过方向鉴别器在OC和VC之间创建更强的联系，以去除剩余的纹理和光照。03. 相同的框架可以合成逼真的OC（扁平和悬垂）图像。04. 从OC视频序列中推断出具有尺度一致性的深度。02. 相关工作0生成对抗网络（GANs）[6]引入了对抗学习的概念，并在图像生成、分割[10]、超分辨率[9]、视频预测[14]等方面取得了有希望的结果。GANs的思想是两个网络相互对抗进行游戏。图像到图像的转换：这个任务将一个域中的图像映射到另一个域中的图像。在我们的背景下，OC和VC图像转换可以重新定义为图像到图像的转换问题。pix2pix网络是一个使用条件GAN和额外的L1损失来解决这个问题的深度学习模型[7]。该模型需要来自两个给定域的配对的真实数据，而这在我们的背景下是不可用的。最近的深度学习方法解决了无配对图像到图像域转换的问题，包括CycleGAN[27]和类似的方法[8,26]。在本文中，我们修改CycleGAN以进行OC和VC之间的无配对有损图像到图像的转换，并进一步修改它以在两个输入域之间创建更强的联系。CycleGAN已经被证明会产生虚假特征[24]，如果直接用于患者诊断，这是有问题的。然而，我们将其作为真实数据的附加部分，而不是用于诊断目的。当处理有损图像转换时，CycleGAN往往会隐藏有关有损图像的信息。循环一致性损失要求网络在有损域中嵌入额外的信息，以便重构图像[3]。Porav等人[20]提出了通过添加去噪器来减少低幅度高频率的方法来处理有损域转换的可能解决方案。在我们的情况下，网络只是试图将纹理和光照伪影与结肠壁混合在一起，因此他们的方法对我们没有帮助。Mirza等人[16]提出了使用生成器的输出与输入的全部或部分进行条件化的思想。这些额外的信息被传递给鉴别器，并为输入和输出之间提供了更强的联系。条件CycleGAN[11]采用了相同的概念，其中使用标签或另一幅图像来驱动转换的方向。换句话说，CycleGAN允许额外的输入来驱动转换，但需要配对的真实数据46980图2.从对应图像生成逼真的VC和OC图像的流程。OC和VC图像从视频中提取。VC视频是通过重建CT扫描然后渲染结肠飞行而创建的。这些数据被传入Extended和Directional CycleGAN的生成器，生成VC和OC图像。0图3.左侧图像描述了Zhu等人的CycleGAN[27]用于VC到OC转换的循环一致性损失。右侧图像显示了我们用于OC到VC转换的扩展循环一致性损失。0输入OC VCsyn OCrec VCsynrec0图4.第一张图是输入OC图像。输入图像经过GVC后得到合成VC图像VCsyn。OCrec是VCsyn经过GOC得到的。注意，这张图像与输入OC图像的纹理和镜面反射不同，只有两者之间的几何形状相同。这种几何形状在VCsynrec中得到反映，VCsynrec是OCrec经过GVCre得到的。0标签和输入之间的关系。我们的方向鉴别器类似于条件GAN，但不像条件GAN那样需要真实标签和输入。Donahue等人[4]和Dumoulin等人[5]提出的方法与我们的方法类似，它们使用两个网络的配对输入和输出来训练一个单一的鉴别器，但与我们的情况不同，它们配对的是潜在向量和图像，而不是图像。正如Zhu等人[27]所示，这些方法在图像到图像的领域转换任务中效果不好，导致严重的伪影和不真实的图像。最近，Pajot等人[19]讨论了一种类似于我们的扩展循环一致性损失的方法来重建噪声图像。我们与他们的方法不同之处在于，我们在循环中只向前迈出了一步，以实现一对多的图像转换（我们应用的要求），而在他们的情况下是向前迈出了两步。0由于光照的复杂性，传统的计算机视觉技术在OC深度推断方面效果不佳。Nadeem等人[18]引入了一种非参数字典学习方法，仅使用VCRGB-Depth字典推断给定OC视频帧的深度信息。然而，由于VCRGB图像中深度线索的非真实渲染，推断的深度不准确。Mahmood等人[13]通过在渲染图像中使用反向强度衰减来融入真实的深度线索，克服了这个限制。他们创建了一个在合成结肠图像上训练的变换网络。给定OC图像，首先使用GAN将这些图像转换为类似合成环境的图像，然后使用单独的深度学习网络生成深度图。虽然这种方法在不需要配对图像数据的情况下能够很好地去除患者特定的纹理，但它难以去除OC图像中的镜面反射。此外，生成的深度图不平滑且不一致。0Rau等人[21]引入了一个称为extendedpix2pix的pix2pix变体来生成OC深度图。extendedpix2pix是应用于结肠镜深度重建的pix2pix模型的变体。由于使用了幻影和VC数据来创建配对的深度和结肠图像，网络在处理真实的OC数据时遇到了困难。为了缓解这个问题，引入了一个扩展，其中包括真实的OC图像用于GAN损失。由于缺乏真实的标准，pix2pix中的L1损失在这些OC输入中被忽略。这使得网络能够在不需要相应的标准的情况下部分地训练真实的结肠图像。然而，他们的方法假设了完整的内镜视图（管状结构），否则会失败。Chen等人[2]也使用了一个pix2pix网络来从幻影模型中生成深度图。他们在VC上进行了训练，使用了各种不包含OC中复杂纹理或镜面反射的逼真渲染。尽管如此，他们仍能够为幻影和猪结肠视频序列生成一致尺度的深度图。0Ma等人[12]提出了一种基于视觉里程计的深度学习方法，用于从OC视频序列中推断出尺度一致的深度图。然后将这些尺度一致的深度图传递给SLAM算法[23]，以进行三维重建，得到结肠网格用于表面覆盖计算。然而，与大多数其他方法一样，他们假设了圆柱拓扑，并且只适用于内镜视图。此外，他们的方法无法处理镜面高光、遮挡和大幅度的相机运动，并且需要预处理来掩盖这些方面。The OC and VC data was acquired at Stony Brook Uni-versity for 10 patients who underwent VC followed by OC(for polyp removal). The OC data contained 10 videos fromOC procedures. These do not provide ground truth as theshape of the colon is different between VC and OC. Theimages taken from the videos were cropped to the bordersof the frames. A cleansed 3D triangular mesh colon modelwas extracted from the 10 abdominal CT patient scans usinga pipeline similar to Nadeem et al. [18]. The virtual colonwas then loaded into the Blender1 graphics software, andcenterline flythrough videos of size 256×256 pixels wererendered with two light sources on the sides of the virtualcamera in order to replicate the endoscope and its environ-ment. To incorporate more realistic depth cues, the inversesquare fall-off property for the virtual lights was enabled[13]. When training the network, both VC and OC imageswere downsampled to a size of 256×256 pixels for compu-tational efficiency. In total, 10 OC and VC videos were usedwith 5 of these used for training and the remaining three fortesting and two for validation purposes. We captured 300images from each OC and VC video, resulting in 1500 fortraining, 900 for testing and 600 for validation. Figure 2shows our end-to-end pipeline.1 www.blender.orgLGAN(G, D, A, B) = Ey∽p(A)�log(D(y)�+Ex∽p(B)�1 − log(D(G(x))�(1)Lcyc(Ga, Gb, A) = Ey∽p(A)∥y − Ga(Gb(y))∥1(2)46990图5.左图显示了CycleGAN中处理两个GAN的对抗部分。每个生成器都独立地工作，不包括循环一致性损失。右图显示了带有方向判别器的架构布局。真实的OC和合成的VC被连接起来并传递给方向判别器，同时合成的OC和真实的VC也被连接起来，从而在两者之间建立更强的连接。这使得方向判别器能够处理配对信息。在这两种情况下，判别器只考虑真实OC和VC的真实分布以及由真实OC和VC的生成器产生的合成分布。重构的图像不被这些判别器的对抗损失考虑。0OC和VC数据是在StonyBrook大学获取的，共有10名接受VC后进行OC（用于息肉切除）的患者的数据。OC数据包含了10个OC手术的视频。这些视频不能提供真实的肠道形状，因为VC和OC之间的肠道形状是不同的。从视频中获取的图像被裁剪到帧的边界。通过类似于Nadeem等人[18]的流程，从10个腹部CT患者扫描中提取了一个清洁的三角网格结肠模型。然后，将虚拟结肠加载到Blender1图形软件中，并使用两个侧面的虚拟相机两侧的光源渲染大小为256×256像素的中心线飞行视频，以模拟内窥镜及其环境。为了增加更真实的深度线索，启用了虚拟光源的平方反比衰减属性[13]。在训练网络时，VC和OC图像都被降采样到256×256像素的大小以提高计算效率。总共使用了10个OC和VC视频，其中5个用于训练，剩下的三个用于测试，另外两个用于验证。我们从每个OC和VC视频中捕获了300张图像，共1500张用于训练，900张用于测试，600张用于验证。图2显示了我们的端到端流程。03. 数据04. 方法0CycleGAN网络[27]由两个GAN组成，通过附加损失将这两个GAN组合成一个模型。我们将G定义为生成器，Goc定义为生成OC图像的GAN生成器，Gvc定义为生成VC图像的生成器。D、Doc和Dvc分别表示相应生成器的判别器。与Zhu等人[27]类似，我们将域A的数据分布表示为y∽p(A)，域B的分布表示为x∽p(B)。GAN中应用的对抗损失如下所示：0CycleGAN中的循环一致性损失将两个GAN连接起来，用于处理图像到图像的域转换任务。循环一致性损失如下所示：0其中∥∙∥1是ℓ1范数，x∈a。这个损失在图3的左侧表示。循环一致性损失用于实现双向翻译（即A到B和B到A）。如图1所示的有损转换不被CycleGAN处理（正如之前所示[3,20]）。循环一致性损失要求从合成的VC中重建OC图像，Gvc(OC)。为了处理这个任务，网络需要合成的VC来存储颜色、纹理和镜面反射，以便合成的VC可以重建OC。为了解决这个问题，我们引入了扩展的循环一致性损失来帮助网络进行有损转换。然而，仍然存在一些纹理和反射被传递到VC域中，因此需要建立OC和VC之间更强的连接，这是通过我们的方向判别器来实现的，该判别器将OC和VC图像配对。Lexcyc(Ga, Gb, A) = Ey∽p(A)∥Gb(y) − Gb(Ga(Gb(y)))∥1(3)47000直方图均衡化 直方图均衡化 直方图均衡化 OC输入 CycleGAN CycleGAN XCycleGAN XCycleGAN XDCycleGANXDCycleGAN0图6.OC到VC的结果。蓝色框显示了XCycleGAN无法完全去除镜面反射和纹理的区域，而XDCycleGAN能够去除这些。最后两行显示了[15]中XDCycleGAN能够在VC中重新创建息肉。04.1. 扩展循环一致性损失0为了解决VC中嵌入OC特征的问题，我们提出了一种新的损失来替代OC域中的循环一致性损失，我们称之为扩展循环一致性损失（图3）：0这个损失将合成的VC，G vc ( OC ) ，与重构的合成VC，Gvc ( G oc ( G vc ( OC )))进行比较。换句话说，扩展循环一致性损失强制VC域中捕获的结构在OC和重构的OC，G oc ( G vc ( OC))之间是相同的。这个损失在图3右侧以图示方式表示。图4显示了扩展循环一致性损失如何使重构的OC具有与原始OC输入不同的纹理和光照。当将这个损失应用于CycleGAN时，0我们称之为扩展CycleGAN（XCycleGAN）。网络的构建方式是，重构的OC，G oc ( G vc ( OC ))，没有限制。由于这个图像应该看起来像一个OC图像，所以我们添加了一个额外的OC鉴别器，并应用了GAN损失。此外，Zhu等人[27]提到了使用身份损失来比较OC和G OC (OC)以保留颜色。由于我们不希望保留OC的颜色信息，因此删除了这个损失，但在VC方面保留了颜色。因此，对于XCycleGAN，包括了L iden ( A ) =  E y ∽ p ( A ) | G a ( y )  −  y| 的损失。04.2. 方向鉴别器0为了在OC和VC之间创建更强的联系，我们的方法使用了一个单一的方向鉴别器，而不是像图5中所示的两个。由于只有鉴别器的输入通道数发生了变化，所以方向鉴别器只需要改变输入通道数，如图5所示。(4)(5)47010VC输入 CycleGAN XDCycleGAN0VC输入 OC输出 VC输入 OC输出0图7.从VC到OC图像翻译的结果。CycleGAN生成的合成OC图像将结构转化为纹理，而XDCycleGAN则不会这样做。在下面，我们展示了由我们的XDCycleGAN通过增加纹理、颜色和镜面反射来创建的VC中的息肉。0方向鉴别器减少了网络所需的内存。我们的方向鉴别器只需要17.4MB，而单个CycleGAN鉴别器需要11.1MB（总共22.2MB）。GAN是基于在生成器和鉴别器之间创建一个两个玩家对抗游戏的思想。在我们的模型中，我们希望通过创建一个三个玩家的游戏来建立图像生成器之间更强的关系。这个游戏的玩家是两个生成器（G a，Gb）和一个鉴别器（D）。类似于条件GAN，Ga将其输入和输出提供给D，试图说服D其输出来自G b。Gb执行相同的任务，只是它使其输入输出对类似于Ga的。由于G a的输入域是G B的输出域，而G a的输出域是0由于G b的输入域是Ga的输出域，鉴别器最终会区分使用了哪个生成器，因为输入域是固定的，如图5右侧所示。通过试图区分生成器，鉴别器实际上是区分翻译的方向。例如，如果我们看OC和VC图像的翻译，鉴别器将区分以下配对：{OC，合成的VC}和{合成的OC，VC}。因此，鉴别器最终会区分翻译的方向。当这个模型收敛时，合成的图像将需要反映其相应域的真实分布，同时也给鉴别器提供配对信息。这样就在两个生成器之间建立了更强的联系，同时消除了两个鉴别器的需求。这个方向鉴别器的损失为：0Ldir (Ga, Gb, D, A, B) = Ey∽p(A) � log(D(y, Gb(y))) � +0Ex∽p(B) � 1 − log(D(Ga(x), x) �0我们的方向鉴别器和扩展循环一致性损失的组合产生了扩展和方向循环GAN（XDCycleGAN）。XDCycleGAN的总目标损失函数为：0L = λLexcyc(Goc, Gvc, Ioc) + λLcyc(Gvc, Goc, Ivc)0+ L dir (Goc, Gvc, Ddir, Ioc, Ivc)0+ Ldir(Gvc, Goc, Ddir, Ivc, Ioc) +αLGAN(Goc, Doc, Ioc, Goc(Gvc(Ioc)))0+ γ L iden (VC),0其中α，λ和γ是常数权重。对于OC到VC渲染和OC到尺度一致的深度图，我们训练网络200个时期，α = 0.5，λ =10，γ =5。我们为鉴别器的每一层添加了光谱归一化[17]以提高网络的稳定性。05.实验结果0为了清晰强调OC到VC转换中的纹理和镜面高光，我们通过在OC和渲染的VC数据上训练CycleGAN、XCycleGAN和XDCycleGAN，在深度图中，纹理和高光稍微难以可视化。为了进一步突出纹理和光照的嵌入，对输出的VC图像应用直方图均衡化。对于所有的OC图像，可以清楚地看到直方图均衡化的CycleGAN图像嵌入了镜面反射和纹理。在大多数情况下，这些伪影在VC图像中是可见的。我们进一步指出，直方图均衡化的XCycleGAN中保留了从输入中保留的纹理和光照，而XDCycleGAN能够去除这些。这些情况用蓝色框标记。. . .. . .. . .Textured VC. . .Ground Truth. . .. . .. . .. . .. . .. . .. . .. . .. . .47020OC0Mahmood[13]0我们的0Ma[12]0我们的0OC0Ma[12]0我们的0幻影0Chen[2]0图8.视频序列上的尺度一致深度推断。第一个（顶部）数据集包含一个息肉视频序列，其中包括Mahmood等人[13]和我们的结果。第二个数据集是从我们的纹理化VC视频飞行中连续的帧和Ma等人[12]和我们的结果。Ma等人的方法的SSIM为0.637，而我们的结果为0.918。Ma等人假设输入是一块具有圆柱拓扑（内腔）视图的连续视频帧，其中镜面反射和遮挡被掩盖。第三个数据集展示了另一个序列，假设Ma等人的输入[12]和我们的相应结果。最后一个数据集展示了Chen等人的幻影模型[2]以及他们的结果和我们的结果。完整的视频和其他序列在补充材料中展示。47030OC输入 XDCycleGAN OC输入 XDCycleGAN0图9.XDCycleGAN的失败案例。包括液体运动、运动模糊或遮挡以及仪器。右上方的图像（来自[15]）显示了我们的网络在被纹理包围的情况下可能会将息肉误认为纹理。0图6中的最后两行显示了我们的网络如何能够在VC中重新创建息肉。在倒数第三行中，XDCycleGAN展示了其对OC几何形状的优越理解。它比XCycleGAN更好地恢复了息肉的形状，使其看起来更加平坦。在最后一行中，XDCycleGAN捕捉到了息肉更复杂的几何形状，并用红框突出显示。在VC到OC的图像转换中，我们的网络也比CycleGAN表现更好，如图7所示。我们观察到CycleGAN将VC领域的结构转化为纹理，而XDCycleGAN保留了VC领域的所有结构。为了展示VC到OC转换的好处，我们在VC中添加了具有特定形状和内窥镜方向的凸起，并使用纹理和镜面反射进行增强，如图7所示。对于VC→OC→VC情况下的循环一致性深度，CycleGAN的准确性为7.74±6.07，XCycleGAN的准确性为6.84±5.39，XDCycleGAN的准确性为6.34±3.73。尺度一致的深度推断，我们训练了XDCycleGAN来演示其推断尺度一致的深度信息的能力。这种深度推断是三维重建的第一步，一旦获得这些深度图，就可以使用标准的SLAM算法[23,25]。图8显示了各种时间序列和我们在该输入上的结果。在我们的第一次测试中，我们与Mahmood等人[13]进行了比较，并展示了我们的深度图要平滑得多。他们的方法在处理一些镜面反射时存在问题，将其视为深度的变化并且在尺度一致性上失败。另一方面，XDCycleGAN忽略了这些反射并产生了更平滑的深度图。对于我们的第二次测试，我们使用从VC中手动纹理化的虚拟结肠生成的2000个视频帧。结肠是通过混合OC中找到的各种纹理的快照来纹理化的，并且可以获得地面真实值。为了定量分析，我们分析了2000个帧的平均SSIM分数以测试结构相似性。我们的方法得到了平均SSIM分数为0.918，这表明0我们的网络能够很好地捕捉这些帧的结构。我们还在我们的真实数据上运行了Ma等人的方法[12]。SSIM分数为0.637。他们的分数较低，因为深度图被平滑处理，大部分关键的几何/结构都丢失了。他们还假设了内镜视图，如果无效，则将错误传播到后续帧。除了SSIM之外，我们的方法生成的深度图的RMSE为31.25±6.76，而Ma等人的方法为92.67±10.32[12]。为了公平起见，我们还在OC视频序列上比较了Ma等人的方法[12]，其中他们的输入假设成立。从他们的流程生成的深度图不能像XDCycleGAN那样准确地恢复大部分肠壁的几何形状。最后，我们还将我们的模型与Chen等人的方法[2]在他们的幻影结肠上进行了比较，结果显示我们的模型是稳健的，即使在我们在训练过程中没有考虑的数据上也是如此。06. 限制和未来工作0与大多数深度学习框架一样，该网络存在故障情况，如图9所示。当存在严重遮挡、模糊或流体运动时，网络会尝试重建图像，并推断出随机几何形状。为了解决这些伪影问题，我们将来会引入一个图像质量控制框架来检测和删除这些帧。此外，我们的流程不适用于OC图像中的仪器，因为我们的VC对应物没有相应的表示。在VC领域添加仪器模型可能是识别OC图像中的仪器的一种方法。此外，如果息肉与结肠壁的纹理混合在一起，其突出部分很难注意到，XDCycleGAN会同时去除息肉和纹理。然而，息肉可能在早期帧中可见，时间组成部分可能解决这个问题。最后，我们将对息肉检测和分割流程进行更详细的分析，并使用我们的息肉数据增强/合成。0致谢0我们要感谢Sarah K. McGill博士（UNC ChapelHill）授予我们访问OC视频的权限，以及RuibinMa进行比较。该研究由NSF资助，编号为NRT1633299、CNS1650499、OAC1919752和ICER1940302，NIH/NCI癌症中心支持基金P30CA008748，NIH/NHLBI授予U01HL127522奖项，纽约州生物技术中心，石溪大学，冷泉港实验室，布鲁克汉国家实验室，费恩斯坦医学研究所和纽约州经济发展部根据合同C14051资助。该内容完全由作者负责，不一定代表NIH的官方观点。47040参考文献0[1] Freddie Bray, Jacques Ferlay, Isabelle Soerjomataram,Rebecca L Siegel, Lindsey A Torre, and Ahmedin Jemal. Globalcancer statistics 2018: GLOBOCAN estimates of incidence andmortality worldwide for 36 cancers in 185 countries. CA: ACancer Journal for Clinicians, 68(6):394–424, 2018. [2] RichardJ Chen, Taylor L Bobrow, Thomas Athey, Faisal Mahmood, andNicholas J Durr. Slam endoscopy enhanced by adversarialdepth prediction. arXiv preprint arXiv:1907.00283, 2019. [3]Casey Chu, Andrey Zhmoginov, and Mark Sandler. Cyclegan,a master of steganography. arXiv preprint arXiv:1712.02950,2017. [4] Jeff Donahue, Philipp Kr¨ahenb¨uhl, and TrevorDarrell. Adversarial feature learning. International Conferenceon Learning Representations (ICLR), 2017. [5] VincentDumoulin, Ishmael Belghazi, Ben Poole, Olivier Mastropietro,Alex Lamb, Martin Arjovsky, and Aaron Courville.Adversarially learned inference. International Conference onLearning Representations (ICLR), 2017. [6] Ian Goodfellow,Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, DavidWarde-Farley, Sherjil Ozair, Aaron Courville, and YoshuaBengio. Generative adversarial nets. Advances in neuralinformation processing systems, pages 2672–2680, 2014. [7]Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, and Alexei A Efros.Image-to-image translation with conditional adversarialnetworks. Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition, pages 1125–1134, 2017. [8]Taeksoo Kim, Moonsu Cha, Hyunsoo Kim, Jung Kwon Lee,and Jiwon Kim. Learning to discover cross-domain relationswith generative adversarial networks. Proceedings of the 34thInternational Conference on Machine Learning,70:1857–1865, 2017. [9] Christian Ledig, Lucas Theis, FerencHusz´ar, Jose Caballero, Andrew Cunningham, AlejandroAcosta, Andrew Aitken, Alykhan Tejani, Johannes Totz, ZehanWang, and Wenzhe Shi. Photo-realistic single imagesuper-resolution using a generative adversarial network.Proceedings of the IEEE Conference on Computer Vision andPattern Recognition, pages 4681–4690, 2017. [10] JonathanLong, Evan Shelhamer, and Trevor Darrell. Fully convolutionalnetworks for semantic segmentation. Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,pages 3431–3440, 2015. [11] Yongyi Lu, Yu-Wing Tai, andChi-Keung Tang. Attribute-guided face generation usingconditional cyclegan. Proceedings of the EuropeanConference on Computer Vision (ECCV), pages 282–297,2018. [12] Ruibin Ma, Rui Wang, Stephen Pizer, JulianRosenman, Sarah K McGill, and Jan-Michael Frahm. Real-time3d reconstruction of colonoscopic surfaces for determiningmissing regions. International Conference on Medic