VCNet：一种利用生成模型进行体积填充的深度学习方法

视觉信息学6（2022）62VCNet：一种用于体积填充的生成模型韩军，王朝利Department of Computer Science Engineering，University of Notre Dame，Notre Dame，IN 46556，United Statesar t i cl e i nf o文章历史记录：2022年4月14日在线提供保留字：体视化生成对抗网络数据补全a b st ra ct我们提出了VCNet，一种新的深度学习方法，通过合成缺失的子卷来完成卷。我们的解决方案利用了生成对抗网络（GAN），该网络可以学习使用对抗和体积损失来完成体积。VCNet的核心设计具有扩张的残留块和长期连接。在训练期间，VCNet首先随机掩蔽基本子体积（例如，长方体，切片）从完整的卷，并学会恢复它们。此外，我们设计了一个两阶段的算法来稳定和加速网络优化.一旦经过训练，VCNet将不完整的卷作为输入，并自动识别和高质量地填充缺失的子卷。我们定量和定性测试VCNet与体积数据集的各种特性，以证明其有效性。我们还将VCNet与基于扩散的解决方案和两种基于GAN的解决方案进行了比较。版权所有©2022作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍随着机器学习技术的惊人进步然而，完成卷的任务仍然是未探索的。卷补的目的是恢复卷中损坏、变质或缺失的部分，以便能够呈现完整的卷。图1中示出了一个示例。体素补全技术的潜在应用包括部分受损数据的恢复和仅存储部分体素的数据例如，科学模拟需要将数据保存到磁盘用于后期处理。但是，由于I/O暂停或网络中断，这些数据在传输过程中可能无法完全保存到本地存储如果发生这种情况，我们的方法可以恢复不完整的恢复丢失的子卷带来了四个关键挑战。首先，不像超分辨率和集成生成，其中提供体积的全部信息（即使在低分辨率下），不完整的体积仅提供部分信息。使用具有小感受野的传统卷积（Convs）将无法完成缺失的子体积，而大感受野将导致高计算成本和内存需求。其次，仅应用一系列Conv可能无法处理其分布被合成的复杂数据集（例如，高斯+长尾）。这是因为仅使用一个渐变路径将防止*通讯作者。电子邮件地址：jhan5@nd.eduwww.example.com Han）。https://doi.org/10.1016/j.visinf.2022.04.004Fig. 1. （a）示出了氩气泡数据集的不完整体积，其中长方体缺失子体积显示在侧面（其他图相同在纸上（b）显示了我们的VCNet完成结果。网络融合。第三，需要考虑完成的子体积与其周围环境之间的连贯性。仅辨别完成的子体积可能导致低视觉质量，从而导致明显的边界伪影。第四，在图像完成中，可以通过可视化容易地检测到掩模。然而，在体积完成中，由于所涉及的传递函数和视点，很难通过渲染来生成这样的掩模。然而，具有这样的掩模对于体积完成是必要的，因为它提供了关于哪些体素缺失的先验知识，使得完成任务准确。为此，我们提出了一种新的深度学习解决方案，体积完成网络（VCNet），以填补缺失的子体积，用于体积数据分析和可视化。我们利用了一个由生成器和一个节点组成的生成对抗网络（GAN）。生成器学习如何合成2468- 502 X/©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfJ. Han和C. 王视觉信息学6（2022）6263{VM，M，1n1MMJ] =1 ifM，j[vj1m[详细]通过“看到"来自地面实况子体积的内容来检查丢失的子体积发生器的核心在于扩张的Conv（Yu和Koltun，2016）（其提供大的感受野而不需要额外的计算成本）和长期连接（Ronneberger etal. ，2015; Huang et al. ，2017年）（这将损失降至最低，并防止发电机陷入意外行为）。该模型还判断已完成的子体积与其周围环境之间的一致性，以及已完成的子体积与地面实况子体积之间的真实性。训练数据来自没有丢失体素的卷。在推断期间，给定不完整的体积作为输入，VCNet首先基于完整子体积和不完整子体积之间的Wasserstein距离生成掩码，然后恢复输入。我们定量和定性地测试VCNet上的几个数据集具有各种特征，以证明其有效性。此外，我们将VCNet与三个基线进行比较：梯度向量流（Xu和Prince，1997），上下文编码器（Pathak etal. ，2016 年），以及全球和本地完成（Iizuka et al. ， 2017年）。我们的研究结果表明，VCNet使用数据级度量峰值信噪比（PSNR），图像级度量平均意见评分（MOS）和特征级度量等值 面 相 似 性 （ IS ） 实 现 了 最 佳 质 量 （ Bruckner 和 Möller ，2010）。我们的贡献是三方面的。首先，我们提出了VCNet，一个新的生成模型，可以合成缺失的子体积的体积数据。其次，我们设计了一个掩模检测算法来自动识别缺失的体素。第三，我们进行了全面的研究，以证明VCNet的有效性，并调查其影响因素。2. 相关工作2.1. 用于体积可视化的图像漏洞。对于基于补丁的方法，Drori et al. （2003）迭代地近似 未 知 区 域 并 将 自 适 应 图 像 片 段 合 成 到 图 像 中 。 Barnes 等（2009）提出了PathMatch，一种随机对应算法，随机采样一些好的补丁匹配，并将这些匹配传播到周围区域，以保持自然的一致性。Huang等人 （2014）应用平面结构引导来估计平面投影参数，将已知区域软分割成平面，并发现这些平面内的平移规律以用于图像完成。对于基于学习的解决方案，Pathak et al. （2016年）上下文编码器，用于仅完成中心区域的图像。Iizuka等人（2017）建立了一个全局和局部一致的图像完成框架，用于任意区域完成，其中使用两个鉴别器来保证局部和全局一致性。Liu等人（2018）建立了部分卷积（PConv），将可见性掩模纳入不规则孔完井的卷积操作中。Wang et al.（2018 a）构造了一种生成式多列CNN（GMCNN），它通过三个具有不同内核大小的CNN同时处理不完整的图像 Yu等人 （2019）设计了门控卷积（GConv），为自由形式完成提供了一个可学习的动态特征选择解决方案。我们的工作属于基于学习的解决方案。与上述作品不同，这些作品专注于图像完成，我们提出一个生成模型的体积完成和设计一个掩模检测算法，以发现丢失的体素准确的推断。3. VCNet3.1. 符号我们用VC表示 = {VC，. . .，VC}和VI = {V1，. . .，V1} as研究人员研究了深度学习技术，完整和不完整的体积数据集，分别，其中n和m是数据样本的相应数目为VCNet，VC是训练集，VI是推理集。 VC为解决体积可视化问题。这样的示例包括复杂结构描绘（Cheng etal. ，2019年），渲染CM，1，的。. .，VCM}是生成管道更换（Berger et al. ，2019; Hong et al. ，2019年），通过随机掩蔽的VC。 MC ={MC，. . . ，MC}是二进制的环境遮挡（Engel和Ropinski，2021），代表性1VC的体积掩模集，其中MC[vnVC]不见了时间步长选择（Porter et al. ，2019）和相似性预测（Tkachev etal. ，2021a，b）。其他研究人员开发了深度学习解决方案，用于创建体积标量和矢量数据或在空间中渲染图像（Han et al. ，2019;Guo et al. ，2020; Han and Wang，2020a; Lu et al. ，2021）、颞叶（Han andWang，2020 b; Gu et al. ，2021; Han和Wang，2022），时空（Han et al. ，2022; An et al. ，2021）、图像（Heet al. ，2020; Weiss等人，2021，2020）和可变（Han et al. ，2021; Gu et al. 、在体素v处;否则为MC v0。 MIMI，. . .，M1是V1的二进制体积掩模集合。3.2. 概述我们的VCNet设计改编自3D U-Net（Eschiçek et al. ，2016年），一个流行的神经网络的图像生成和seg-心理任务。给定体积样本VC ∈VC，VCNet第一次运行-C2022）域。我们的工作不同于上述工作。而不是我Domly掩蔽子体积以获得不完整体积M岛专注于数据生成（Han和Wang，2020 a，b; Han et al. 、2022年，2021年），我们利用深度学习解决方案来解决卷完成问题。2.2. 数据填写数据补全问题的研究已经有二十多年的历史，主要有两个方向：传统的解决方案和基于学习的解决方案。传统的解决方案可以分为基于扩散和基于补丁的方法。对于基于扩散的方法，Xu和Prince（1997）引入了梯度向量流，其通过最小化整个数据上的拉普拉斯算子来估计缺失的体素。Ballester等人（2001）提出了一种数据补全算法，该算法联合插值图像的灰度和梯度方向，然后平滑地延伸等照度线以填充缺失的数据。Levin等（2003）在训练图像上建立了一个指数族分布，以完成然后以VC作为输入，VCNet学习合成缺失的为了捕捉合成的子体积与其周围环境之间的一致性，我们利用一个子体积来对体积的真实性进行评分。在推断期间，VCNet接受VI作为输入，估计缺失的体素，并以高质量填充它们。在下文中，我们将介绍VCNet的体系结构然后，我们为VCNet提供了优化和推理细节。3.3. 网络架构生成器. 发电机（G）的结构如图2所示。G的输入是一个不完整的体积，输出是一个完整的体积。VCNet的核心在于应用扩张Conv （ Yu 和 Koltun ， 2016 ） 和 长 期 连 接 （ LTC ） （ Ron-neberger et al. ，2015; Huang et al. ，2017年）。G的设计如下：VJ. Han和C. 王视觉信息学6（2022）6264[客户端]图二. VCNet包括生成器G和VCND。G采取不完整的卷和合成缺失的子卷。D接受已完成的卷作为输入，并确定其真实性。请注意，D仅在训练期间使用。表1G和D的网络架构参数详情。‘‘ke’’, ‘‘dil’’, ‘‘str’’, and ‘‘out chs’’图三. （a）和（b）不同Conv操作的感受野的2D图示。(c)添加三个LTC（即，红色、蓝色和橙色线）将渐变路径的数量增加到四个。虚线表示对应的Conv不涉及反向传播。编码器-解码器结构。编码器降低输入分辨率几倍，以减少内存存储和计算成本。解码器使用体素混洗（VS）将深度特征恢复到输入的原始分辨率（Han和Wang，2020 b）。其次是Iizuka et al.（2017），应用步长为2的Conv以降低编码器中的分辨率。我们不要使用最大池，因为它可能会导致模糊的纹理在丢失的子卷里我们在编码器中将分辨率降低四倍。经过四轮缩减，三个剩余块（RB）（He et al. ，2016年）与扩张的Conv应用提供大的感受野。在这些RB中使用不同的扩张。在解码器中，我们应用四个VS层将特征放大到原始分辨率。LTC用于桥接来自编码器和解码器的特征。ReLU（Nair和Hinton，2010）在编码器和解码器中的每个Conv之后应用。G的参数设置如表1所示。为什么扩张Conv？扩张卷积是卷积运算的一种变体，已用于图像分割（Yu和Koltun，2016）。如图3所示，与传统的Conv不同，扩张的Conv通过应用具有相同数量的参数的扩展核来捕获更大的感受野。提供一个大的感受野对于我们的体积完成任务至关重要，因为它允许网络看到更大的子体积，而不仅仅是关注缺失的子体积的邻域。注意可变形Conv（Dai et al. ，2017）也可以支持大的接收场，但是它需要额外的参数来确定Conv计算中涉及的对应体素。我们还使用可变形的Conv来代替膨胀的Conv，但没有观察到显著的改善。因此，我们决定使用扩张的Conv来设计VCNet。为什么选择LTC？LTC是用于图像分类的流行技术（Huang etal. ，2017）和分割（Ronnebergeret al. ，2015）。它桥接两个Conv层之间的特征映射，以缓解梯度消失问题。增加一个LTC，我们可以依靠两个独立的路径进行梯度计算：一个有LTC，另一个没有LTC。如果一条路径上的梯度在反向传播期间为零，网络仍然可以通过在从后面到前面的层的另一条路径上传播梯度来更新其可训练参数。图3（c）中示出了一个示例。通过在具有五个Conv层的网络中添加三个LTC，我们将梯度路径增加到四个。在没有LTC的情况下，仅存在一个计算路径（即，黑色的）。在体积完成任务中利用LTC是必不可少的，因为它可以促进最小损失并防止网络陷入意外行为（Li etal. ，2018年）。鉴别器。该计数器（D）被设计用于辨别卷是否已经完成。该网络基于完全卷积网络，将体积压缩为特征向量，并预测0， 1中的值以指示输入网络的概述如图所示。二、具体地，D将完成的体积作为输入，并利用四个Conv层和一个全局平均池化（GAP）（Lin et al. 、类型GDker出来ker出来大小DilstrCHS类型大小DilstrCHS输入N/AN/AN/A1输入N/AN/AN/A1Conv+ReLU41232Conv+ReLU41232Conv+ReLU31132Conv+ReLU41264Conv+ReLU41264Conv+ReLU412128Conv+ReLU31164Conv+ReLU4121Conv+ReLU412128间隙N/AN/AN/A1Conv+ReLU311128Conv+ReLU412256Conv+ReLU311256扩张RB321256扩张RB341256扩张RB381256VS+Conv+ReLU311128VS+Conv+ReLU31164VS+Conv+ReLU31132J. Han和C. 王视觉信息学6（2022）6265=· ··=· ··G⊙∥·∥GDrecAdvJj，j，[ ] ←JJrecj，j，j，j，1∑1∑2014）层输出单个1D矢量。所有Conv层都采用4的内核大小和2的步幅来缩小体积分辨率，同时增加特征映射的数量。经过四次Conv操作后，GAP将输入转换为值，算法1VCNet训练算法需要：初始参数θG和θD;分别用于预训练和微调的训练时期T P和T F的数量;以及分别用于G和D的学习率αG和αD。表示输入的真实性概率。参数表1中列出了D的设置。对于j1TP，采样一组卷VC从训练池C损失函数。为了保证完成的子体积是真实的，并且与它的周围环境一致，我们考虑两个损失随机生成掩码MC和不完整体积VM使用MC和VC更新θG（等式（一）端功能：加权均方误差（WMSE）损失接近-对地面真相的不确定性和对抗性损失（Goodfellow et al. 、对于j1TF，采样一组卷VC从训练池C2014年，为了贴近现实。 这两个损失函数已被用于图像完成（Iizuka et al. ，2017; Pathak et al. ，2016年），随机生成掩码MC和不完整体积VM冻结θG使用MC、VC和VC更新θ D （方程式（三）稳定训练过程，提高网络性能冻结θDM激活θG性能WMSE损失仅考虑用于损失计算的完整子卷它被定义为n使用MC和VC更 新 θ G （等式（四）激活θD端L=1∑<$MC<$（G（VC）−VC）<$2，（1）recNJj=1M，j，j在这个预训练阶段，VCNet可以学习填充丢失的子体积，这接近地面实况，但可能缺乏真实感。其中是逐体素乘法，2是L2范数，并且n是训练样本的数量。G和D的对抗损失定义为：nL=[logD（MC<$G（VC）+（1−MC）<$VC）]，（2）然后，在第二阶段，将D添加到训练过程中，并且G和D针对T_F时期联合优化。在这个微调阶段，通过D的判断，G可以将预训练阶段产生的结果向现实主义方向细化。与原始GAN训练算法（Goodfellow et al. ，2014），D的梯度可以Advnj=1nj M，j j j因为G不能跟随D的演化， G和D的随机初始化该初始化可以L=1∑[logD（VC）]如果D进化得太多，让GAdvNJj=1n+[log（1−D（MC）<$G（VC）+（1 − MC）<$VC））]。（三）在几个训练时期之后比G更快。这种不平衡的演变是由于G和D的任务之间的差异（即，D是分类任务，而G是生成任务）。nj=1j M，j j j然而，通过这种两阶段训练算法，G已经有了一个很好的初始化，可以通过直觉上，D只能分辨出完整的子体积;如何-这忽略了完成的子体积与其周围子体积之间的不相干性。因此，在我们的设计中，D考虑完成的子体积与其周围环境之间的连贯性。总的来说，G的总损失定义为：第一阶段训练。它可以通过D的反馈来优化结果，而不是从头开始随机初始化此外，由于D的优化次数减少，因此降低了训练成本。算法2掩模检测算法G GL=λrecLrec+λadvLadv，（4）要求：一个不完整的卷VI;一个完整的卷VC;和一个阈值V。其中λrec和λadv控制L G的重要性LG .J J针对VIdo中的每个体素v初始化空掩模M j3.4. 优化采样两个K×K×K子体积VIVC中心在位于V I中的体素v处 和VC，分别J J计算V I之间的Wasserstein距离dVC缺少子卷。我们将四个基本的缺失子卷视为一个内部长方体或一个完整的x、y或z堆栈。切片。VCNet在训练过程中学习合成这些缺失的子卷。特别地，在每次训练迭代中，VCNet从上述四组中随机选择一个缺失的子体积类型，然后随机屏蔽数据作为输入。在推断期间，它可以完成具有各种大小和形状的缺失子体积长方体，圆柱体，双曲面，球体，四面体，如果d> 1，则Mjv1end ifendforreturnMj3.5. 推理j，vj，v环）。请注意，如果我们在训练期间仅将内部长方体视为缺失子体积，则VCNet将不会以不同的形式完成缺失子体积，例如，一个子体积， 整个x、y或z堆叠的切片。培训程序。如Iizuka et al. （2017）和Han et al. （2021），训练GAN模型是昂贵的，因为训练过程需要经过两个网络（G和D）并分别更新G和D的梯度因此，遵循Wang et al. （2018b），我们利用两阶段训练算法（预训练+微调）来显著降低训练成本而不牺牲性能。算法如算法1所示。在第一阶段，我们将VCNet视为自动-一旦VCNet的训练收敛，VI到VCNet来合成以下等式所述的缺失子体积：MI<$G（VI）+（1−MI）<$VI。（五）注意，只给出了VI，而MI是未知的。因此，我们提出了一种掩模检测算法来识别丢失的体素并产生相应的掩模MI。该算法基于以下假设：给定不完整的体积VI和完整的体积VC，数据分布应该在体素V编码器，只利用LG 以针对TP时期优化VCNet。两个VIV C是完整的。 如果VI是不完整的，VC是J. Han和C. 王视觉信息学6（2022）6266===-见图4。关 于 太阳羽流（顶行）和涡旋的完整体素（左）和不完整体素（右）周围的局部子体积的密度图（底行）数据集。表2数据集、变量、维度和训练时期。数据集可变尺寸（x × y × z × n）TP TF氩泡强度320× 128× 128× 100 20050五个喷嘴强度128× 128× 128× 100 40050太阳羽流速度星等128× 128× 512× 28 20050超新星熵128× 128× 128× 60 800100涡度量级128×128×128 × 9040050如果是完整的，那么分布应该是不同的。为了验证这一假设，我们绘制密度图相对于一个选定的体素周围的局部子体积，如图所示。 四、正如我们所观察到的，两个图都显示了完整体素的高斯分布然而，对于不完整的体素，分布不同于完整的。例如，地图可以呈现几乎直的图案。计算Wasserstein距离以指示体素是否不完整。我们在算法2中总结了掩模检测算法。对于每个体素v，我们从VI和VC采样v的两个局部子体积（我们将K设置为5），用于执行。 在优化方面，我们按照He等人的方法初始化了VCNet参数。（2015）并利用Adam优化器（Kingma和Ba，2015）更新参数。我们每个小批量使用一个训练样本。G和D的学习率为10−4，β为10的情况。9，β20的情况。999，λadv10−3和λrec1。所有这些参数都是通过实验根据经验确定的。4.2. 结果基线。为了评估VCNet，我们实现了三种基线解决方案进行比较：梯度矢量流（GVF）（Xu和Prince，1997）：作为一种基于扩散的方法，GVF通过最小化整个数据上的拉普拉斯算子来完成缺失的上下文编码器（CE）（Pathak et al. ，2016）：CE是用于图像完成的深度学习解决方案。它的结构包括一个编码器和一个解码器。编码器包括五个Conv层，然后是Leaky ReLU和一个Conv层，以产生具有4，000个神经元的特征表示J J计算Wasserstein距离（d），这两个子体积来判断v是否缺失。一旦循环通过所有体素，该算法将返回二进制掩模Mj，指示需要完成哪些体素4. 结果和讨论4.1. 数据集和网络培训我们使用表2中给出的时变数据集测试了VCNet。从序列中随机抽取体积样本。我们使用了35%的数据进行训练。其余65%的数据用于推断。 我们使用具有32 GB视频内存的NVIDIA TESLAV100 GPU训练和推断VCNet。PyTorch是解码器包括若干解卷积（DeConv）层，ers，然后是用于升级的ReLU。利用WMSE和对抗性损失进行优化。全球和本地完成（GLC）（Iizuka et al. GLC是一个完全卷积的网络，包括11个Conv层，4个dilated Conv层和2个DeConv层。此外，它有两个鉴别器，以保证局部和全局的一致性，分别。我们对CE、GLC和VCNet使用了相同的训练设置，即训练时期、优化器、学习率和损失函数（即，WMSE和对抗性损失）。这三种深度学习解决方案之间的唯一区别是架构设计。···J. Han和C. 王视觉信息学6（2022）6267- − −图五、 体绘制结果的比较。从上到下：氩气泡，五个喷流，太阳羽流和漩涡。见图6。 等值面绘制结果的比较。从上到下：氩气泡，五个喷流，太阳羽流和漩涡。所选等值线为0的情况。25,0的情况。1,0的情况。4和0.1。我们还尝试了PConv（Liu et al. ，2018）、GConv（Yu etal. ，2019）和GMCNN（Wang et al. ，2018 a）作为基准。然而，这些解决方案是相当深的（PConv）、多级（GConv）或多列（GMCNN）。由于GPU内存有限，将它们应用于3D体积数据集是困难的。我们试图减少深度、阶段或列，以使它们适应3D数据集，但性能不令人满意。因此，我们只选择CE和GLC作为我们的深度学习基线。除非另有说明，否则由VCNet合成的体积呈现的所有可视化结果都是推断结果，网络在训练期间看不到这些结果。对相同数据设置，所有可视化都遵循相同的照明、查看、传递函数（用于体积渲染）和等值线（用于等值面渲染）设置。参考地面实况（GT）结果，我们将VCNet结果与GVF，CE和GLC进行比较。补充视频提供帧到帧比较结果。J. Han和C. 王视觉信息学6（2022）6268×××表3平均PSNR（dB）、每个epoch的训练时间（秒）和模型大小（MB）。最好的表格以粗体突出显示（本文中的其他表格也是数据集方法PSNR火车模型大小GVF13.88––氩泡毛细管电泳23.45211.61一千三百九十二。64GLC23.452291. 3471.9VCNet37.98166.88120GVF19.71––五喷嘴CE39.5571.04一千一百四十六。88GLC43.77927.6871.9VCNet44.6434.32120GVF13.96––太阳羽流CE20.35215.34两千一百四十。16GLC20.37三千零七十二。6871.9VCNet41.80206.73120GVF12.46––涡旋CE33.8562.02一千一百四十六。88GLC31.98817.5871.9VCNet33.7430.54120评价指标。 我们计算数据级PSNR，图像级MOS和特征级IS，恢复的数据和GT之间的定量评估。我们不使用SSIM进行图像质量评估，因为当缺失的子体积很小时，该指标可能无法很好地区分请注意，PSNR和IS计算中仅涉及缺失的子体积定量分析相表3报告了GVF、CE、GLC和VCNet的平均PSNR值。VCNet导致最佳PSNR值，除了涡旋数据集（其中VCNet和CE之间的差距仅为0.11）。表3还给出了CE、GLC和VCNet的每个epoch的平均训练时间和模型大小显然，GLC需要最长的训练时间，因为它包括三个网络（即，一个发生器和两个鉴别器），并且仅对输入进行两次下采样，而在推断时间上没有显著的差异。VCNet需要120MB来存储模型。虽然CE是一个完全卷积的网络，但模型大小取决于数据集它需要将数据压缩为4,000维矢量并放大到原始分辨率，这需要解码器中基于输入分辨率的不同数量的DeConv层表4报告了GVF、CE、GLC和VCNet的平均IS值同样，VCNet对于所有数据集实现了最高的IS值定性分析图 5显示了由GVF、CE、GLC和VCNet完成的体积的体积渲染结果。对于氩气泡和太阳羽流数据集，VCNet实现了最佳的完成质量。例如，VCNet完成了氩泡和太阳羽流缺失的子体积。GVF填充几乎恒定的值。相比之下，CE和GLC都不填充任何缺失的子卷（即，体绘制结果与不完整输入体的结果相同）。对于五个射流数据集，GVF无法修复缺失的子体积，CE无法合成具有足够细节的子体积。 GLC和VCNet都产生类似的结果，但仔细比较，与GT相比，VCNet为绿色部分合成了更精细的细节（参见蓝色箭头）。对于涡旋数据集，GVF没有完成缺失的子体积，而CE，GLC和VCNet恢复了所有缺失的体素。但以通过仔细比较，我们观察到CE产生的结果包括噪声和伪影，并且GLC合成的结果与其周围的子体积缺乏一致性（参考绿色箭头）。图6显示了由GVF、CE、GLC和VCNet完成的体积的等值面绘制结果。对于每个数据集，我们选取一个数据样本和一个等值线来生成等值面。表4选定等值线处的平均IS值五个喷嘴（v= − 0. 第一章太阳羽流（v = − 0. （4）0.02 0 00.88超新星（v=0）0.01 0.58 0.640.67vortex（v = 0. 1）0.06 0.85 0.830.90见图7。突出了与会者的差异。上图：超新星的体绘制。底部：旋涡的等值面渲染VCNet对氩泡和太阳羽流数据集的表现最好。对于五个射流数据集，VCNet和GLC产生类似的结果，而CE完成了具有一些噪声和伪影的等值面（参见镜面高光），GVF仅恢复了部分子体积。对于涡旋数据集，VCNet生成更多的细节，并保持不完整子体积与其周围环境之间更好的一致性。用户评价。为了评估合成体积的感知质量，我们对CE、GLC和VCNet生成的体积和等值面渲染图像与GT图像进行了用户研究。对于每个渲染选项，我们选择了三个数据集进行比较。 对于每个数据集，我们选择了六个不同的体积样本。共收集到108份（32、3、6）图像元组进行比较。对于每个元组，我们将左边的图像设置为从不完整的数据渲染，中间的图像由三种方法之一（CE，GLC或VCNet，顺序随机打乱）合成，右边的图像从GT数据渲染。十个博士招募学生完成研究。他们都主修计算机科学，并有可视化相关的背景。这些参与者被要求比较中间图像此外，他们还被要求在中间的图像中突出中间和右边图像之间的差异。我们为每个元组请求最多五个参与者的突出显示结果示例如图所示。7 .第一次会议。允许参与者在评估期间更新分数，特别是在开始时，需要进行分数校准我们提醒他们，在评估中应考虑各种因素，如整体印象、可见内容转移、局部颜色一致性、形状保持、噪声水平以及完成的子体积与其周围环境之间的一致性。参与者花了大约两个小时完成这项研究，每人获得20美元作为补偿。我们在表5中报告了平均MOS，在表6中报告了平均高光数量。正如我们所看到的，VCNet在所有这三个数据集上都实现了最高的MOS和最低的高光数量缺失率评价。为了研究VCNet在完成不同缺失率方面的能力，我们评估了VCNet数据集（等值）GVFCEGLCVCNet氩气泡（v= − 0. 第二十五章）0.030.0500.8300.890.820.92J. Han和C. 王视觉信息学6（2022）6269见图8。 不同缺失率下的体绘制结果。(a)和（c）分别显示25%和50%的缺失率。从上到下：氩气泡，五个喷嘴，太阳羽流和漩涡见图9。 不同缺失率下的等值面绘制结果。(a)和（c）分别显示25%和50%的缺失率。从上到下：氩气泡，五个喷嘴，太阳羽流和漩涡选 择 的等值线为− 0。5，0.4，-02，-0。05，分别。四种不同的比例：12.5%，25%，37.5%和50%。 如图所示图8和9，在25%的缺失率下，完成的子体积接近每个数据集的GT但根据缺失率为50%时，我们可以清楚地观察到差异。例如，氩气泡的头部与燃气轮机不一致，五个尾部J. Han和C. 王视觉信息学6（2022）6270图10个。 不同缺失率下的平均PSNR值。图十一岁 不同体积数据集的密度图。表510名参与者给出的平均MOS数据集体绘制等值面绘制表6参与者给出的突出显示的平均数量数据条目体绘制等值面绘制CEGLCVCNetCE GLCVCNetCEGLCVCNetCEGLC VCNet五条消防喉0.500.710.760.66 0.730.76五条消防喉2.711.961.832.422.172.03超新星0.630.690.800.44 0.530.56超新星2.081.881.082.922.882.67涡流0.540.600.710.56 0.740.79涡流3.042.792.542.922.131.71包含了一些人造物品几个大小涡 的红色分量与GT的不一致。比较了不同方法在不同缺失率下的平均PSNR值。VCNet在大多数情况下优于CE和GLC。此外，当缺失率变得更大时，VCNet可以带来更多的好处。因此，根据质量需求，VCNet可以处理的最大缺失率范围可以从25%到50%。基线分析。 如图 5和6，我们观察到，(1)GVF不能恢复所有数据集的缺失子体积;（2）CE生成的渲染结果包含明显的（3）CE和GLC对涡旋和五喷流数据集的模拟效果较好，但对氩泡和太阳羽流数据集的模拟效果较差。对这三个观察结果的解释如下。GVF不完整的体积数据集与大的不完整的子体积，因为它只是线性插值丢失的体素聚合他们的邻居。当缺失子体积变大时，邻域不能为GVF恢复提供足够的信息CE产生的噪声和伪影是由于使用DeConv层（Han和Wang，2020 a）。在CE中，J. Han和C. 王视觉信息学6（2022）6271表7不同架构下不同Conv层的平均梯度值图层方法渐变渐变（氩气泡）（五个喷嘴）CE0- 7。27× 10−8Conv 3Conv 4Conv 5GLC01。15×10−6VCNet1. 24× 10 −6−3 72× 10−8CE03. 72× 10−9GLC0- 1。64× 10−8VCNet1. 31× 10 −6−4 84× 10−8CE07. 25× 10−9GLC01。15× 10−6VCNet2. 58× 10 −78. 19× 10−9见图12。使用超新星数据集的VCNet和LC的体绘制结果的比较。深度特征通过若干DeConv层，但不通过每个DeConv层之后的后续Conv层。如果没有这些后续的Conv层，放大的特征不会被细化和去噪，因为DeConv操作将引入棋盘状伪影。至于CE和GLC在氩泡和太阳羽流数据集上的失败，我们推测这是由于梯度消失。为了验证这一点，我们计算CE，GLC和VCNet中不同Conv层的平均梯度值。平均梯度见表7。对于氩气泡数据集，对于CE和GLC，从Conv 3到Conv 5的梯度始终为0，而VCNet在每个Conv层仍保留小的梯度。对于五个射流数据集，所有三种方法在每个Conv层都具有非零梯度。这些梯度值证实了我们的推测，因为CE和GLC中的可学习参数不再针对氩气气泡数据集进行更新，这导致了失败。不过，我们仍然想知道这四个数据集之间的差异。为了理解这一点，我们绘制了它们的密度图，如图2所示。十一岁很明显，这五个射流都呈现出近似对称的分布，这意味着如果一个子体积丢失，网络可以通过搜索对称的对应物来快速学习填充。然而，对于氩气泡，情况并非如此。它显示了一个组合分布：高斯分布加上长尾分布。也就是说，在网络中使用前向路径不足以捕获这样的分布。添加多个前向路径可以帮助网络看到更多的“全局”，并合并结果以合成丢失的子卷，这正是LTC在VCNet中扮演的角色。与有损压缩的比较。一个潜在的应用程序-VCNet的核心是体积数据缩减。因此，我们将我们的解决方案与有损压缩（LC）算法进行比较（Liang et al. ，2018年）。我们剔除一半的原始体积，并利用VCNet来填充剔除的部分。我们设置相同的PSNR值（即，44 dB）进行比较。如图所示。12，这两种方法都可以恢复超新星的整体形状，而LC产生更多的伪影和噪声。稳健性评价。为了研究VCNet在完成不同缺失子卷时的鲁棒性，我们测试了VCNet图十三. 在各种缺失子体积下的体积渲染结果。从上到下：氩气泡、五个喷流、太阳羽流、超新星和漩涡。丢失的子卷（例如，长方体、圆柱体、双曲面、球体、四面体和环）。体绘制和等值面绘制的结果如图1和图2所示. 13和14号。结果表明，VCNet可以处理不同的缺失子卷。当输入体积有多个缺失的子体积时，它4.3. 消融研究对于消融研究，我们研究了长期连接和扩张Conv的影响。为了研究LTC 在 VCNet 中的影响，我们在有和没有LTC 的情况下训练VCNet 如图没有LTC，VCNet无法恢复太阳羽流数据集丢失的子体积。这些结果证实了LTC在VCNet中的有效性。为了研究扩张Conv的有效性，我们在VCNet中使用传统Conv来代替扩张Conv。如图16，使用扩张的Conv，涡流数据集的恢复体积可以保持与其周围环境的更好的一致性（参见绿色箭头）。4.4. 讨论虽然VCNet可以完成具有各种缺失的子卷的卷，但是它可能不能令人满意地合成某些特定子卷上的精细细节 超新星数据集的一个例子如图所示。17，其中缺失的子体积对应于超新星我们可以看到，VCNet并没有生成高保真的渲染结果，尽管整体形状恢复得很好。这是因为周围的子体积可能表现出与中心不同的结构。因此，利用周围环境J. Han和C. 王视觉信息学6（2022）6272见图14。在各种缺失子体积下的等值面绘制结果。从上到下：氩气泡、五个喷流、太阳羽流、超新星和漩涡。选择的等值线为−0。2，0.25，-0。8、0.0和-0。1所示。图15. 使用太阳羽流数据集的有无LTC的体绘制结果。图16. 使用涡流数据集放大体积渲染结果（有和没有扩张Conv）。5. 结论和今后的工作我们已经介绍了VCNet，