37080基于示例的隐式周期场网络模式合成0Haiwei Chen 1 , 2 , Jiayi Liu 1 , 2 , Weikai Chen 3 , Shichen Liu 1 , 2 , Yajie Zhao 1 , 201 南加州大学 2南加州大学创意技术研究所 3腾讯游戏人工智能研究中心0{ haiweich,jliu8328 } @usc.edu chenwk891@gmail.com { lshichen,zhao } @ict.usc.edu0摘要0遍历的、固定的视觉模式的合成在纹理、形状建模和数字内容创作中具有广泛的应用。这种技术的广泛适用性要求模式合成方法具有可扩展性、多样性和真实性。在本文中，我们提出了一种基于示例的视觉模式合成框架，旨在模拟视觉模式的内部统计特性，并生成满足上述要求的新的多功能模式。为此，我们提出了一种基于生成对抗网络（GAN）和周期编码的隐式网络，因此将我们的网络称为隐式周期场网络（IPFN）。IPFN的设计确保了可扩展性：隐式表述直接将输入坐标映射到特征，从而实现任意大小的合成，并且在3D形状合成中具有高效的计算能力。使用周期编码方案进行学习鼓励多样性：网络受限于基于空间潜在编码的示例的内部统计特性。结合连续设计的GAN训练过程，IPFN能够合成具有平滑过渡和局部变化的可平铺模式。最后但同样重要的是，由于对抗训练技术和编码的傅里叶特征，IPFN学习到产生真实、高质量结果的高频函数。为了验证我们的方法，我们在2D纹理合成和3D形状合成的各种应用上提供了新颖的实验结果。01. 引言0视觉模式的合成，无论是用于绘画的木纹纹理，还是自然洞穴系统的模拟，都是计算机辅助设计和数字内容创作中广泛应用的技术。视觉模式可以理解为遵循某种几何结构的艺术、形状或自然纹理。在应用背景下，让我们首先定义一些对于0一种生成视觉模式的算法：0•真实性。合成视觉模式的最重要的质量可能是其视觉质量。当模式从示例合成时，质量取决于它们是否忠实地重新创建了源模式。0•多样性。合成器只复制源模式是不可取的。多样性是一个同样重要的度量，用于评估合成模式是否与源模式和其他模式有所不同。我们努力实现两个不同级别的多样性：模式应在生成的样本内部和样本之间都具有多样性。0•可扩展性。由于模式通常在不同且可能很大的尺度上需求，因此我们希望可扩展的合成器能够高效地生成任意大小的模式。当涉及到3D模型的合成时，可扩展性尤为重要，因为额外的维度会导致更多的计算量。0一个可扩展的设计选择使我们将合成问题表述为从连续的实数坐标空间生成模式。这通常被称为隐式表述，其中非线性函数将定义在R2或R3中的点映射到表示合成主题的特征。特别地，隐式函数已被证明是合成3D体积的有效表示[12,22,24]。在一般情况下，能够在无限大空间中良好缩放的模式具有固定属性-一种平移不变的结构，可以通过平铺或堆叠元素块来扩展。因此，我们的方法是基于许多类型的自然和艺术模式可以在一个固定的框架中进行分析和重建的事实。合成一个真实和多样化的目标lows our model to synthesize visually authentic results, and4) multilayer perceptron (MLP) that implicitly takes coor-dinates as input scales well to the generation of 3D shapeswhen compared to 3D convolution. Based on these designchoices, we term our network the Implicit Periodic FieldNetwork (IPFN).We validate our proposed design by showing various ap-plications in texture image synthesis and 3D volume syn-thesis in Section. 4. Specifically, besides synthesizing sta-tionary patterns, we design a conditional formulation of ourmodel to tackle the synthesis of directional patterns and toprovide application in controllable shape generation. Anablation study is also conducted to verify the effectivenessof our design choices.37090然而，从示例中建模静态图案需要仔细考虑与图案的基本结构相兼容的建模方法。0生成对抗网络（GAN）[9]是迄今为止最有前景的一种无监督建模数据分布的技术，已经经常被应用于合成视觉真实图像的卷积模型[2，14，31，32，37，42]。如何利用GAN生成器对静态图案进行建模呢？由于所有静态图案都包含具有局部变化的重复结构，使其外观“生动”，在理想情况下，可以通过离散随机场来对静态图案进行建模，其中每个随机变量与基本元素的一个补丁相关联。因此，自然的GAN公式化模型将图像补丁与具有空间定义的潜在场[2，14]进行建模。然而，在卷积框架中，当从离散噪声图像生成的假样本与从真实图像中随机采样的补丁进行区分时，会出现问题。第一个问题是采样的补丁不一定与重复结构的尺度一致。第二个问题是采样的补丁可以任意偏离静态元素的中心。典型的反卷积网络[6，39]从均匀间隔的噪声图像进行上采样可能无法充分解决前面提到的问题。为了研究它们的影响，我们设计了一个卷积网络，遵循DCGAN架构[29]，从2×2的噪声图生成蜂窝图案，该网络通过从源图像中随机采样的补丁进行训练。其结果与我们的生成器网络合成的结果进行了比较，后者是通过与相同的判别器进行训练的。如图1所示。我们发现噪声图无法很好地捕捉到蜂窝结构，合成图像中可见接缝和截断元素。0尽管过去已经提出了各种技术来解决上述问题（例如[2，14]），但在本文中，我们考虑了一种更自然的方法，即使用隐式周期生成器对静态图案进行建模。该公式的核心是将静态图案的可重复结构与可学习的连续周期函数的周期相匹配。我们不是用离散噪声张量来建模图案，而是在连续空间中定义潜在变量，其中每个潜在因子的范围被学习为与重复元素的范围相匹配。这种设计的好处与视觉图案合成的理想特性相吻合：1）隐式场的学习周期性鼓励潜在因子模拟从示例图案中观察到的静态变化；2）连续表示在训练过程中提供了灵活性，可以从示例中随机移动的补丁中学习分布；3）傅里叶编码方案从示例中学习高频细节。这使得我们的模型能够合成视觉上真实的结果，4）多层感知器（MLP）隐式地以坐标作为输入，在与3D卷积相比时，在3D形状生成方面具有良好的可扩展性。基于这些设计选择，我们将我们的网络称为隐式周期场网络（IPFN）。我们通过在第4节中展示纹理图像合成和3D体积合成的各种应用来验证我们提出的设计。具体而言，除了合成静态图案外，我们设计了我们模型的条件公式，以解决方向图案的合成，并提供可控形状生成的应用。我们还进行了消融研究，以验证我们的设计选择的有效性。0图1.从DCGAN卷积生成器和周期性MLP生成器合成的蜂窝状图案的比较。前者的结果中可见接缝和截断的图案，这是由于卷积生成器难以捕捉到重复结构造成的。02. 相关工作0图案合成2D视觉图案通常被称为“纹理”，因为它们在计算机辅助设计中有广泛的应用。早期著名的纹理合成尝试是从平滑插值噪声中派生图案[25, 26,36]，并创建具有高度随机性的美学材料。[12,27]是与我们相关的两个最近的研究，它们利用连续定义的Perlin噪声[25]中的随机性来合成基于示例的纹理在隐式场中。他们的工作展示了平滑噪声场和隐式公式在高效和多样地生成3D纹理场方面的优势。然而，就像它们的过程先例一样，这些方法在合成更复杂的结构图案（例如砖块、岩石表面）方面存在局限性[27]。后来的传统图像合成工作通常分为基于像素的方法（例如[8, 35]）、基于块的方法（例如[7,16, 18]）和基于优化的方法（例如[16,17]），并与我们共享了从示例中重新创建新图案的重要考虑因素。例如，基于块的合成鼓励保留细节，努力“拼接”块之间的不连续性[7,18]并鼓励全局相似性[16]。早期的统计模型[8,28]利用随机场表示能力min max ExPdata[log(D(x))]EzPZ[log(D(G(z))].minG maxDEx∼Pdata[log(D(x))]−Ec∼Pc,z∼Pfz(c)[log(D(G(z, c))].(2)37100在Julesz的猜想下，我们的工作受到传统纹理建模的关键思想的启发，同时我们努力通过神经表示统一真实性、多样性和可扩展性，以克服传统方法存在的局限性。0与早期的参数模型相比，人工神经网络在模式识别中的泛化能力强大[11]。因此，神经合成纹理图像标志着最近努力的进展。神经网络如何学习纹理的时尚表示而不仅仅是重建它？一个里程碑式的方法通过对抗地训练生成器网络和判别器网络来学习从潜在空间到纹理分布的映射[9]，从而统一了合成质量和采样能力。我们对生成对抗网络（GANs）特别感兴趣，它们模拟了示例的内部统计特性。这是通过基于块的方法来实现的，将图像表示为较小图像的集合：[14,19]在GAN设置中形式化了基于块的合成，引入了马尔可夫和空间GAN的概念。[2]通过其在潜在代码中的周期性设计激发了我们的灵感，这有效地从输入示例中捕捉到了稳定的图案。[42]可以看作是我们设计的一个补充，它专注于通过学习扩展图像块来解决非稳定纹理合成的问题。此外，[31,32]提出了多尺度、全局聚焦的方法来有效地重新创建自然图像。尽管上述方法都利用了卷积设计，但我们的工作将纹理合成扩展到连续域，采用了纹理的隐式表示，因为我们认为这种表示提供了一种更自然和高效的合成稳定图案的方式。0在计算机图形学中，3D形状的合成特别受到关注，因此有着丰富的历史。其中包括体积场设计[4, 23,40]、过程生成[13, 21]和3D纹理[3,41]等。然而，很少有研究考虑使用神经网络合成3D图案，除了[12, 27]，该研究探索了生成3D实体纹理的方法。0隐式网络隐式网络是指在实数坐标空间中学习连续函数的多层感知机。特别是，隐式网络主要用于重建3D形状[20, 24,30, 33]，其中形状由距离函数或辐射场[22,38]表示。我们受到形状的有符号距离表示和[22,34]中探索的傅里叶编码的启发，设计了隐式网络，并将这些特性应用于生成新的3D图案。03. 方法0我们的方法最好通过从真实数据分布 P data 和生成器分布P g 之间的地球移动距离构造的WassersteinGAN值函数[10]来介绍：0（1）我们对上述目标的第一个改变是从分布 { s c | c � P c} 中抽取实值坐标 c ∈ R k（对于图像，k =2，对于体积，k = 3）作为生成器的输入，其中 s是一个常数标量。这表明生成网络的隐式性质，因为 G学习了从真实坐标空间到随机过程中的映射。潜在变量不再从先验分布 P Z中采样，而是从定义在真实坐标空间上的随机场 f z ( c )中抽取。因此，G 是坐标 c ∈ R k 和潜在变量 f z ( c ) ∈R d 的函数。这将更新公式1为：0在实现中，我们的目标是合成在网格结构 X : R H × W ×C 或 X : R H × W × D × C中定义的颜色、距离函数、法向量等，因此我们还采样了网格坐标输入 C : R H × W × 2 或 C : R H × W × D ×3，其中心点是从均匀分布 U ( − s, s )中抽取的。网格中心位置的随机性对于鼓励模式块之间的平滑过渡至关重要，因为它模拟了从输入模式中随机采样的补丁的分布。在接下来的章节中，将详细讨论关键模块：1）用于建模平稳模式的可变周期编码；2）潜在随机场的实现；3）用于合成定向样本和控制合成模式的条件方差；4）完成我们的模式合成框架的整体网络结构。03.1. 周期性编码0正如在引言中讨论的那样，通过重复结构将输入中的平稳模式表示为重复结构是至关重要的，这样可以避免简单地重构原始样本。简单地将空间坐标映射到视觉模式并不能满足这个要求：由于每个坐标在实值空间中是唯一的，网络会学习将坐标过度拟合到样本中的位置，因此无法捕捉到可重复的结构。周期性编码对坐标的好处有两个：首先，它将补丁级别的外观与其在样本中的特定位置解耦，这使得合成模式的周期不再由尺度决定。γ(c) = [cos(20πac), sin(20πac),· · ·, cos(2iπac), sin(2iπac)],(3)f(x) =K�i=1wi(x)fz(ci), wi(x) =e||x−ci||2σKj=1 e||x−cj ||2σ, (4)minG maxDEx∼Pdata[log(D(x|g))]−Ec∼Pc,z∼Pfz(c)[log(D(G(z, c|g))].(5)• Synthesis of directional pattern: Many natural pat-terns have a directional distribution that is oftentimesconsidered non-stationary. A typical example is a leaftexture - a midrib defines the major direction that sep-arates the blade regions by half (see Figure 3). A con-ditional extension of our model is able to model patchdistribution along a specified direction. For simplic-ity, we present a 2D formulation that can be easilyextended to 3D. With a user-defined implicit 2D lineequation ax+by+c = 0, the guidance factor is definedas g(x, y) = ax + by + c. Pixel coordinates (px, py)from an input texture image with width w and height37110允许生成器合成的模式具有平移不变性。其次，最近的隐式网络的进展[22, 33,34]发现了一组正弦函数的傅里叶特征映射在学习高频信号时是有效的，通过解决MLP固有的“频谱偏差”[1]。在我们的工作中，我们使用以下周期性映射来处理输入坐标：0其中可学习参数 a ∈ R k确定了编码的周期。这种设计使得网络能够学习将编码的周期与样本的可重复结构匹配。因此，它能够对训练中采样的补丁的尺度提供鲁棒性，因为尺度不再决定合成模式的周期。03.2. 潜在随机场0在生成框架中，从先验分布中采样的潜在噪声模拟了观察结果的变化。在真实坐标空间中平滑定义的噪声函数鼓励合成补丁之间的平滑过渡。在一个2D的例子中，我们从一个将均匀网格坐标映射到随机变量的离散随机场开始 { f z ( c ) | c : R H × W × 2 }。然后，离散随机场被平滑地插值以形成平滑的潜在场（见图2中的可视化效果）。在我们的实现中，我们使用了指数插值方法：0其中空间位置x处的潜在代码是从在网格角落定义的K =4个潜在向量中插值得到的。在实现中，用于定义随机场的离散网格的间距为1。为了使潜在因子的范围与学习到的周期a匹配，我们只需相应地缩放离散随机场的均匀网格。03.3. 条件IPFN0将我们的GAN目标扩展为条件目标可以实现许多实际应用。假设每个输入补丁都与一个引导因子g配对，条件目标就是一个简单的扩展：0这里我们概述了使用条件形式进行模式合成的两个应用：0图2. 我们在第3.4节中讨论的网络架构概述。0为了使h - 1的值范围归一化为[-1,1]，我们在水平方向（y = 0）和垂直方向（x =0）上对模型进行了条件化。在我们的实验中，我们发现仅在这些方向上对评估的示例进行条件化已经足够。0•控制3D形状的合成：在几何模式建模中，通常希望合成算法能够明确控制某些几何属性，如密度和方向。这些几何属性可以从示例形状计算得到。设g(x)为定义感兴趣的几何属性的形状算子，我们的条件模型通过训练样本对(x,g(x))学习从引导向量场到目标3D形状的概率映射。这个应用的直观示例可以在第4.5节中找到。03.4. 网络结构0IPFN的整体结构如图2所示。生成器网络G是一个具有10层MLP的网络，各层之间使用ReLU激活函数，并在最后使用sigmoid函数。基于随机偏移中心采样坐标网格。然后将坐标传递给两个分支：1）周期编码器，2）在潜在场上的投影，为每个坐标获取一个5维潜在向量。潜在代码和周期编码的Henzler [12]332.66310.49351.23225.11Bergmann [2]62.75177.88120.64164.37Zhou [42]14.54154.63118.2938.1337120然后将坐标连接为生成器mlp的输入，生成器mlp输出伪样本。判别器D区分生成的样本和从真实输入中随机裁剪的补丁。我们按照DCGAN架构[29]实现D，步幅为2。为了区分3D体积，将2D卷积层替换为3D卷积。04. 实验0我们假设我们的方法最适合合成具有重复结构和局部外观变化的纹理模式和3D形状。为此，我们通过将IPFN应用于2D纹理图像和3D结构形状的合成来展示我们的主要结果。此外，IPFN还适用于3D纹理和形状操作的两个应用。为了评估所提出技术的有效性，我们还进行了消融研究，改变了几个关键设计。0评估指标虽然模式合成的质量不容易量化，但人眼通常可以对合成的模式是否捕捉到样本的美学和结构进行合理的定性评估。在我们的评估中，我们提供了自我展示的视觉结果比较，因为合成的模式具有明显的合成器底层设计特征。此外，我们还提供了以单幅图像Frech´et InceptionDistance、推理时间和内存为指标的可量化指标。0实施细节对于我们的所有实验，网络都是在带有梯度惩罚的WGAN损失下进行优化的[10]。Adam优化器[15]用于鉴别器D和生成器G，学习率均为1e-4。在每次迭代中，D和G都会连续更新5步。输入图像和体积被随机裁剪为较小尺寸的补丁。对于位置编码，我们选择带宽i=5，因为较宽的核往往会产生正弦伪影，而较窄的核会产生模糊的结果。输入坐标随机偏移一个范围为[-4,4]的偏移量，以适应网络可能学习到增加周期编码的机会。因此，噪声是从一个5×5的网格（3D体积为5³）离散随机场中插值得到的，其中点的位置在[-5,5]之间。单个示例实验通常训练12500次迭代，批量大小为8，在一台Nvidia GTX 1080GPU上运行，大约需要6-9小时才能完成。推理时间：IPFN仅需要24毫秒生成一个1024×1024的图像。3D体积是迭代生成的，一个大规模的512³体积只需要22.9秒即可生成。源代码将在接受后公开发布。04.1.纹理模式合成0图像来源选自牛津可描述纹理数据集（DTD）[5]，如图3所示。具体而言，我们选择了两个具有静态模式的示例（图3中的前4行）和两个具有方向模式的示例（图3中的后4行），以证明IPFN在两种情况下合成出视觉上相似的模式。在训练过程中，图像被随机裁剪成大小为128×128的补丁。在推理过程中，合成的图像被放大四倍，大小为512×512。我们的结果与三种最相关的基线生成方法进行了比较，这些方法可以从单个图像中合成纹理模式：0•Henzler等人[12]：一种类似地利用隐式网络和平滑噪声场进行纹理合成的方法。合成的结果是通过运行官方发布的代码获得的。0•Bergmann等人[2]：一种将噪声与周期信号相结合的卷积方法，用于合成静态模式。合成的结果是通过运行官方发布的代码获得的。0•Zhou等人[42]：一种针对非静态纹理合成的卷积图像扩展方法。由于[42]是从图像输入确定性地扩展，而不使用潜在代码，因此每行只显示一个合成结果。合成的结果是从作者那里获得的。0视觉检查足以显示IPFN提供了有希望的结果。与[12]相比，IPFN合成的结果具有明显的结构，因为噪声没有直接映射到输出。而[2]合成的周期样本在样本之间显示多样性，并与静态样本相似，但它们合成的模式在图像内部缺乏变化。相比之下，我们合成的模式在局部变化方面更高，并且能够很好地适应方向情况。[42]在基线中提供了最真实的视觉效果。然而，在静态情况下，其合成图像的边界附近存在明显的径向畸变。此外，IPFN无需图像输入，提供了一种更直接的方法来从随机噪声中合成多样化的样本。0蜂蜜 十字绣 岩石 叶子0我们的方法 10.15 130.83 113.81 103.60表1. 我们和不同基线生成的模式之间的SIFID分数。1282256251221024237130图3.在合成两种静止模式（前四行）和两种定向模式（后四行）时，与Henzler等人[12]、Bergmann等人[2]和Zhou等人[42]进行比较的2D纹理合成的主要结果。0单图像Frech´etInception距离（SIFID）SIFID是一种常用于评估生成图像真实性的度量标准，引自[31]。在计算SIFID时，我们在所有实验中使用了128×128的补丁大小，合成的模式与原始示例具有相同的分辨率。表1显示了我们和基线在各个示例类别中的SIFID比较。对于Zhou等人[42]，仅使用了图像的生成（扩展）部分。结果表明，我们的方法可以生成更接近真实纹理分布的结果，而在静止类别（蜂窝、十字织物、岩石）中，我们生成的模式获得了较低的SIFID分数。对于叶子类别，一个典型的定向模式，Zhou等人[42]的方法在非静止扩展方面表现最佳，而我们的方法仍然表现更好。0时间（毫秒）/内存（GB）0Henzler [12] 218/1.38 278/1.62 328/2.72 458/6.450Bergmann [2] 7/2.37 13/5.79 42/19.68 115/31.880Zhou [42] 356/1.20 349/1.34 510/2.00 612/4.660我们的 8/0.76 11/0.85 15/1.23 24/2.810表2.生成不同尺寸模式时的推理时间和推理内存消耗，以毫秒（ms）/千兆字节（GB）为单位。0比其他没有考虑合成非静止模式的基线更好。推理时间和内存表2测量了我们的网络与基线在生成不同尺寸图像时的推理时间和内存消耗。我们的隐式表达方式明显优于基线。37140在时间和空间上更高效，无需依赖计算伪随机噪声（[12]）或卷积操作（[2, 42]）。这验证了我们设计的可扩展性。04.2. 消融研究0图4.用于消融研究的合成蜂窝纹理。蓝色框表示我们学习到的周期编码的尺度，在无变形的情况下，周期默认为1，与蜂窝图案的重复结构不匹配，导致视觉伪影。0为了验证我们的设计选择，我们进行了消融研究，通过删除我们认为对我们的网络有效的两个设计来进行。比较结果如图4所示。w/o变形是一个网络模型，它在没有可学习参数a的情况下对输入坐标进行编码，如第3.1节所述。w/oshift是一个在训练时没有随机移动输入坐标的模型。结果模式显示了这些设计的影响：当坐标以固定尺度编码时，w/o变形模型生成的六边形似乎被粘在一起，因为假定的尺度与重复结构的实际周期不匹配。w/oshift模型合成的模式失真，我们推测，没有输入坐标的随机采样，网络难以匹配基于补丁的图像补丁的先验知识。04.3. 体积形状合成0为了评估体积形状合成，我们从turbosquid.com获取了两个3D模型：一个多孔结构（图5.a）和一个泡沫结构（图5.d）。通过在体积网格中均匀采样点，将3D网格预处理为有符号距离场。对于多孔结构，我们采样了256×256×256个点，并在训练过程中提取了64×64×64个补丁。对于泡沫结构，我们采样了200×200×128个点，并在训练过程中提取了32×32×32个补丁。在推理过程中，多孔结构以其原始分辨率合成，而我们将合成的泡沫结构在XY方向上放大两倍。图5.c和图5.f显示了合成的形状。对于多孔结构，学习到了外部结构和内部结构（参见图5.b的放大内部视图），结构在样本之间和样本内部都是多样化的。对于泡沫结构，我们通过改变...0图5. 3D体积合成的主要结果。a. 示例多孔结构。b.合成的结构模型内部通道。c. 合成多孔结构的全局视图。c.示例泡沫结构。e. 泡沫结构合成的两个尺度的噪声场。f.合成的泡沫结构。较大尺度的噪声场导致更各向同性的泡沫结构。0图6.IPFN学习适用于无缝3D纹理的多通道纹理。这个例子中的原始3D纹理不对称，因此在纹理映射的表面和局部视图（图中的A）上可以找到可见的接缝。由于从这个示例中学习到的合成模式可以在任何方向上平铺，映射的表面（图中的B）是无缝的。0潜在随机场的范围（见图5.e）可以控制合成器生成全局变化的结构，而较小的尺度则产生局部各向异性的结构。37150图7. 合成的泡沫结构具有可控的密度。a.灰度条控制合成结构的密度，从最高密度（白色）到最低密度（黑色）。b.引导因子的平滑插值使我们能够合成具有平滑变化密度的泡沫结构。4.4. 应用：无缝3D纹理映射0由于合成模式的周期性特性，噪声操作使IPFN能够创建镜像对称的纹理。这个特性为无缝的3D纹理映射提供了一个直接的应用：在图6中，原始的9通道纹理由颜色、法线和凹凸贴图组成，被平铺并直接映射到一个平面表面。由于边缘上的差异，当纹理被包裹以创建平铺模式时，映射的表面显示出可见的接缝。我们通过我们的网络在一个恒定的潜在向量下重新创建这个纹理（图6B）。当反复映射到表面时，对称的纹理是无缝的，同时忠实地反映了原始纹理的外观和结构。04.5. 应用：具有可控密度的3D泡沫0我们实验中使用的原始泡沫形状包含各种大小的孔，这对应于泡沫结构的密度。这种几何属性g可以通过无符号距离场表示很容易地近似。对于大小为H' × W' ×D'的补丁X'，我们通过以下方式估计其密度：0g(X') = 10m0H'×0i = 10W'×0j = 10k = 1 | sdf ( X ijk ) | (6)0，其中m是一个归一化因子。图7逐渐增加密度因子（图7.a）和线性插值密度图（图7.b）显示了合成的泡沫结构。05. 限制和讨论0图8. 展示我们网络局限性的示例0我们方法的主要局限性在于其强调对静态模式进行建模。尽管这是基于我们的观察，即广泛范围的自然模式是静态或有方向性的，但我们的方法无法自然地处理一类径向模式，这些模式以网状结构和螺旋模式为例（请参见图8中的第三列）。虽然我们的条件形式理论上与景观图像的合成兼容，但实验发现合成的景观质量不佳-虽然合成的景观在整体上与示例相似，但某些局部区域包含与背景混合的“淡出”元素（请参见图8中的前两列）。我们推测这种现象是由于示例中这些元素的低表示造成的。上述局限性激发了我们考虑在未来工作中改进我们方法的许多潜在机会。在[31,32]中标记的多尺度合成方法在学习全局结构的分布和图像的局部高频细节之间取得了良好的平衡。不同的几何编码方案也可以扩展我们的框架以合成超出静态模式的内容。我们相信我们的方法在更广泛的3D应用领域仍然有很多机会。0致谢0这项研究由陆军研究办公室赞助，并在合作协议编号W911NF-20-2-0053下完成，以及在合同编号W911NF-14-D-0005下由美国陆军研究实验室（ARL）赞助。本文件中包含的观点和结论属于作者个人观点，不应被解释为代表美国陆军研究办公室或美国政府的官方政策，无论是明示还是暗示。尽管有任何版权注释，但美国政府有权为政府目的复制和分发再版。37160参考文献0[1] Ronen Basri，Meirav Galun，Amnon Geifman，DavidJacobs，Yoni Kasten和ShiraKritchman。神经网络中的频率偏差用于非均匀密度的输入。在机器学习国际会议上，页685-694。PMLR，2020年。40[2] Urs Bergmann，Nikolay Jetchev和RolandVollgraf。使用周期空间GAN学习纹理流形。在第34届国际机器学习会议论文集中，页469-477，2017年。2，3，5，6，70[3] Pravin Bhat，Stephen Ingram和GregTurk。几何纹理合成示例。在2004年欧洲计算机图形学/ ACMSIGGRAPH几何处理研讨会论文集中，页41-44，2004年。30[4] Weikai Chen，Xiaolong Zhang，Shiqing Xin，YangXia，Sylvain Lefebvre和WenpingWang。用于数字制造的金丝细工合成。ACM图形学交易（TOG），35（4）：1-13，2016年。30[5] Mircea Cimpoi，Subhransu Maji，IasonasKokkinos，Sammy Mohamed和AndreaVedaldi。描述野外纹理。在IEEE计算机视觉和模式识别会议论文集中，页3606-3613，2014年。50[6] Chao Dong，Chen Change Loy，Kaiming He和XiaoouTang。使用深度卷积网络的图像超分辨率。IEEE模式分析与机器智能交易，38（2）：295-307，2015年。20[7] Alexei A Efros和William TFreeman。纹理合成和转移的图像拼贴。在第28届计算机图形学和交互技术年会上的论文集中，页341-346，2001年。20[8] Alexei A Efros和Thomas KLeung。非参数采样的纹理合成。在第七届IEEE国际计算机视觉会议论文集中，卷2，页1033-1038。IEEE，1999年。20[9] Ian Goodfellow，Jean Pouget-Abadie，Mehdi Mirza，BingXu，David Warde-Farley，Sherjil Ozair，Aaron Courville和YoshuaBengio。生成对抗网络。神经信息处理系统的进展，27，2014年。2，30[10] Ishaan Gulrajani，Faruk Ahmed，Mart´ın Arjovsky，VincentDumoulin和Aaron C Courville。改进的WassersteinGAN的训练。在NIPS，2017年。3，50[11] Lars Kai Hansen和PeterSalamon。神经网络集成。IEEE模式分析与机器智能交易，12（10）：993-1001，1990年。30[12] Philipp Henzler，Niloy J Mitra和TobiasRitschel。从2D示例学习神经3D纹理空间。在IEEE /CVF计算机视觉和模式识别会议论文集中，页8356-8364，2020年。1，2，3，5，6，70[13] Takashi Ijiri，Radom´ır Mech，Takeo Igarashi和GavinMiller。基于示例的元素排列程序系统的示例。在计算机图形学论坛中，卷27，页429-436。Wiley Online Library，2008年。30[14] Nikolay Jetchev，Urs Bergmann和RolandVollgraf。使用空间生成对抗网络进行纹理合成。arXiv预印本arXiv:1611.08207，2016年。2，30[15] Diederik P Kingma和JimmyBa。Adam：一种随机优化方法。arXiv预印本arXiv:1412.6980，2014年。50[16] Johannes Kopf, Chi-Wing Fu, Daniel Cohen-Or, OliverDeussen, Dani Lischinski, and Tien-Tsin Wong.从2D样本中合成实体纹理。第2-es页，2007年。20[17] Vivek Kwatra, Irfan Essa, Aaron Bobick, and NipunKwatra. 用于基于示例合成的纹理优化。在ACM SIGGRAPH2005论文集中，第795-802页。2005年。20[18] Vivek Kwatra, Arno Sch¨odl, Irfan Essa, Greg Turk, andAaron Bobick. 图割纹理：使用图割进行图像和视频合成。ACMTransactions on Graphics (TOG)，22(3):277–286，2003年。20[19] Chuan Li and Michael Wand.基于马尔可夫生成对抗网络的预计算实时纹理合成。在欧洲计算机视觉会议上，第702-716页。Springer，2016年。30[20] Shichen Liu, Shunsuke Saito, Weikai Chen, and Hao Li.无需3D监督学习隐式表面。神经信息处理系统进展，第32卷：8295–8306，2019年。30[21] Paul Merrell.基于示例的模型合成。在2007年交互式3D图形和游戏研讨会论文集中，第105-112页，2007年。30[22] Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik,Jonathan T Barron, Ravi Ramamoorthi, and Ren Ng. Nerf:将场景表示为神经辐射场进行视图合成。在欧洲计算机视觉会议上，第405-421页。Springer，2020年。1，3，40[23] Jonathan Palacios, Chongyang Ma, Weikai Chen, Li-Yi Wei,and Eugene Zhang. 张量场设计在体积中的应用。在SIGGRAPH ASIA2016技术简报中，第1-4页，2016年。30[24] Jeong Joon Park, Peter Florence, Julian Straub, RichardNewcombe, and Steven Lovegrove. Deepsdf:学习连续有符号距离函数进行形状表示。在IEEE/CVF计算机视觉和模式识别会议论文集中，第165-174页，2019年。1，30[25] Ken Perlin. 图像合成器。ACMSiggraph计算机图形学，19(3):287–296，1985年。20[26] Ken Perlin.改进噪声。在第29届计算机图形学和交互技术年会论文集中，第681-682页，2002年。20[27] Tiziano Portenier, Siavash Arjomand Bigdeli, and OrcunGoksel. Gramgan:从2D样本中进行深度3D纹理合成。神经信息处理系统进展，第33卷，2020年。2，30[28] Javier Portilla and Eero P Simoncelli.基于复小波系数联合统计的参数化纹理模型。国际计算机视觉杂志，40(1):49–70，2000年。20[29] Alec Radford, Luke Metz, and Soumith Chintala.无监督表示学习与深度卷积生成对抗网络。arXiv预印本arXiv:151
我的内容管理
展开
