软阴影网络：图像合成中的可控软阴影生成

4380SSN：用于图像合成的软阴影网络美国普渡大学张建明土坯研究贝德里奇·贝奈斯·普渡大学(a)对象剪切（2D蒙版）（b）由我们的SNN从上面基于图像的光照图生成的柔和阴影图1：我们的软阴影网络（SSN）产生令人信服的软阴影给定对象剪切蒙版和用户指定的环境照明地图。(a)显示了这个演示的对象剪切，包括不同的对象类别和图像类型，例如，素描，图片，矢量艺术。在（b）中，我们展示了SSN产生的软阴影效果用于这些示例的变化的照明图在（b）的角处示出生成的阴影在物体与地面接触点附近具有真实的阴影细节，增强了图像合成的3D效果。更多的动画结果可以在我们的项目页面上找到（https：//shengcn.github.io/SSN）。摘要本文介绍了一种交互式软阴影网络（SSN），用于生成图像拼接中的可控软阴影SSN采用2D对象遮罩作为输入，因此对绘画和矢量艺术等图像类型不敏感。环境光照贴图用于控制阴影SSN采用环境遮挡预测模块来预测中间环境遮挡图，该中间环境遮挡图可以由用户进一步细化以提供几何线索来调制阴影生成。为了训练我们的模型，我们设计了一个高效的管道，使用3D对象模型来生成各种软阴影训练数据。此外，我们提出了一个逆阴影图表示，以改善模型训练。我们证明，我们的模型产生逼真的软阴影实时。我们的用户研究表明，生成的阴影通常与基于物理的渲染器计算的阴影无法区分，用户可以通过交互式应用程序轻松使用SSN在几分钟内生成特定的阴影效果。1. 介绍图像合成是图像创作的一种重要而强大的手段，将来自不同来源的元素放在一起以创建新图像。阴影合成是图像合成中的一个挑战性任务手动为2D对象剪切创建令人信服的阴影需要大量的专业知识和工作，因为阴影生成过程涉及对象几何体和光源之间的复杂交互，特别是对于区域光和柔和阴影。我们的工作简化了2D对象剪切软阴影的创建，并提供了完全的可控性，以修改阴影的特性。软阴影生成需要物体的3D形状信息，这对于2D图像合成是不可用的。然而，常见物体的强3D形状和姿态先验可以为软阴影生成提供必要的3D信息。我们介绍了软阴影网络（SSN），这是一个深度神经网络框架，可以为2D对象剪切和基于输入图像的环境光照图生成软阴影。SSN的输入是一个对象掩码。它对绘画、卡通或矢量艺术等图像类型是不可知的。用户控制通过基于图像的环境光照图提供，该光照图可以捕获复杂的光照配置。图1示出了由SSN针对不同图像类型中的各种形状的SSN通过不断变化的光照贴图和阴影贴图上的真实阴影细节产生平滑过渡，特别是在物体与地面接触点附近。SSN 由 环 境 遮 挡 预 测 （ AOP ） 模 块 和 阴 影 渲 染（SR）模块组成。给定对象掩模，AOP模块预测地面阴影接收器上的周围遮挡（AO）图，4381图2：使用软阴影网络（SSN）进行图像合成。用户在背景照片（中）上添加两个对象草图（左），并使用我们的SSN使用右图顶部显示的光照图生成逼真的柔和阴影。用户只需几分钟即可获得满意的阴影效果。一段视频记录了这一过程，可以在补充材料中找到其与光照图无关并且捕获对象的相关3D信息以用于软阴影生成。SR模块然后采用AO贴图、对象遮罩和光照贴图来生成软阴影。用户可以在需要时改进预测的AO地图，以提供有关物体形状和地面区域的额外指导我们使用各种形状的3D对象模型和随机采样的复杂光图案生成SSN的训练数据为复杂的照明场景渲染柔和的阴影是非常耗时的，这就限制了训练过程。因此，我们提出了一个有效的数据管道，在训练过程中渲染复杂的软阴影。此外，我们观察到阴影图具有较高的动态范围，这使得模型训练非常困难。提出了一种逆阴影图表示法来解决这个问题。感知用户研究表明，软阴影生成的SSN是视觉上无法区分的软阴影生成的基于物理的渲染器。此外，我们展示了我们的方法作为一个互动的工具，允许实时阴影操作与系统正如第二个用户研究所证实的那样，照片编辑器可以毫不费力地在几分钟内使用我们的工具（见图）将具有理想的柔和阴影的剪切部分整合到现有图像中2）的情况。我们的主要贡献是：1. 一种新的用于通用图像合成的交互式软阴影生成2. 一种动态生成软阴影和环境光照图的多种训练数据的方法。3. 一种逆贴图表示，用于改进HDR阴影贴图的训练。2. 相关工作软阴影渲染我们回顾了计算机图形学中的软阴影渲染方法。所有这些方法都需要3D对象模型，但它们与我们的数据生成有关曝气管道从单个区域光生成软阴影的常用方法是通过对多个硬阴影求和来近似[11]。基于有效的几何表示，提出了各种方法来加速软阴影渲染[1，3，5，8，18，19，38，39，14，10]或图像滤波[2，12，42，21]。但是，这些方法主要针对单个区域光源的阴影渲染，因此在复杂灯光设置的阴影渲染中效率较低全局照明算法渲染软阴影implantable。基于球面谐波[7，41，49我们使用不同的阴影基，而不是通过昂贵的Monte-Carlo积分将可见性函数投影到球谐基，这是计算成本较低的。图像重新照明和阴影合成我们的方法属于深度生成模型[16，27]，通过语义控制[4，6，30]或用户指导（如草图和绘画[25，31]）执行图像合成和操作。深度图像协调和重新照明方法[40，43，48，51]学习调整主体这一系列的作品主要集中在主体外观的协调阴影生成和协调可以通过从多个视图估计环境照明和 场 景 几 何 来 实 现 [33] 。 给 定 一 张 图 像 ， Hold-Geoffroyet al. [22] Gardneret al. [15]用于3D对象合成的估计光照图然而，在2D图像合成中，既没有多视图信息也没有对象3D模型来自单个图像的3D重建方法[13，20，28，35]可以缩小这一差距。但是，它们需要复杂的模型架构设计用于3D表示，并且可能不适合于时间关键型应用，例如交互式图像编辑。还4382图3：系统概述：在训练阶段，我们在不同光照条件下对各种3D对象训练SSN。每个3D对象都可以从多个公共视图中查看，并且其2D遮罩和硬阴影是基于采样网格计算的硬阴影被处理成一组阴影基础，用于在训练期间进行有效的软阴影计算。在推断步骤期间，用户输入2D掩模（例如，从现有图像剪切）和图像光照图（交互式地或从预定义集合）。然后，SSN估计软阴影。这些方法中过于简化的摄像机模型会在物体与阴影捕捉器之间的接触区域最近的作品[23，24，29]探索了使用基于神经网络的图像合成方法渲染硬阴影或环境遮挡，但它们无法渲染软阴影，并且在图像编辑期间缺乏控制。SSN为2D对象剪切的交互式软阴影生成提供了一种实时和高度可控的方式我们的方法被训练为隐式地推断物体3. 概述软阴影网络（SSN）的目的是快速生成视觉上合理的软阴影给定的二维二元掩膜的三维对象。目标应用是图像合成，我们的方法的流水线如图所示。3 .第三章。该系统分两个阶段工作：第一阶段训练深度神经网络系统，以生成从3D对象和复杂的基于图像的光照图生成的2D二进制遮罩的软阴影第二阶段是推断步骤，其产生用于输入2D二进制掩模的软阴影，例如，作为从输入图像的剪切而软阴影是从用户定义的或表示为2D图像的现有基于图像的光。训练阶段（图3左）将一组3D对象作为输入：我们使用了186个对象，包括人类和常见对象。每个物体都从15个图标角度观看，生成的2D二进制掩码用于训练（参见第二节）。4.1）。我们需要为每个3D对象生成软阴影数据虽然我们可以使用基于物理的渲染器来生成柔和阴影的图像，但这将非常耗时。 这需要大量的软阴影样本覆盖所有可能的软阴影组合，具有低噪波。因此，我们提出了一种动态软阴影生成方法（Sec.4.3）只需要预先计算在训练前，“廉价”的硬阴影。基于阴影基础和在训练期间为了覆盖可能的照明条件的大空间ELM在程序上生成为具有不同位置、核大小和强度的2D高斯[17，47]（高斯混合）的组合。我们随机采样ELM，并在训练期间在内存中实时生成相应的软阴影地面实况。2D遮罩和软阴影然后用作输入以训练SSN，如第2节中所述。五、我们使用U-Net [34]编码器/解码器网络的变体，在网络的瓶颈部分注入一些广告数据。推理阶段（Fig. 3右）是针对一个快速软用于图像合成的阴影生成。在典型的sce中-nario，用户选择图像的一部分，并希望将其粘贴到具有柔和阴影的图像中。ELM既可以提供，也可以通过简单的GUI绘制。然后将结果ELM和提取的轮廓解析为预测相应软阴影的SNN。4. 数据集生成此步骤的输入是一组3D对象。输出是一组三元组：3D对象的二进制蒙版、从环境光照贴图（ELM）投射到平面（地板）上的对象的近似但高质量的软阴影贴图以及平面的环境光遮挡贴图。4.1. 3D对象、遮罩和AO贴图让我们用G i表示3D几何形状，其中i = 1，. . .、|G|=102。在我们的数据集中，我们使用了从Daz 3D中采样的43个人物，59个一般物体，如ShapeNet [9]和Mod- elNet [50]中的飞机，袋子，瓶子和汽车请注意，阴影生成只3D对象2D掩模培训推理2D遮罩软阴影软阴影环境光遮挡硬阴影软阴影网络（SSN）图像灯光贴图环境灯光贴图用户输入阴影生成培训推理4383我我K表1：ELM参数的范围。我们在SSN训练期间使用来自该空间的随机样本。图4：阴影基础示例：对于每个3D对象的每个视图，我们生成8×32个阴影基础（此处显示3×16）。我们减少了训练过程中的软阴影采样问题，以环境我们使用阴影基础来近似软阴影，因此解决了矩形光照图生成问题没有纹理的3D几何图形。每个Gi被归一化，并且其最小-最大框被放置在标准位置，其中最小-最大框的中心在坐标系的原点。它的投影与图像的顶部对齐每个G i用于生成由M j表示的十五个掩码，其中下部索引i表示对应的对象G i，并且上部索引j是形式[y，α]的对应视图。每个物体绕y轴旋转五次轴y=[0o，45o，−45o，90o，−90o]，显示方式为三个常见视角α=[0o，15o，30o]。这给出了|MJ|=1，530个唯一掩码（见图 3）。环境光遮挡（AO）贴图描述了点如何暴露于环境光（零：被遮挡，一：暴露）。我们计算阴影接收器（地板）的AO贴图，并将其存储为图像。∫1其中[x，y]是光源的位置。坐标在标准化范围[0，1]2中表示。我们提供各种各样的ELM，自然或人造照明配置，使得SSN可以很好地推广任意ELM。我们通过在训练过程中从等式（2）和（3）中随机抽样每个变量来生成ELM各参数的范围如表1所示。可能的灯的总数请注意，即使由少量灯光组成的ELM也会提供非常高的动态范围的柔和阴影。请参考我们的补充材料，从生成的数据和比较，以物理为基础的渲染软阴影的样本。4.3.阴影基础和软阴影虽然我们可以使用基于物理的渲染器来生成物理上正确的软阴影，但大量图像的渲染时间相反，我们使用一种简单的方法，通过利用光线A（x，n）=πV（x，ω）·max（n，ω）dω，（1）Ω早期的财产。 我们的方法可以产生更多的迪-诗软阴影比一个天真的采样几个软阴影-其中V（x，ω）是立体角ω中的点x的可见度项（值为零或一）。AO图接近几何体与接收器的接近度;完全黑色的像素接触地板。我们在A（x，n）上应用三分之一的指数以获得高对比度效果，以保持4.2. 环境光源贴图（ELM）SSN训练阶段的第二个输入是软阴影（见图1）。3）通过使用具有分辨率为512×256的HDR图像映射的环境光照映射从Gi的3D几何形状生成。我们使用表示为2D高斯函数的单个光源：L =Gauss（r，I，σ2），（2）其中高斯是具有半径r、最大强度（缩放因子）I和对应于σ2的软度的2D高斯函数。每个ELM都是高斯混合[17，47]：KELM=Lk（[x，y]），（3）k=1从一些方向。我们在数据集生成阶段准备了一次影子库。由于阴影接收器是一个平面，我们假设256×512ELM中只有上半部分区域投射阴影。对于ELM中的每个16×16非重叠补丁，我们对补丁中包含的每个像素投射的硬阴影进行采样，并将阴影组求和作为软阴影基础，该基础在训练阶段使用。每个模型轮廓遮罩都有一组软阴影基础。在训练过程中，通过用随机采样的2D高斯混合组成的ELM对软阴影基进行加权来渲染软阴影。5. 学习渲染软阴影我们希望模型学习一个函数φ（·），该函数将剪切蒙版Im和环境光照贴图Ie作为输入，并预测投射在地平面上的软阴影IsIs=φ（Im，Le）（4）在训练过程中，输入ELMLe，如第12节所述4.2，是随机生成的，以确保我们的模型的泛化能力意义参数值数量的灯K1，. . .，50光源位置[x，y][0， 1]2光强度我[0， 3]中的值4384源掩码AO图逆影编码器解码器编码器解码器环境遮挡预测L2影子描绘用L2AO图GT阴影GT光照图图5：SSN架构由两个子模块组成：环境遮挡预测（AOP）模块和阴影渲染（SR）模块。AOP模块采用U形网结构。它将二进制遮罩作为输入，并输出环境光遮挡贴图。SR模块具有类似的架构，除了我们将ELM注入瓶颈。软阴影被渲染为SR模块的输出。详见补充资料。在训练过程中，我们观察到模型很难收敛。 这是因为阴影贴图在大多数区域中具有非常宽的动态范围。为了解决这个问题，我们提出了一个简单的变换来在训练期间反转S=max（Ss）−Ss。（五）因此，除阴影区域外的大部分区域接近于零。反转阴影使模型聚焦于最终的非零值阴影区域，而不是平面接收器上的辐射的高动态范围。照明辐射的精确值对于最终阴影预测是无用的。这种简单的变换不会带来或丢失任何阴影信息，但它显著提高了收敛速度和训练性能。定量结果请参见表25.1. 网络架构SSN 架 构 （ 图 5 ） 有 两 个 模 块 ： 环 境 遮 挡 预 测（AOP）和阴影渲染（SR）。这两个模块的整体设计灵感来自U- Net [34]，除了我们将光源信息注入SR模块的瓶颈。在这两个模块中，编码器和解码器都是完全卷积的。AOP模块将掩模作为输入并输出环境遮挡（AO）图。然后，源掩模和预测的AO图被传递到阴影渲染（SR）模块。ELM是扁平化的，在每个空间位置重复，并与阴影渲染模块的瓶颈代码连接SR模块渲染柔和阴影。AOP模块和SR模块共享几乎相同的层细节。AOP模块和SR模块的编码器均由一系列3×3卷积层组成。编码期间的每个卷积层都遵循conv- groupnorm-ReLU方式。解码器应用双线性上采样卷积群范数ReLU方式。对于每个阶段，我们跳过从对应的编码器层到解码器层的对应激活的链接5.2. 损失函数与训练AOP模块和SR模块的损失都是每个像素的L2距离.让我们将AO地图的地面真值表示为A。逆阴影映射（等式（5））是S_A，并且环境光遮挡映射的预测是A，并且软阴影映射的预测是S：La（A，A）=||A−A||第二条第（六）款Ls（S，S）=||S−S||二、（七）为了使用大批量，AOP和SR模块是分开训练的。对于AOP模块训练，我们使用掩码作为输入，并使用等式（6）计算损失。而对于SR模块训练，我们通过随机腐蚀和膨胀来扰动地面真实AO地图。然后将掩模和扰动后的AO图送入SR模块进行训练。在训练过程中，我们使用高斯混合随机采样来自等式（3）的环境光图ELM，并实时渲染相应的软阴影地面实况，以使用等式（7）计算阴影损失。这种训练程序有效地帮助我们的模型概括各种光照条件。逆阴影表示也有助于网络更快地收敛，并带来更好的性能。我们提供了一个全自动的流水线来渲染软阴影，在推理阶段给出了一个源遮罩和一个目标光。我们还允许用户操纵目标光和修改预测的环境光遮挡图，以更好地实时交互地最终渲染软阴影。6. 结果和评价6.1. 培训详细信息我们使用PyTorch实现了我们的深度神经网络模型[32]。所有结果均生成于配备英特尔至强W-21454385图6：SSN使用四种不同的光照贴图生成的柔和阴影。每行共享第一个图像上角所示的相同光照贴图。所有光照贴图都具有弱环境光。四个光照贴图也有一个、两个、四个、七个强区域光。注意一些物体，例如猫、足球、酒杯等都不在我们的训练集中。CPU （ 3.70GHz ） ， 我 们 使 用三 个 NVIDIA GeForceGTX TITAN X GPU进行训练。我们使用Adam优化器[27]，初始学习率为1e−3。对于每个epoch，我们运行整个数据集40次，以采样足够的环境地图。我们的模型在80个epoch后收敛，总训练时间约为40小时。软阴影推理的平均时间约为5ms。图1中的动画示例表明，我们的方法可以为动态变化的光照条件生成平滑的阴影过渡。图2示出了通过插入具有渲染的软阴影的几个2D剪切来合成现有输入场景请注意，一旦为一个剪切体创建了ELM，其他剪切体就会重用它。向图像添加多个剪切非常简单。补充材料中列出了用户生成的其他几个例子6.2. 定量评价基准我们将基准数据集分为两个不同的数据集：一个通用对象数据集和一个人类数据集，来自ModelNet [50]和ShapeNet [9]的其他29个具有不同几何形状和拓扑结构的通用模型，e.G.飞机，包，篮子，瓶子，汽车，椅子等，在一般数据集中，我们从Daz3D工作室中抽取了9个具有不同姿势、形状和服装的人体模型，并使用不同的摄像机设置为每个模型绘制了15个面具软阴影基地渲染使用相同的方法在训练。我们也使用了同样的环境光照图生成方法，如上述随机采样300个不同的ELM。请注意，所有模型都没有显示在训练数据集中。我 们 使 用 四 个 指 标 来 评 估 SSN 的 测 试 性 能 ： 1 ）RMSE ， 2 ） RMSE-s [44] ， 3 ） 零 归 一 化 互 相 关（ZNCC）和4）结构不相似性（DSSIM）[37]。由于渲染图像的曝光条件可能会因不同的渲染实现而有所不同，因此除了RMSE之外，我们还使用了尺度不变度量RMSE-s，ZNCC和DSSIM。请注意，所有测量都是在逆阴影域中计算的消融研究为了评估逆阴影表示和AO标测图输入的有效性，我们对上述基准进行消融研究，并通过四个指标评估结果。Non-inv-SSN表示与SSN相同但使用非逆阴影表示的基线。SSN是我们的方法与逆阴影表示。GT-AO-SSN是用SR模块的地面实况图替换预测AO图这是为了显示当对象的几何形状与SSN不明确时，通过细化AO贴图来提高的上限表2显示了Non-inv-SSN对于每个度量都具有明显更差的性能通过比较表2和表3中SSN和GT-AO-SSN之间的度量差异，观察到在一些特定的数据集中，例如，人类数据集，我们的SSN有一个相当好的性能，而无需细化环境遮挡图。我们进一步4386表2：一般目标水准点上的阴影定量分析.非反转SSN使用与我们的SSN相同的架构，除了训练阴影地面实况不反转。GT-AO-SSN使用地面实况环境光遮挡图作为SR模块的输入对于RMSE，RMSE-s，DSSIM，值越低，阴影预测越好，而ZNCC则相反。表3：对人体基准的定量阴影分析。这两种方法之间的差异比表2中的相同方法小得多，表明SSN可以对某些特定对象具有良好的性能。图7：来自我们的感知现实主义用户研究的一对样本图像。我们展示了Mitsuba渲染的3D对象生成的输出（左）和SSN从二进制掩码生成的输出（右）。86420p值通过定性评价中讨论的用户研究验证。在更多样化的测试数据集中，表2显示了更好的AO贴图输入可以提高软阴影质量此外，图6显示，SSN很好地概括了具有不同ELM的各种不可见对象。6.3. 定性评价我们进行了两项感知用户研究。第一个测量由SSN生成的阴影的真实感感知水平;第二个测试阴影生成器感知现实主义（用户研究1）我们已经生成了两组带有柔和阴影的图像一个集，称为MTR，是通过在Mitsuba渲染器中渲染它从3D对象生成的，Mitsuba渲染器是一种基于物理的渲染器，当使用足够的第二组称为SSN，使用来自MTR的相同对象的二进制掩码并估计软阴影。两组图像的数量相同|地铁|为|SSN|=18，得到18对。在这两种情况下，我们使用的3D对象在训练集或SSN验证集的训练过程中不存在所呈现的对象是SSN未知的。所使用的ELM旨在覆盖各种各样的阴影，从单个阴影，两个阴影到非常微妙的形状和强度。图7显示了我们研究中使用的一对图像的示例。请参考补充材料的一些其他用户研究的例子。知觉研究是一种二选择强迫选择（2AFC）方法。为了验证渲染图像图8：p值分布：在我们的第一个用户研究中，7个问题的p值≤0。001，两个问题0. 010。05.该研究由56名参与者回答（73%男性，25%女性，2%未识别）。我们放弃了所有太短（三分钟以下）或没有完成所有问题的答复。我们还丢弃了总是点击同一侧的用户的答案。每个图像对由46个有效用户查看。一般来说，用户无法区分SSN生成的阴影和地面实况。特别是，结果表明，平均准确度为48.1%，标准偏差为0.153。图8中每个问题的T检验表明，有一半的预测与Mitsuba地面事实没有显著差异易用性（用户研究2）：在第二项研究中，人类受试者被要求通过使用简单的交互式应用程序重新创建柔和的阴影结果表明，用户可以生成erate指定的软阴影在几分钟内使用我们的GUI。更多细节请参考补充资料.6.4. 讨论近年来，二维到三维物体重建方法取得了令人瞩目的成果。PIFuHD [36]，有人可能会认为，渲染软阴影可以是直接的，首先从图像中获得3D对象模型，然后使用传统的阴影渲染方法在计算机图形学。然而，从单个图像的3D对象重建任务仍然具有挑战性。此外，现有的方法如PIFuHD是在自然图像域中训练的。因此，他们可能很难推广到其他图像领域，如卡通和绘画。0.0010.001-0.010.01-0.05>0.05数量的测试方法RMSERMSE-sZNCCDSSIM非inv-SSN0.09260.08940.75210.2913SSN0.05610.05060.81920.0616GT-AO-SSN0.03420.03040.91710.0461方法RMSERMSE-sZNCCDSSIMSSN0.01940.01630.89430.0467GT-AO-SSN0.01500.01270.93160.04034387Input Cutout SSN SSN w.AO标测图修改PIFuHD + Mitsuba渲染图9：阴影生成与基于PIFuHD的方法的比较。SSN（2nd）渲染从图像（1st）剪切的软阴影。我们的AO预测模块的中间AO图预测通过覆盖右上角所示的剪切掩模的红色区域可视化。SSN还可以使用不同的AO输入来渲染不同的软阴影，以改变遮挡器和阴影接收器之间的3D关系（第三）。Mitsuba（4日）通过PIFuHD从物体的重建3D几何图形中渲染出柔和的阴影，但很难调整脚部接触以匹配原始图像。用于三个示例的ELM位于第四个图像的角落图10：AO细化的示例。SR模块的AO图显示在合成结果的角落。尽管AOP由于遮罩输入的模糊性而预测错误的AO贴图（左），但我们的SSN可以通过简单的AO细化（右）渲染更真实的软阴影。此外，使用2D到3D重建方法的软阴影绘制还有一个更 关 键 的 问 题 。 在 图 9 中 ， 我 们 展 示 了 一 个 使 用PIFuHD和Mitsuba [26]渲染器为2D人物图像生成软阴影的示例。由于PIFuHD中3D形状的不准确性和简化的相机假设，脚的姿势可能不足以与地平面对准，使得在接触点附近生成期望的阴影效果的可控性较相比之下，我们的方法可以通过修改AO图在接触点附近引起不同的阴影效果，这提供了对接触点附近的3D几何解释的更多控制。图10中示出了另一示例。西瓜的掩码输入几乎是一个非常模糊的圆盘。通过对AO输入的简单细化，剪切对象和地面之间的3D关系在视觉上从更真实的软阴影的暗示中变得更合理。限制SSN的输入是一个对象掩码，2D对象形状的一般表示我们还是对于推断某些对象的3D形状和姿势可能是不明确的。这可以通过细化AO图来改进，而其他的可能在我们的框架中不容易解决。补充材料中给出了一些示例。而且，软阴影的形状取决于相机参数.但是，对于某些极端的相机设置，遮罩输入是不明确的。例如，一个非常大的视野扭曲的阴影，SSN不能处理。此外，我们假设我们的对象总是站在地平面上，SSN无法处理对象浮在地面上或阴影接收器比地平面更复杂的情况。7. 结论我们引入了软阴影网络来合成软阴影给定的2D面具和环境地图配置的图像合成。单纯地生成不同的软阴影训练数据成本昂贵。为了解决这个问题，我们构造了一组软阴影基，结合快速ELM采样，可以快速训练和更好的泛化能力。我们还提出了逆阴影域算法，该算法显著提高了收敛速度和整体性能。提出了一种可控的管道，以减轻通过引入一个可修改的环境遮挡图作为输入的泛化限制。实验证明了该方法的有效性。用户研究证实了视觉质量，并表明用户即使没有任何计算机图形学经验也可以快速直观地生成柔和的阴影。鸣谢：我们感谢评论者的建设性评论。感谢卢玲在数据分析方面的帮助。本研究部分由国家科学基金会资助#10001387，3D几何模型的功能。这项工作得到了Adobe Gift Funding的部分支持。4388引用[1] Maneesh Agrawala ， Ravi Ramamoorthi ， AlanHeirich，and Laurent Moll.有效的基于图像的方法渲染软阴影。在第27届计算机图形和交互技术，SIGGRAPHUSA，2000. 2[2] Thomas Annen ， Zhao Dong ， Tom Mertens ，Philippe Bekaert ， Hans-Peter Seidel ， and JanKautz.动态场景中的实时全频阴影。 ACM事务处理图表，27（3）：1-8，2008年8月。2[3] UlfAssarsson和TomasA k enine-Mol？lle r.一种基于几何的图形硬件软阴影体算法。ACM事务处理图表，22（3）：511 2[4] David Bau，Hendrik Strobelt，William Peebles，Jonas Wulff ， Bolei Zhou ， Jun-Yan Zhu ， andAntonio Torralba.具有生成图像先验的语义照片处理。ACM事务处理图表，38（4），2019年7月。2[5] Stefan Brabec和Hans-Peter Seidel使用深度贴图的单个示例软阴影在Graphics Interface，2002卷，第219-228页中Citeseer，2002年。2[6] 安德鲁·布洛克，杰夫·唐纳休，凯伦·西蒙尼扬。用于高保真自然图像合成的大规模gan训练2018年，参加国际学术会议。2[7] 布莱恩·卡布拉尔，尼尔森·麦克斯，丽贝卡·斯普林梅尔.曲面凹凸贴图的双向反射功能。第14届计算机图形和交互技术年会论文集，第273-281页，1987年。2[8] 埃里克·陈和弗雷多·杜兰德使用平滑效果渲染假软阴影。作者：Philip Dutre，Frank Suykens，PerH. Christensen 和 Daniel Cohen-Or ， 编 辑 ，Eurographics渲染研讨会。欧洲制图协会，2003年。2[9] Angel X Chang ， Thomas Funkhouser ， LeonidasGuibas，Pat Hanrahan，Qixing Huang，Zimo Li，Sil-vio Savarese，Manolis Savva，Shuran Song，Hao Su ， et al. Shapenet ：An information-rich 3dmodelrepository.arXiv预印本arXiv：1512.03012，2015。第三、六条[10] 罗伯特·库克、托马斯·波特和洛伦·卡彭特。分布式 光 线 追 踪 。 在 Proceedings of the 11th annualconference on Computer graphics and interactivetechniques，pages 1372[11] 富兰克林角乌鸦计算机图形学中的阴影算法。SIGGRAPH计算Graph. ，11（2）：242-248，July1977. 2[12] 威廉·唐纳利和安德鲁·劳里岑。方差阴影贴图。2006年研讨会4389交互式3D图形和游戏，第161- 165页，2006年。2[13] Haoqiang Fan，Hao Su，and Leonidas J Guibas.一个从单幅图像重建三维物体的点集生成网络。在IEEE计算机视觉和模式识别会议论文集，第605-613页，2017年。2[14] 托拜厄斯·亚历山大·弗兰克。三角体素锥体跟踪。在2014年IEEE混合与增强现实国际研讨会上，第39-44页IEEE，2014年。2[15] Marc-Andre 'Gardner ， Kalyan Sunkavalli ， ErsinYumer ， Xiaohui Shen ， Emiliano Gambaretto ，Chris-tianGag ne'和Jean-Fran c.Lalonde。学习从单个图像预测室内照明 ACM事务处理图表，36（6）：1-14，2017. 2[16] Ian Goodfellow ， Jean Pouget-Abadie ， MehdiMirza ， Bing Xu ， David Warde-Farley ， SherjilOzair，Aaron Courville，and Yoonne Bengio.生成性对抗网。神经信息处理系统的进展，第2672-2680页，2014年。2[17] 保 罗 · 格 林 ， 扬 · 考 茨 ， WojciechMatusik 和Fre'doDurand。使用非线性高斯函数近似的视相关预计算光输运。在2006年关于交互式3D图形和游戏的研讨会的会议录中，I3 D计算机协会。第三、四节[18] GaelGuennebaud，L oıcBarthe，andMathiasPaulin. 实时软阴影映射反投影。在渲染技术中，第227-234页，2006年。2[19] 盖尔·根内博，卢瓦·巴尔特和马蒂亚斯·保林。高质量的自适应软阴影贴图。 Comp.Graph. Forum，26（3）：525-533，2007. 2[20] 塔尔·哈斯纳和罗南·巴斯里。基于实例的从单个2d图像重建3d。2006年IEEE，2006年。2[21] Eric Heitz，Jonathan Dupuy，Stephen Hill，andDavid Neubelt.使用线性余弦变换的实时日光明暗 处 理 。 ACMTransactionsonGraphics（TOG），35（4）：1-8，2016. 2[22] Yannick Hold-Geoffroy ， Kalyan Sunkavalli ，SunilHadap ，EmilianoGambaretto ， andJean-Franc.室外深层光照估计。在IEEE计算机视觉和模式识别会议论文集，第7312-7321页2[23] 胡晓伟，蒋伊通，傅志荣，和Pheng-Ann Heng。Mask-shadowgan：学习从未配对的数据中移除阴影。InProceedings of the4390IEEE计算机视 觉国际会议，第 2472-2481页，2019年。3[24] N Inoue ， D Ito ， Y Hold-Geoffroy ， L Mai ， BPrice和T Yamasaki。Rgb2ao：从rgb图像生成环境光遮挡。在计算机图形论坛，第39卷，第451-462页。威利在线图书馆，2020年。3[25] Phillip Isola ， Jun-Yan Zhu ， Tinghui Zhou ， andAlexei A Efros.使用条件对抗网络进行图像到图像的翻译。在IEEE计算机视觉和模式识别会议论文集，第1125-1134页，2017年。2[26] 温泽尔·雅各布Mitsuba renderer，2010. 8[27] 迪德里克山口金玛和麦克斯·威林自动编码变分贝叶 斯 。 In Yoonne Bengio and Yann Le-Cun ，editors，2nd International Conference on Learning-ing Representations ， ICLR 2014 ， Banff ， AB ，Canada ， April 14-16 ， 2014 ， Conference TrackProceedings，2014. 第二、六条[28] 弗拉基米尔·A·克尼亚兹，弗拉基米尔·维亚兹，法比奥·雷蒙迪诺.图像到体素模型翻译与con-adversarial 网 络 。 在 欧 洲 计 算 机 视 觉 会 议（ECCV）的会议记录中，第0-0页，2018年。2[29] 刘大全，龙澄江，张洪攀，于汉宁，董新智，肖春霞Arshadow-gan：阴影生成对抗网络，用于单光场景中的增强现实.在IEEE/CVF计算机视觉和模式识别会议论文集，第8139-8148页，2020年。3[30] Augustus Odena ， Christopher Olah ， and JonatheShlens.基于辅助分类器gans的条件图像合成。第34届国际机器学习会议论文集-第70卷，第2642-2651页。JMLR。org，2017. 2[31] Taesung Park，Ming-Yu Liu，Ting-Chun Wang，Jun-Yan Zhu.具有空间自适应归一化的语义图像合成。在IEEE计算机视觉和模式识别会议论文集，第2337-2346页，2019年。2[32] Adam Paszke 、 Sam Gross 、 Soumith Chintala 、GregoryChanan 、 EdwardYang 、 ZacharyDeVito 、 Zeming Lin 、 Alban Desmaison 、 LucaAntiga和Adam Lerer。Pytorch中的金-银分化。2017. 5[33] Julien菲利普米莎·艾尔 加尔比廷辉Zhou，Alexei A.埃夫罗斯和乔治·德雷塔基斯。使用几何感知网络的多视图重新照明 ACM Trans.Graph. ，38（4），2019年7月。2[34] Olaf Ronneberger ， Philipp Fischer ， and ThomasBrox.U-net：用于生物医学图像分割的卷积网络。国际医学会议图像计算和计算机辅助干预，第234-241页。施普林格，2015年。三，五[35] Shunsuke Saito ，Zeng Huang，Ryota Natalism，Shi- geo Morishima ，Angjoo Kanazawa，Hao Li.Pifu ： Pixel-aligned implicit function for high-resolution clothed human digitalization.在IEEE计算机视觉国际会议论文集，第2304-2314页，2019年。2[36] Shunsuke Saito ， Tomas Simon ，Jason Saragih ，and Hanbyul Joo. Pifuhd：用于高分辨率3D人体数字化的多级像素对齐隐式函数。在IEEE/CVF计算机视觉和模式识别会议论文集，第84- 93页7[37] Tiago A Schieber ， Laura Carpi ， Albert D 'ıaz-Guilera ， Panos M Pardalos ， Cristina Masoller ，and Mart' ın G Ravetti. 网 络 结 构 差 异 的 量 化 。Nature Communications，8（1）：1-10，2017。6[38] 迈克尔·施瓦茨和马克·斯塔明格。位掩码软阴影。在对比图中。Forum，第26卷，第515-524页，2007年。2