神经网络生成精准线条图: 从3D模型中学习生成线条的方法

5428神经轮廓：学习从3D模型中绘制线条刘迪凡1MohamedNabail1Aaron Hertzmann2EvangelosKalogerakis11马萨诸塞大学阿默斯特分校2Adobe Research3D模型遮挡轮廓表观脊pix2pixHD神经轮廓图1：给定一个3D模型（左），我们的网络创建了一个线条图，与单独使用其他方法（如遮挡轮廓[1]，表观脊[22]和pix2pix变体[37]）相比，该线条图更准确地表达了其结构请参阅补充材料，了解更多型号的结果。摘要本文介绍了一种从三维模型中学习生成线条图的方法。我们的架构incorporates一个可微模块的几何特征的3D模型上运行，和基于图像的模块operating基于视图的形状表示。在测试时，几何和基于视图的推理与神经模块的帮助相结合，以创建线条画。该模型是在大量众包的线条图比较上训练的实验表明，我们的方法实现了显着的改进，线条画在国家的最先进的标准基准评估时，在图纸上是由经验丰富的人类艺术家所产生的。1. 介绍为了画出一个物体的精确线条图，艺术家必须了解3D形状，并选择将该形状传达给观众的线条。对艺术家如何执行这一过程进行建模仍然是一个重要的开放性问题，与3D形状理解、视觉感知和图像风格化密切相关。最近的形象风格化和图像转换算法从示例中学习样式，但不考虑底层的3D几何形状，并且通常不能很好地捕获轮廓绘图样式。相比之下，基于解析几何的算法有效地捕捉基本的线条绘制属性，并已被用于许多计算机动画电影和游戏。然而，这些方法仍然无法捕获真实图形的属性，并且需要为每个单独的模型调整参数。本文提出了一种从三维模型中学习生成线条画的方法。我们的模型采用两个分支。第一分支实现基于暗示性轮廓、明显的脊、脊和谷的几何线现有的几何线绘制方法采用难以调整的用户指定的参数，需要单独确定每个对象。相比之下，我们的方法通过可微模块学习自动选择这些参数。第二个分支表示为标准图像转换网络，但使用基于视图的形状表示作为输入。我们表明，结合这两个分支产生最好的结果。在开发这种方法时存在许多挑战。首先，经典的几何线条并不容易区分，5429相对于它们的参数而言，我们将软阈值函数与微分表面特性的图像空间渲染映射相结合。另一个主要的挑战是将不同的几何线与纯学习的几何线结合起来。我们表明，一个排名模块训练，以评估线条画的可扩展性，可以用来驱动这种组合。最后，另一个挑战是收集合适的训练集。以前的工作是从艺术家那里进行费力的亲自数据收集[3]。虽然这可以提供高质量的数据集，但它不能很好地扩展，而且它还产生没有太多风格一致性的数据。我们能训练有效的绘画模型而不需要雇佣艺术家来创作许多图画吗？ 我们描述了一个众包的方法来收集数据，使用不熟练的众包工作者进行排名评估。我们基于Cole等人的方法评估了我们的方法。s [3]艺术家创作的绘画，并发现我们的众包培训产生了最先进的结果。我们还收集了一个新的扩展测试数据集，涉及更多样化的3D模型，遵循Cole等人的研究。的方法论。在所有测试数据集中，我们的方法生成的线条画与之前的工作（包括几何方法和图像翻译网络）相比，更准确，在感知上更类似于艺术家的绘画。我们还进行了MTurk评估研究。我们发现，众包工作者选择我们的线条画作为最好的传达参考3D模型的频率是其他技术的两倍。2. 相关工作艺术家是如何创作线条画的，人们又是如何看待它们的？这个问题已经在艺术史[10]、哲学[11]、神经科学[36]和知觉科学[37]中进行了研究。心理学[15，24，26]。遮挡轮廓算法是非真实感3D计算机图形的基础;参见[1]的综述。闭塞轮廓的推广改进了线条绘制算法，从暗示性轮廓开始[5，27]，并继续使用表观脊[22]和其他几种方法;参见[4]，了解等高线概括的概况。Cole等人[3]进行了彻底的研究，招募人类艺术家来创建已知3D对象的线条图。他们发现，现有的方法可以解释大多数人类绘制的线条，但手绘和计算机生成的线条之间仍然存在许多差异Gryaditskaya等人[12]收集和分析对象的专业图示。虽然这些分析产生了对手绘线的性质的深入了解，但是合成算法不能匹配手绘线的质量，同时还需要由用户在逐个情况的基础上设置若干参数。同时，学习了计算机视觉和计算机图形学中的图像风格化算法，例如，[16，9，40，19]，已经显示出学习捕捉艺术风格.然而，这些方法不捕获对底层3D形状的依赖性，并且经常忽略3D理解。很少有风格转换方法能够有效地对线条画进行风格化。两个例外是Im2Ok [28]和Inoue等人。[17]，它将对象的轮廓与内部分开，但没有明确考虑3D形状。StyLit对3D模型进行样式化[7]，但不捕获线条图。到目前为止，几乎没有以前的工作，学习艺术风格的线条画的3D模型。Lum和Ma [29]提出了一种SVM，用于从单个形状上的交互式用户反馈中学习线条。Kalogerakis等人[23]建议从表面方向场和几何特征的组合中学习阴影样式。Cole等人[3]提出了几何特征和决策树的线性组合，以从少量示例中学习线条绘制相比之下，我们学习了一个模型，该模型结合了现有的几何和风格化算法、一个新的大型数据集和现代神经架构，以产生一个最先进的线条绘制算法。3. 线画模型我们首先描述了我们的架构计算从一个三维形状的线条画。该模型将3D形状和相机作为输入，并输出线条图。3D形状表示为近似于平滑表面的三角形网格。输出线条图被指定为2D灰度图像。我们的架构有两个分支（图3）：一个是几何线的参数在运行时由“排名模块”设置模型的训练在第5节中描述。3.1. 几何分支我们的模型的第一个分支是基于经典的基于几何的线绘制定义，即，轮廓，山脊，山谷，和明显的山脊。给定相机视点和3D形状，这些公式中的每一个都有助于灰度像素强度图，其被组合以产生最终图像I。它们的贡献取决于一组阈值参数。我们引入可微公式来学习阈值参数，而不是第一个被创造出来的曲线是遮挡轮廓[1]。该模型生成二进制掩码IC，在遮挡轮廓的投影处具有Oc-包括轮廓是无参数的，并且不需要任何学习;我们所有的渲染都用到了它们。另一个无参数的线集是网格边界，也被渲染为二进制掩码IB。5430IS（x，tS）S（x）max.tΣ1−S， 0Dκ（x）（一）（c）第（1）款(a)（b）第（1）款（e）（g）第二项过滤掉具有小Dκ的线。当tS=0时，显示所有提示轮廓，而当tS增加时，它们被消除。使用反函数而不是线性相关性，例如，max（Dκ（x）−tS，0），以产生更尖锐的锥形，遵循rtsc[34]中的实现。DeCarlo等人[5]也提出了根据径向幅度进行滤波，但我们没有发现有太大的不同。脊和谷（RV）是与视点无关的表面极值;[30]详细说明。与SC一样，我们引入了一个关于滤波函数可微的公式。我们引入了一个用于山脊的阈值（tR）和一个用于山谷的阈值（tV）.显示脊和谷的位置的每像素强度图被生成为R（x）和V（x），以及分别包含从每个像素可见的表面点的两个主曲率的图κ1（x）、κ2（x）然后将脊和谷过滤为：（d）其他事项（f）第（1）款（h）IR（x，tR（x）=R（x）max.ΣtR1 .一、0 −κ1（x），0. 0（二）图2：给定一个3D形状（a），我们显示（b）遮挡轮廓，（c，d）未过滤和过滤的暗示轮廓，IV（x，tV）V（x）max.ΣtV1 .一、0 −κ2（x），0. 0（三）（e，f）未过滤和过滤的脊和谷，（g，h）未过滤和过滤的表观脊。暗示轮廓（SC）[5]表示在附近视图中遮挡轮廓的表面点。 参见DeCarlo[5]详细解释和定义。设κ为径向曲率，Dκ为曲面点处径向曲率的方向导数，如[5]中所定义SCS该 公 式 的 解 释 与 SC 相 似 ， 并 产 生 与 rtsc 一 致 的RV[34]。图2e和2f显示了滤波前后RV的示例。视脊（AR）[22]是来自给定相机位置的对象脊，例如，[ 22 ]《明史》：“明史”者，谓之“明史”我们将A（x）定义为包含AR的映射，并通过视图相关曲率κt（x）进行过滤：是κ=0且Dκ>0的点。对于网格，这些IA（x，tA）=A（x）max.1 .一、0−Σ不是 、0. 0（四）通过插值计算曲线以找到零点集的κ。如图2c所示，渲染所有SC是不期望的。相反，在以前的工作中，这个tS参数是手动调整每个3D模型。为了自动确定这个阈值，我们引入了一个公式，这是关于tS可微。对于给定kt（x）图2g和2h显示了过滤前后的AR线绘制功能。给定这些函数中的每一个，我们定义以参数集t={tS，tR，tV，tA}为条件的组合几何线条绘制函数IG（为了清楚起见，我们省略像素idx阈值，该方法输出每像素强度图IS。.Σ我们建立了两个图像空间映射。首先，S（x）是二进制映射，在暗示轮廓的投影处为1，否则为0，其中x索引图像中的像素位置。其次，Dκ（x）将每个像素x与从该像素可见的表面点处的径向曲率的方向导数相关联。图3显示了输入3D形状的这两个图像空间映射。然5431后，对于每个像素x，SC图像被计算为：IG（t）= maxIS（tS），IR（tR），IV（tV），IA（tA），IC，IB（五）其中MAX函数独立地对每个像素进行操作。预处理。在预处理步骤中，我们从输入网格计算上述线所需使用[33]。我们将对象大小归一化，使得最长维度等于1，并且曲率量除以它们的第90百分位值。5432图3：我们的网络架构：通过对曲率特征进行操作的几何分支和对基于视图的表示进行操作的基于图像的分支来处理输入3D模型。它们的输出被组合起来创建一个线条画，然后由一个排名模块进行评估，以帮助确定最佳的线条画参数。3.2. 影像翻译店从形状创建线条画的另一种方法是使用神经网络，直接将形状表示转换为2D图像。为了简化映射，可以将基于视图的形状表示作为输入馈送到这样的网络（即，深度图像，阴影渲染），这也使我们能够重新利用现有的图像到图像翻译网络。我们的方法也采用了这种生成方法。具体来说，在pix2pixHD [37]之后，我们使用了一个图像转换网络模块，如图3所示。补充材料中提供了关于该结构的详细情况。作为网络的输入，我们使用基于视图的表示的组合。首先，我们使用来自给定相机的形状的深度图像E。然后，我们还计算表示朗伯反射率（漫反射阴影）[31]的着色渲染图像，该图像由表面法线与光线方向（光线位于相机处）的点积创建。我们使用这些阴影渲染，因为阴影特征是人们绘制线条的重要预测因素[3]。为了增加渲染伪影的鲁棒性，我们还使用具有不同平滑参数的扩散[20因此，我们创建了一个由阴影图像的六个平滑版本O={O1，O2，...，06}，它们与深度图像逐通道地级联 （ 图 3 ， 左 下 ） 。 所 有 图 像 的 分 辨 率 设 置 为768×768。我们发现，使用这些组合的多个输入产生更好的结果。我们还尝试了馈送渲染的曲率贴图，但是，正如我们在实验部分中讨论的那样，结果并没有改善。最后，由于网络输出每个像素的线概率，我们使用脊检测Cole等人的方法[3]使得输出图像IL包含更清晰的曲线。3.3. 神经排序模块如前所述，阈值参数t在确定几何线的存在和锥形化中起重要作用。阈值确定每条几何线将对最终图像贡献多少强度（如果有的话）。我们的方法在测试时确定阈值参数t，因为不同的3D模型可以通过不同的几何线组合来最好地渲染。我们采用了一个神经排名模块（NRM），对给定线条画的质量进行评分。然后，在测试时，通过NRM分数的优化来设置阈值t具体地，该模块是合并的线图I（t）=max（IG（t），IL）、来自给定视点E的形状的深度图像以及多尺度阴影图像O（图3）的函数该模块是一个神经网络f（I（t），E，O，φ）=p，其中p是输出分数，φ是学习的网络参数。在测试时，我们的目标是最大化这个函数（即，绘图质量）通过修改参数t：arg maxf（I（t），E，O）（6）不最大化是用L-BFGS使用解析gra-（f/I）·（I/t）完成的，从反向传播计算，因为我们的模块是可微的。我们还对参数t施加非负性约束，如由线的几何定义所指定的。为了避免局部极小化，我们尝试通过网格搜索对参数集t进行1不0.5×SSC000.20.40.60.81阈值D径向弯曲，径向弯曲 德里岛v.. -是的SC地图1κSMax线描不0.5×一AR000.20.40.60.81阈值几何线条Max输入3D模型&观点κ不一视图深度曲线 AR地图几何分支concat...卷积前端IL输出线图像平移分支残余块转置卷积后端全连接层第一级第六6OO1...深度和多尺度E阴影地图我IG评分p=0.95排序模块fFC5433函数6还用于选择是否渲染网格边界IB。这是一个简单的二进制校验，当边界包含在I（t）中时，如果函数值更高，则通过。 一旦排名网络确定了最佳参 数 topt ， 最终的 绘 图 输 出 为 I （ t ） =max （ IG（topt），IL）。我们注意到，NRM在测试时不调整图像翻译模块的贡献我们尝试在其输出IL上使用软阈值函数，但没有帮助。相反，在训练期间，图像转换模块用来自NRM的监督信号进行微调。我们还尝试使用前馈网络直接预测参数t，但我们发现，与t的测试时间优化相比，这种策略的性能要差得多;有关详细信息，请参阅补充材料。NRM架构。神经排序模块遵循ResNet-34架构。输入是768×768分辨率下的线条画I、深度E和阴影贴图O，为了处理此输入，我们在ResNet-34的原始四个残差块之后再添加一个残差块，以将特征图降采样2倍。新添加的残差块产生12×12×1024图。在均值池之后，我们得到一个1024维的特征向量。我们删除了ResNet-34的softmax层，并使用一个完全连接的层来输出“可扩展性”值。有关该体系结构的详细信息可在补充材料中找到。4. 数据集为了训练神经排名和图像翻译模块，我们需要一个线条画数据集。虽然有一些大规模的人体线条画数据集可在网上[21，35]，图纸不相关的参考3D形状，并包括相当大的失真。另一种情况是要求艺术家为我们提供描绘训练3D形状的线条画然而，收集大量的人体线条图用于训练是劳动密集型的并且耗时。Cole等人s数据集[3]是以这种方式聚集的，它本身太小，无法训练深度模型。相比之下，对于每个训练形状，我们使用RTSC[34]通过不同线条和阈值的几种组合生成多个合成线条图由于选择最佳绘图可能是主观的，因此我们收集了多个人类受试者的投票，并仅使用达成共识的训练绘图。下面我们描述我们的数据集，然后我们描述损失来训练我们的模块。形状数据集。创建数据集的第一步是选择训练3D形状，从中生成参考线条图。我们使用了三个集合：ShapeNet [2]，Models Resource [32]和Thingi10K [39]。这些下图4：我们的MTurk问卷的快照，用于收集培训线画比较。投票最多的答案以红色突出显示。形 状 集 合 包 含 各 种 各 样 的 人 造 和 有 机 物 体 。 在ShapeNet的情况下，我们从每个类别中随机抽取了最多200个形状的子集，以避免类别不平衡。所有型号都指定了定向接地层。我们删除了重复的形状，并避免对面数少于2K的低分辨率形状进行采样。我们还通过正确定向多边形（相对于外部视点的正面）和修复连通性（连接几何相邻但拓扑断开的多边形，焊接重合顶点）来处理网格。所有集合中的形状数量为23，477。生成候选线条图形。我们为每个3D模型选择两个随机相机位置，约束条件是它们从地平面升高30度，与垂直轴对齐，并且它们指向网格的质心（即，仅随机化每个摄像机位置的方位角）。 然后，对于两个摄像机位置中的每一个，我们使用暗示性轮廓、明显的脊、具有低于4个阈值的谷的脊的所有可能的组合（例如，提示轮廓有4个不同的阈值[0.001，0.01，0.1，off]），包括与和的组合无补片折痕和边界（4×4×4×2×2= 256个组合）。我们还使用Canny边缘和边缘保持过滤[8]在形状的渲染阴影图像上，每个具有4个不同的边缘检测阈值，导致8个以上的绘图。这个过程总共为每个形状和视点绘制了264张线条图。这些线绘制可以彼此相似，因此我们通过应用k-中值（k=8）并使用绘制的线之间的倒角距离作为度量来选择8个最不同的线绘制来恢复聚类。问 卷 调 查 然 后 ， 我 们 创 建 了 Amazon MTurkquestionnaires，在每个页面上，我们展示了8个3D形状的候选线条图，以及从不同视角呈现的图像[38]（图4）。每一页都要求人类参与者选择最能传达渲染形状的线条画，并且最有可能被其他人选择。我们还提供了不选择任何绘图的选项（即，如果没有一个可靠地描绘形状5434最好其他，j最好我们使用哨兵（不相关形状的图画）来过滤不可靠的参与者。我们共有3739名可靠的MTurk参与者参与了我们的研究（详见补充材料）。对于每个形状和视点，我们收集了来自3个不同参与者的投票。我们接受一个抽奖，如果它是由至少两个用户选择的培训。结果，我们收集了21609张训练线条图，这些图在每个形状和视角上都被评为保留随机子集（原始数据集的10%）用于保留验证。5. 培训我们训练过程的目标是从我们的训练数据集中学习神经排序模块的参数φ和图像平移分支的参数θ，以便可以为3D模型生成高质量的图纸NRM培训。为了训练神经排名模块f，我们使用基于上述众包com的排名损失6. 结果我们评估我们的方法和替代品定量和定性。为了执行我们的评估，我们比较合成的线条画与人类绘制的参考形状。下面，我们将描述我们的测试数据集，评估措施，以及与替代品的比较。测试数据集。Cole等人[3]进行了一项研究，其中艺术家制作线条画，旨在传达给定的3D形状。的数据集包含12个3D模型的170个精确的人体线条图，每个模型在不同的视角和光照条件分辨率为1024× 768像素。由于3D测试模型的数量很少，我们遵循与Cole等人相同的设置。到从3位艺术家那里收集了88幅人体线条画，在两个视角下（相同分辨率），获得了44个3D模型，包括打印效果图，扫描他们的线条画，并对齐它们。我们的新测试数据集包括13个3D动物模型，10个人体部位，11个家具，10个车辆和机械部件。所有3D模型（包括Cole等人的模型）的数据集）与训练集和验证集不相交。型坯给定一幅图Is，c被选为评价措施。我们使用精确度和召回率s和视点c，我们生成7个成对比较，为了比较合成图纸与人造图纸，com-该图纸和所有其他图纸Is，c的以Cole等人提出的方式计算。[3]的文件。 每一张图都是参加了问卷调查。我们使用铰链排序损失来训练模块[14，6]：首先通过细化和阈值化进行二值化。 精确度是-精细化为合成绘图中的绘制像素的分数，所述绘制像素接近相同形状的人类绘图的任何绘制像素，LR= Σs，c，jmax（m−f（Is，c，E，O，φ）相同的观点。召回率被定义为人类绘画中靠近合成绘画的任何线如果两个像素在坐标中的1 mm内，则它们是Is，c其他，j其中m是设置为1的裕度。0的情况。，E，O，φ），O）（7）绘制的物理页面的名称;该距离是基于Cole等人的“人类绘画之间一致性的测量”。的数据集。我们将准确率和召回率聚合为F1分数。图像翻译模块培训。基于根据参考形状和视点选择为“最佳”的线条图，我们使用交叉熵来训练图像翻译模块。 具体地，我们将强度值Ibest视为用于绘制的目标概率，并且测量预测输出IL和Ibest的交叉熵：ΣLce=−（Ibest（x）logIL（x）+（1−Ibest（x））log（1−IL（x）X然后，我们根据排名损失进一步端到端微调图像翻译模块以及NRM模块。我们还尝试添加pix2pix [18]和pix2pixHD [37]的基于GAN的损失，然而，它们的主要效果只是对现有线条的轻微锐化，而没有添加或删除任何新的线条。实施. 对于排名模块，我们使用Adam优化器[25]，学习率为2·10−5，批量大小为32。对于图像翻译模块，我们使用Adam，学习率设置为2·10−4，批量大小为2。Py-Torch实现和我们的数据集可以在以下位置获得：http://github.com/DifanLiu/NeuralContours我们还报告了Intersection over Union（IoU）来测量合成和人类绘画之间的重叠，基于相同的接近度定义。最后，我们报告了对称倒角距离，它测量合成和人类绘画线条之间的平均距离。由于人类和合成绘画都包括对齐的轮廓，因此所有测量都将因为它们而显得人工改进。为了避免这种偏差，我们从所有的人类和合成图纸和measure- sure性能的基础上，其余的线只移动剪影比较。我们比较我们的方法，神经轮廓（NC），与几种替代方案。(1)遮挡轮廓。(2-4)SC-rtsc、RV-rtsc、AR-rtsc使用带有默认阈值参数的rtsc[34];遮挡轮廓也包括在所有重建中。德林斯(5)all-rtsc使用默认参数与rtsc一起渲染SC、RV和AR[34]。我们注意到，我们还尝试使用穷举网格搜索来调整这些参数，以最小化训练集中的平均Chamfer距离，但这导致了更差的性能（参见补充材料）。(6)决策树：Cole et al.[3]，即决策树（来自Weka的M5P [13]）在渲染的曲率和梯度图上操作，在我们的数据集上训练。(7)从阴影形状渲染中提取的Canny边缘，如[3]所建议的。使用网格搜索选择边缘检测参数，以最小化训练数据集中的平均Chamfer距离。(8)pix2pixHD+f（54353D模型all-rtsc AR-rtsc RV-rtsc SC-rtscCanny Edges决策树pix2pixHD神经轮廓艺术家图5：与其他方法的比较。神经轮廓与潜在的形状特征更一致。方法IOUCDF1PR轮廓31.531.7034.883.022.0AR-rtsc53.412.5654.152.555.7RV-rtsc49.812.9652.344.563.5SC-rtsc40.513.9644.043.944.1全RTSC48.212.6352.540.475.1决策树46.912.1749.938.670.4精明的边缘51.912.5952.950.455.8pix2pixHD45.015.7348.769.637.5NCS57.910.7260.660.860.5方法IOUCDF1PR轮廓43.524.6349.690.234.3AR-rtsc59.910.6463.362.664.0RV-rtsc52.610.7655.347.067.3SC-rtsc46.612.2750.652.149.1全RTSC51.810.7456.543.879.6决策树49.711.1253.041.174.6精明的边缘58.011.1661.356.766.7pix2pixHD50.513.3554.275.142.4NCS65.28.7167.666.369.0表1：使用Cole等人的数据集。IoU，F1，P，R以百分比报告，CD是像素距离。图像翻译[37]，训练从输入的深度图像和形状的阴影渲染输出线条图（与我们的方法中的E，O使用GAN和特征匹配损失在与我们相同的数据集（“最佳”图纸）上进行训练原始架构通过三个局部增强器网络输出4096×2048的图像。在我们的 例子中，由于输入 和输出具有相同 的分辨率（1024× 768），我们只使用pix2pixHD的全局生成器。消融研究。我们还比较了训练我们方法的以下简化变体。NC几何使用我们的基于几何的分支和我们的神经排名模块。NC图像使用表2：与其他方法的比较，这些方法使用了Cole等人的最的数据集。方法IOUCDF1PR轮廓49.019.1154.992.239.1AR-rtsc66.89.1969.969.270.7RV-rtsc64.89.3666.262.870.1SC-rtsc65.09.8863.361.565.2全RTSC64.49.7068.658.682.7决策树62.18.9361.150.976.6精明的边缘65.68.5764.659.870.2pix2pixHD66.09.6268.276.961.2NCS72.47.2574.674.574.8表3：我们新测试数据集的比较。结果表1报告了Cole et图像翻译模块单独训练与相同的损失和多尺度阴影图像作为输入。NC-image-noms使用单独训练的图像转换模块，与我们的损失相同，并使用单个阴影和深度图像作为输入（没有多尺度阴影图像）。NC-curv是一个替代的图像转换模块，它使用在图像空间中渲染的曲率图，并与多尺度阴影图像和深度相连接al.“的数据集竞争的方法。 具体来说，将每个形状和视点的人体线条图与每个人体线条图进行比较，并对测量结果进行平均。由于有些艺术家比其他人画得更一致，我们也将表2作为另一种比较。该表报告了Cole等人的评估措施。的数据集时，合成图纸只与最“一致”的人类线条画进行比较5436表4：消融研究。每个形状和视点，定义为与该形状和视点的其余人类绘图具有最小倒角距离我们相信这种比较比使用所有绘图更可靠，因为以这种方式，我们忽略了任何表3还报告了我们新数据集的评估措施根据结果，神经轮廓在IoU，倒角距离和F1方面优于所有竞争方法，特别是当我们3D模型NC图像-noms NC图像NC几何神经轮廓艺术家图6：与减少的NC变体的比较。201 25 6 104神经轮廓AR-rtsc21458 8 56与最一致的人类绘画相比。表4报告了与我们的方法的简化变体的比较，用于我们的消融研究。我们的双分支架构提供了最佳的性能相比，单独使用的individual分支图5显示了与竞争产品的神经轮廓神经轮廓神经轮廓NC图像21958 8 51NC几何288 12 5 31pix2pixHD我喜欢左边两个都好没有一个是好的，更喜欢右方法，图6显示了与我们方法的简化变体的比较。我们还包括具有代表性的人类绘画。这两幅图都表明，我们的完整方法产生的线条传达的形状特征更类似于艺术家会做什么。图1还示出了与其他替代方案的比较我们的方法倾向于产生更准确的线条，这些线条与底层形状特征更一致，并且具有更少的伪影。这两个分支学习的是同一条线吗？为了验证这一假设，我们测量了仅从几何分支创建的线条图与从几何分支创建的线条图之间的IoU。图像平移分支。平均IOU为69。4%。这表明两个分支的输出有部分重叠，但它们仍然有很大的差异。如图6所示，几何分支明确使用3D中的表面信息，例如表面曲率，以识别重要的曲线，这些曲线在2D渲染投影中出现细微或消失。相比之下，图像分支识别依赖于基于视图的着色信息的曲线，该信息在3D几何中不容易获得（参见补充材料以了解其他示例）。在我们的方法中，哪些几何线使用得更多？我们的基于几何的风格化分支选择的SC，RV，AR的平均百分比为32。2%，16. 5%，51。3%，分别为。似乎AR的使用更占主导地位，而RV是最不频繁的线路。用户研究。我们还进行了Amazon MTurk研究作为额外的感知评估。每个问卷页面都向参与者展示了一个形状的阴影效果图，以及一个随机的有序的合成图对：一个是用我们的方法合成的，另一个是用另一种方法合成的。我们问参与者哪幅图最能传达所示的3D模型。Partic-ipants可以选择任何一个绘图，指定图7：用户研究投票结果。戒指同样很好地传达了形状。我们以随机顺序问了两次问题，以验证参与者的可靠性。我们有187名可靠的参与者（详见补充材料）。图7总结了上述选项的投票数。与本研究中发现的最佳替代方案（AR）相比，我们的方法获得了两倍的票数。7. 结论提出了一种基于可微几何模块和图像平移网络相结合的三维模型直线学习方法。令人惊讶的是，自从Coleet al.[3]，在改进3D模型的线条图方面进展甚微。实验结果表明，该方法比现有的几何和神经图像平移方法有显著的改进。仍有进一步改进的途径。网格伪影（例如，高度不规则的镶嵌）影响曲率估计和着色，进而影响两个分支的输出学习修复这些人工制品以增加健壮性将是富有成效的。实时预测绘图参数是一个开放性问题。用学习过的压力、纹理或粗细来渲染线条，最后，我们的方法不处理点云，这将需要网格重建步骤或学习直接从非结构化点集提取线。鸣谢。这项研究由NSF（CHS-1617333）和Adobe提供部分资助。我们的实验是在麻省大学的GPU集群下进行的，由马萨诸塞州技术合作组织管理。我们感谢Keenan Crane提供的食人魔，蛇板和Nefertiti 3D模型。方法IOUCDF1PRNC几何60.310.3464.576.955.6NC图像60.09.9762.965.061.0NC图像名称58.410.8560.759.162.3NC图像曲线56.110.7260.061.059.0NCS62.89.5465.465.565.45437引用[1] 皮埃尔· 贝纳德和亚伦·赫茨曼。从3D模型绘制机翼：教程。计算机图形和视觉的基础和趋势，11（1-2），2019。一、二[2] Angel X Chang等. Shapenet：一个信息丰富的3D模型存储库。arXiv：1512.03012，2015。5[3] ForresterCole、AlekseyGolovinskiy、AlexLimpaecher、HeatherStoddartBarros、AdamFinkelstein、ThomasFunkhouser和SzymonRusinkiewicz。人们在哪里画线？ACM事务处理图表，27（3），2008. 二四五六八[4] 道格·德卡洛使用线条描绘三维形状 在procSPIE人类视觉和电子成像XVII，2012年。2[5] Doug DeCarlo、Adam Finkelstein、Szymon Rusinkiewicz和Anthony Santella。暗示轮廓传达形状。ACM事务处理图表，22（3），2003. 二、三[6] Mostafa Dehghani，Hamed Zamani，Aliaksei Severyn，Jaap Kamps，and W.布鲁斯·克罗夫特。具有弱监督的神经排序模型。InProc. SIGIR，2017. 6[7] JakubFi sˇ e r 、 On dˇ rejJamr isˇ ka 、 MichalLuk a´cˇ 、EliShecht-man 、 PaulAsente 、 JingwananLu 和DanielSy´kora。StyLit：照明引导的基于示例的3D渲染风格化。ACM事务处理图表，35（4），2016. 2[8] Eduardo SL Gastal和Manuel M Oliveira。用于边缘感知图像和视频处理的域变换。ACM事务处理图表，30（4），2011. 5[9] Leon A Gatys，Alexander S Ecker，and Matthias Bethge.使用卷积神经网络的图像风格转换。在Proc. CVPR，2016中。2[10] E. H. 贡布里希艺术与幻觉：图像表征心理学研究。普林斯顿大学Press，1961. 2[11] 尼尔森·古德曼。艺术的语言：符号理论的一种方法。Bobbs-Merrill公司，1968年。2[12] Yulia Gryaditskaya ， Mark Sypesteyn ， Jan WillemHoftijzer，SylviaPont，Fre'doDurand和AdrienBousseau。Opens-ketch：一个注释丰富的产品设计草图数据集ACM事务处理图表，38（6），2019. 2[13] Mark Hall ， Eibe Frank ， Geoffrey Holmes ， BernhardPfahringer，Peter Schweitmann，and Ian H.威腾Weka数据挖掘软件：更新。SIGKDD浏览器新闻，11（1），2009. 6[14] R. Herbrich，T. Graepel和K.奥伯迈耶支持向量机学习有序回归。1999年，《互联网名称与数字地址分配机构程序》。6[15] 亚伦·赫茨曼为什么画线是有效的？现实主义假说感知，2020年。2[16] 放大图片作者：Charles E. Jacobs，Nuria Oliver，BrianCurless，and David H.销售形象类比。在procSIGGRAPH，2001年。2[17] Naoto Inoue，Daichi Ito，Ning Xu，Jimei Yang，BrianPrice，and Toshihiko Yamasaki.学习追踪：从照片中生成富有表现力的线条画。计算机图形论坛，38（7），2019年。2[18] Phillip Isola，Jun-Yan Zhu，Tinghui Zhou，and Alexei AEfros.使用条件对抗网络的图像到图像翻译。在Proc.CVPR，2017中。6[19] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。在Proc. ECCV，2016中。25438[20] 阿里斯河琼斯，杜兰德神父和马修·德斯布伦。非迭代，特征保持网格平滑。ACM Trans.Graph. ，22（3），2003. 4[21] J. Jongejan，H.罗利T.川岛J.金姆，和N.福克斯-吉格快速绘制数据集。https：//quickdraw.withgoogle.com/，2016. 5[22] 蒂尔克·贾德，杜兰德神父和埃德·沃德·阿德尔森。用于线条绘制的明显脊线。ACM事务处理图表，2007年。一、二、三[23] Evangelos Kalogerakis，Derek Nowrouzezzahrai，SimonBreslav，and Aaron Hertzmann.学习表面的钢笔和墨水插图的阴影。ACM事务处理图表，31（1），2012. 2[24] John M.肯尼迪图像感知心理学：图像和信息。Jossey-Bass出版社，1974年。2[25] Diederik P. Kingma和Jimmy Ba。Adam：随机最佳化的方法。InProc. ICLR，2015. 6[26] Jan J Koenderink和Andrea J van Doorn。平滑对象的形状和轮廓结束的方式。Perception，11（2），1982.2[27] Yunjin Lee，Lee Markosian，Seungyong Lee，and JohnF.休斯通过抽象阴影绘制线条。ACM Trans.Graph. ，26（3），2007. 2[28] Yijun Li ， Chen Fang ， Aaron Hertzmann ， EliShechtman，and Ming-Hsuan Yang.Im2pencil：可控铅笔插图从照片。在Proc. CVPR，2019中。2[29] Eric B Lum和Kwan-Liu Ma。通过示例选择有表现力的线条计算机视觉，21（8-10），2005年。2[30] YutakaOhtake ， AlexanderBelyaev 和 Hans-PeterSeidel。通过隐式曲面拟合在网格上生成脊谷线ACM事务处理图表，23（3），2004. 3[31] 裴祥峰计算机生成图片的照明。Commun. ACM，18（6），1975年。4[32] VG 资 源 。 模 型 资 源 ， https://www.models-resource.com/，2019。5[33] 西蒙·鲁辛凯维奇三角形网格上曲率及其导数的估计。在Proc.3DPVT，2004中。3[34] 西 蒙 · 鲁 辛 凯 维 奇 和 道 格 · 德 卡 洛 rtsc 库 。 http ：//www.cs.princeton.edu/gfx/proj/sugcon/，2007年。三五六[35] Patsorn Sangkloy，Nathan Burnell，Cusuh Ham和JamesHays。sketchy数据库：学习如何找回画得不好的兔子。ACM事务处