没有合适的资源?快使用搜索试试~ 我知道了~
6143HVH:学习用于动态毛发性能捕获Ziyan Wang1,3Giljoo Nam3Tuur Stuyck3StephenLombardi3MichaelZollho?fe3JessicaHodgins1,2ChristophLassner31卡内基梅隆大学2Meta AI3现实实验室研究摘要捕捉和渲染逼真的头发是特别具有挑战性的,由于其精细的几何结构,复杂的然而,头发是可信化身的关键组成部分。在本文中,我们解决了上述问题:1)我们使用一种新的,体积的头发表示,是由数千个图元。每一个原始的可以有效地渲染,但现实的,通过建立在神经渲染的最新进展2)为了获得可靠的控制信号,本文提出了一种在发束水平上跟踪头发的新方法。为了使计算工作易于管理,我们使用引导头发和经典技术将其扩展为浓密的头发。3)为了更好地增强模型的时间一致性和泛化能力,我们进一步优化了多视图光流表示的3D场景流,使用体积光线推进。我们的方法不仅可以创建记录的多视图序列的逼真渲染,但也创建渲染新的头发配置通过提供新的控制信号。我们比较了我们的方法与现有的工作,视点合成和可驱 动 的 动 画 , 并 取 得 了 国 家 的 最 先 进 的 结 果 。https://ziyanw1.github.io/hvh/1. 介绍虽然人类化身的真实感已经取得了显着的进展,但头发仍然是人体中最难捕捉和渲染的部分之一:通常有超过10万个组件,它们之间有复杂的物理相互作用,并且与光有复杂的相互作用,这非常难以建模。然而,它是我们外表和身份的重要组成部分:发型可以传达从宗教信仰到情绪或活动的一切信息。因此,头发对于使虚拟化身可信和普遍可用至关重要。以前的工作基于网格表示[3,20,25,52,57,58,68]已经显示出对面部和皮肤建模的有希望的结果然而,当建模头发时,它们会受到影响,因为网格不适合表示头发几何形状。最近的体积表示[26,35]具有高DoF,允许对变化的几何结构进行建模它们在基于多视点光度信息的三维场景获取和绘制方面取得了令人瞩目的成果与其他几何表示(如多平面图像[2,5,34,56,76]或基于点的表示)相比,在图10的示例性实施例[1,19,33,49,65]中,体积表示支持用于视图外推的更大范围的相机运动,并且在渲染动态几何时不会遭受孔,如基于点的表示。此外,它们可以从多视图RGB数据学习使用可微体积射线行进,而无需额外的MVS方法。然而,体积表示的一个主要缺陷是它们的立方存储器复杂性。这个问题对于需要高分辨率的头发尤其重要NeRF [35]通过对体积辐射场进行参数化来规避O(n3)内存复杂度问题使用MLP。给定隐式形式,基于MLP的隐式函数不受空间分辨率的限制。该方法采用了一种具有粗、细两级辐射函数的分层结构,并利用基于粗级辐射场的重要性估计虽然已经显示了有希望的实验结果,但是它们伴随着高渲染时间的提前,并且质量仍然受到粗水平采样分辨率的限制。NeRF的另一个局限性是它们最初是为静态场景设计的。有一些近期的工作[21,22,41,42,46,59,63,67,74],扩展了原来的NeRF概念建模动态场景。然而,它们仍然局限于相对较小的运动,不支持可驱动的动画或渲染效率不高。我们提出一种混合表示:通过使用许多体积基元,我们将模型的分辨率集中到3D空间的相关区域上。 中的每体积,我们构建了一个神经表示,它非常详细地捕捉了头发的局部外观,类似于[24,27,47,63]。 但是,如果没有明确建模,6144毛发的动力学和结构,模型很难仅仅通过多视图外观的间接监督来考虑到模型以无监督的方式学习定位基元,由于在训练期间没有结合任何时间一致性,模型也容易过拟合。我们解决了动态上头部和头发的时空建模的问题,明确建模的头发动力学在粗糙的水平,并通过实施时间consideration的模型,由多视图光流在精细的水平。在程序上,我们首先通过将多视图光流提升到3D场景流来在粗略的水平为了约束头发几何形状并减少多视图光流中噪声的影响,我们还确保跟踪的发丝保持几何属性,如形状、长度和曲率。作为第二步,我们将体积附加到头发束来建模动态场景,该动态场景可以使用可微体积光线行进来优化。使用解码器对附着到发束的体积进行回归,所述解码器将每发束特征和全局潜在代码作为输入并且知道毛发特定结构。此外,我们还通过将我们模型的3D场景流渲染为2D并将其与相应的地面真实光流进行比较来进一步加强精细的3D流一致性这一步对于使模型更好地泛化到不可见的运动是必不可少的。概括起来,这项工作的贡献是• 一种混合神经体积表示,它绑定体积以引导头发束进行头发性能捕获。• 一种头发跟踪算法,利用多视图光流和逐帧头发束重建,同时保留特定的几何属性,如头发束长度和曲率。• 提出了一种基于三维场景流的体光线行进算法,该算法通过多视点二维光流优化每个体元的位置和方向。• 一个头发特定的体积解码器,用于头发体积回归和头发结构的意识。2. 相关工作在这一节中,我们将讨论最密切相关的经典头发动态和形状建模方法。然后,我们讨论了基于学习的方法,使用体积或非体积场景表示的时空建模。基于图像的头发几何形状获取具有挑战性,因为头发几何形状复杂,数量庞大,严重的自遮挡和碰撞以及视图依赖性外观。Paris等人[38,39]和Wei等人 [64]使用多视图图像从2D/3D定向场重建3D毛发几何形状。Luo等人 [29,31]通过使用结构感知聚合和基于链的细化来细化来自传统MVS的点云,进一步改进了3D重建。Luo et al.[30] and Huet al. [12]逐步将头发特定结构(如丝带和束状)拟合到点云。最近,Nam et al. [36]用基于线的结构代替传统MVS中的平面假设,以重建3D线云。 Sun等人。[55]使用OLAT图像更有效地再现基于线的MVS,并为头发开发了一个反向渲染管道,该管道考虑了头发特定的反射率。然而,这些方法中没有一个明确地为时间序列捕获建模时间一致性。动态头发捕捉。与大量关于毛发几何结构获取的工作相比,关于毛发动力学[11,69,71,75]获取的工作要少得多。Zhang等人 [75]使用毛发模拟来对每帧毛发重建结果实施更好的时间一致性。Hu等人 [11]通过在不同的模拟参数下运行并行过程Xu等人 [69]通过将发丝的每帧重建与视频体积的水平切片上的发丝运动路径对齐来Yang等人 [71]开发了一种深度学习框架,用于使用2D头发分割和数字3D头发数据集的间接监督进行头发跟踪。然而这些方法主要集中在几何建模上,并且不具有光度精确性或不支持可驱动的建模。非体积表示在时空建模的文献中被广泛研究,基于网格的表示[3,20,25,57,58,68]非常适合建模表面,并且渲染效率很高。但是,它们在建模复杂几何体(如头发)时存在局限性多平面图像[2,5,34,56,76]擅长建模类似于体积表示的连续形状,但限于受限的视角集。点云表示[1,19,33,49,65]可以以高保真度建模各种几何形状。然而,当用于外观建模时,基于点的表示可能会因其固有的稀疏性而受到影响,这可能会导致漏洞。因此,图像级渲染技术[48]通常伴随着这样的表示以获得完整性。体积表示非常灵活,因此可以对许多不同的对象进行建模。它们被设计用于几何完整性,因为它们具有密集的网格状结构。许多以前的作品已经证明了这种表示在几何建模[8,9,15,60、61、66、77]。 最近的一些作品[26,44,53]也有6145显示了它们在建模外观方面的有效性。Deep- Voxels[53]学习3D网格的特征作为场景表示。神经体积[26]通过体积光线行进学习离散颜色和密度值的网格。Neu-ral body [44]将SMPL [28]与Neural神经元[26]结合用于身体建模。然而,这些体表示的渲染质量、效率和内存占用仍然受到体素分辨率的限制。为了克服体积方法的这一主要缺点,MVP [27]提出了一种高效和高保真渲染的混合表示。它将一组局部体积基元连接到跟踪的头部网格,并采用定制的体积光线行进算法,该算法是为通过BVH快速渲染而开发的[16]。跟踪网格为联合学习的基元的位置和旋转提供了良好的初始化尽管如此,由于能量公式中的许多局部最小值,纯粹基于光度重建损失找到全局最优位置和旋转是非常具有挑战性的基于坐标的表示由于其低内存占用和将模型容量动态分配给3D空间的正确区域的能力而成为最近3D学习文献的主要焦点。许多作品已经证明了他们的能力,重建高保真几何[6,10,14,32,40,43,50,51]或gener-吃真实感渲染结果[24,35,37,54,72,73]。NeRF[35]使用可区分的光线行进器从多视图光度监督中一些作品[23,24,47,73]已经提高了NeRF在静态场景上的渲染效率。在所有这些方法中,与我们最相关的是时空建模技术[21,22,41,42,46,59,63,67]。非rigid NeRF [59]、D-NeRF [46]和Nerfies [41]引入了具有规范辐射场和每帧翘曲的动态建模框架。一些作品[21,22,62,63,67,74]通过附加地调节辐射场对时间变化的潜在代码或附加的时间索引来对3D视频进行建模。 Xian等人 [67]进一步利用深度作为额外的监督来源。STaR [74]对由背景和一个动态刚性对象组成的场景进行建模。NSFF [22]还结合了静态和动态NeRF管道,并使用光流来约束从相邻时间帧的NeRF模型导出Wang等人。 [63]引入了一个局部动画代码网格,以实现更好的泛化和提高渲染效率。然而,这些方法仍然受到采样分辨率或模拟复杂运动的能力的限制,并且不能很好地推广到看不见的运动。3. 方法在本节中,我们将介绍用于毛发性能捕获的混合神经体积表示。我们该表示结合了引导头发束的可驱动性和体积基元的完整性。此外,引导头发束作为一个有效的粗层次几何体的体积图元附加,避免不必要的计算费用的空白空间。由于指导发丝跟踪以及密集的3D场景流细化,我们的模型在时间上一致,在看不见的运动更好的泛化。如图所1、整个流水线包含两个主要步骤,我们将分别进行说明。在第一步中,我们执行股级跟踪,其利用多视图光流信息并将关于跟踪的发束的子集的信息为了节省计算时间,我们只跟踪引导头发,而不是跟踪所有头发束。这是头发动画和模拟中广泛使用的技术[7,13,45],它导致运行时性能的显著提升。但是,由于导向头发的稀疏性,跟踪导向头发不足以对头发运动和外观进行建模,也不足以对所有头发设置动画。为了避免这一点,我们将其与体积表示相结合,将体积图元附加到引导头发上的节点。这种混合表示以显式方式对头发进行了良好的定位,并完全覆盖了所有头发,从而利用了两种表示的优点。另一个优点是体积的引入允许通过经由可微分体积射线行进的多视图密集光计量信息来优化毛发形状和外观。在第二步中,我们使用附加的体积图元来对引导发丝周围的头发进行建模,以实现密集的头发外观、形状和运动采集。毛发特定体积解码器被设计用于回归这些体积,调节全局潜在向量和具有毛发结构意识的发束特征向量。此外,我们开发了一种三维场景流的体积光线行进算法,便于从多视图二维光流中学习。我们在实验中表明,引入额外的光流监督产生更好的时间一致性和一般化的模型。3.1. 引导头发跟踪我们框架的指导头发跟踪过程作为一个优化问题。给定当前帧t处的引导头发束和多视图光流,我们将不同相机姿势下的光流解投影并融合到3D流中,并使用其来推断引导头发在下一帧t+1处的下一个可能位置。第一帧的引导头发初始化由艺术家准备。数据设置和符号。在我们的设置中,我们使用多视图视频数据执行头发跟踪。我们使用了一个多摄像机系统,大约有100个同步彩色摄像机,产生2048×1334分辨率的图像,频率为30 Hz。6146n·nnnnωnt+1 2nnLn,h年代我n2普什特年代我=St,向量和dir(St+1)=St+1-St+1是一阶ω n,i||Sn−Zi(Sn )i(ps,i+ δp)||二、·年代我年代我帧N帧t+1帧t帧0图1. 渠道. 我们的方法包括两个阶段:在第一阶段中,我们使用多视图光流以及逐帧毛发重建来执行引导毛发跟踪。在第二阶段中,我们通过附加体积神经渲染基元并使用多视图RGB和光流数据对其进行优化来进一步放大稀疏的引导发丝。摄像机聚焦在捕获系统的中心,并以一米的距离球形分布,以提供尽可能多的视点摄像机内部和外部在离线过程中进行校准。我们使用[18]的OpenCV [4]实现在每个相机的相邻帧之间生成多视图光流。我们通过运行[36]获得每帧头发几何形状。我们参数化引导头发作为连接的点云。给定在时间帧t处的特定发束St,我们将发束St上的第n个节点的欧几里得坐标表示为St。其中,我们将Zi()表示为表示相机i下的某个点的深度的函数,并且ωi用作视图选择的加权因子,其中较小的值意味着第i个相机姿态下的投影深度和真实深度的较大失配我们使用σ= 0。01.与光流上的数据项物镜并行,我们添加了另一个数据项目标,以促进几何形状保留跟踪,该目标比较了跟踪的引导头发束之间的倒角距离和[36]中的这次损失是为了确保同样,我们有St在时间框架引导头发几何体点云也不会偏离t+1为St+1。 然后介绍了多摄像机相关信息的表示法.We表示为将3D点投影到2D图像坐标中的相机i的相机变换矩阵。我们表示I,i和与真实的头发几何形状相差甚远 与传统的倒角损失不同,我们还将St的方向与其最接近的k = 10个邻居的方向之间的余弦距离惩罚为H(St+1)<${Ht+1};损失定义为:n nId,i作为光流的2D矩阵和相机的深度i,分别为。We denote Ht as the reconstructed point cloudLhdir=n,hn(1−|cos(dir(St+1),dir(h))|)的情况下,从[36,55]的方向。 除非另有说明,所有粗体小写符号表示矢量。n,h∈H(St+1)L=ωrn||、||,跟踪目标。 给定摄像机i,我们可以投影出3D点转换为2D以检索其2D图像索引。相机投影定义为hpos电话+1n,h∈H(S)n,hn2其中ωd=exp(−σ||St+1−h||(2)是一个空间权重-ΣptΣ年代我1ing,cos(·,·)是两个我 nnn+1个n电话+1R其中p是pt的齐次坐标. 给定在Sn处的毛发方向的近似。ωn,h为cos(dir(St+1),dir(h))是加权因子,其旨在描述St+1和S t+1之间的方向相似性。摄像机投影公式,我们制定第一个基于光流的数据项目标如下:nH. 利用hdir,我们可以将引导毛发St+1梳理成与其最近的k=10个邻居具有相似的方向,H(St+1),导致更一致的指导头发方向。最大值+1n我电话+1n−1t2ω n,i= exp(− σ ||Zi(St)− Id,i(pt)||2)、结构化的发型nδp=Iof,i(pt),年代我2然而,仅在数据项丢失的情况下,跟踪的引导毛发可能过拟合数据项中的噪声防止HVH帧t头部网格头体积多视图RGB$关于磁头解码器体积射线步进编码器头发解码器辐射场多视图光流导向头发每股毛发体积{S}特色{)}2016年10体积射线步进$$框架t+dd∈ {−ε,ε}HVH头发倒角损失长度曲率损失多视图光流发束{St}n发束{S%}发束{S}毛发重建{H#}......L=L=离子分布或者,hpos保证跟踪的引导毛发不会偏离重建太多6147AAI I−--t t+1t +1t +12nnNN ∈ Rnnn∈∈∈∈V {}nnn--× ××唐n+1个nn+1个nn网格顶点Vm以定义驱动信号。对称地,我们学习另一个解码器,与en-chain并行n+1个nn+1个nnnMnnn nn+2。nnn为此,我们进一步介绍了几个模型项目标的头发形状正则化。Llen=(||dir(St+1)||2−||dir(S0)||2)2,n我们将渲染图像合成为:p)I p,bg其中p=T(t max)且I p,bg是背景图像。编码器。 编码器使用特定n n时间点,并输出全局潜在码z∈R256。我们使用跟踪的引导头发{St}和跟踪的头部L=<$((St+1−St+1−St +St)·dir(St))2+t((St−S−S+S)·dir(S)),L=(cur(St+1)-cur(S0)),nn编码器以自动编码的方式,回归跟踪的引导头发{St}和头部网格顶点{vt},n其中,cur(St)是点St处的曲率的数值近似,并且被定义为:. 24(||dir(St)||2个以上||dir(St)||2−||ST − ST||(二)全局潜在代码z。 编码器的架构是回归正态分布(µ,σ),µ,σ的参数的MLP256我们使用[17]中的重新参数化技巧,以可重构的方式从(μ,σ)中采样z头发体积解码器。 除了那些书-附加到跟踪网格{vt},我们定义额外的头发||ST − ST||3体积M头发t。n n+2 2Vn与导向头发节点Sn我们一起优化所有损失项以求解ve{St+1}位置tn=δtn+δtn,方位Rn=δRn·R<$ n给定{St},其中:Lhair= Lof+ωhdir Lhdir+ωhpos Lhpos并确定了各发卷的尺度Sn=δSn+δSn通过基毛变换(δtn,δRn,δSn)和回归毛相对变换(δtn,δRn,δSn),每个毛发节点的基平移tn直接是其位置St。的+ωL+ ωL+ ω L。基础旋转Rn是从头发的切线方向推导出来的,透镜透镜唐唐curcur和头发的相对位置。我们将τn表示为通过利用跨时间轴的动量信息,我们可 以提供St+1giv en其轨迹的更好的初始化,并将St+1初始化为位置St和νn′处的毛发切线方向 作为指向跟踪的头部中心的方向,St. 则基旋转为R n=[τT;ρT;νT],其中nnρn=τ n×νn′,νn=ρn×τ n。n n nSt +1 = 3St−3St−1+St−2。头发的几何形状不能简单地用n3.2. HVHn n n面因此,我们设计了一个2D CNN,它分别沿着头发生长方向和粗略的头发空间位置进行卷积。具体地,在2D模型的每一层中,背景与MVP类似,我们定义了体积平均值-使n=tn,Rn,sn,Vn分别对局部3D空间的体积进行建模,其中RnSO(3),tnR3描述了体积到世界的转换,snR3 是每轴的比例因子,Vn=[Vc ,Vα]R4×M×M×M是一个存储三通道颜色和不透明度信息的体积网格。 这些体积被放置在UV贴图上,这些UV贴图从头部跟踪网格展开,并从2D CNN回归。 使用优化的BVH实现,我们可以有效地确定射线如何与每个卷 相 交 并 找 到 命 中 框 。 对 于 每 条 射 线 rp ( t )=op+tdp,我们将(t min,t max)表示为射线积分的起点和终点。然后,这些体积基元的可微分聚合被定义为:CNN,我们把一个k k滤波器分成两个k1和1k滤波器,并分别沿两个正交方向应用卷积,类似于[70]。为了学会更一致的发型形状和外观模型中,我们优化了除了随时间变化的全局潜在代码Z之外在所有时间帧上共享的每束毛发特征Ft。对于发束St上的每个节点S t,我们分配一个唯一的特征向量ft。共享的每束头发特征和时间变化的潜码z被融合以用作头发体积解码器的输入,这在图1B中示出二、3D场景流的可微分体光线推进。 利用多视点光度信息学习体场景表示方法是实现高逼真度绘制和新视点合成的有效途径。然而,考虑到有限的Ip=tmaxtminVc(t) dT(t)dt,DT监督和结果的时间一致性差尤其是看不见的序列为了更好地加强节奏的一致性,我们开发了一种可微分的体积射线(1) A(不tminVα(rp(t))dt,1)。∫∫ncur61483D场景流的行进算法,其使得能够通过多视图2D光流进行训练。6149LLA一联系我们不2n- -XyZxyz−I=xyzαΣL=||I −I||-是的普山Lp,流量4n×n,gt2Mm,gt2在坐标系u处的体积网格上,我不 不i=1,···,Npj∈{x,y,z}幼崽我 我 我我 我 我p,或p,流量∫2其中,1, 重要的是要注意,我们使用p来掩盖背景部分,并且我们不将误差从流反向传播到p,以消除光流中的背景噪声 为了更好地强制头发和头部基元随跟踪的头部网格移动并引导发丝,geo被设计为测量网格/发丝顶点与它们的对应顶点之间的差异。响应回归值。Lgeo=100||ST− ST ||2+Σ||vt− v||、图2. 头发解码器的架构。 头发解码器nM采用全局潜在代码z和每束头发特征不其中St和vt是第n个节点的坐标,{fn}作为输入。 首先将z去卷积为2D特征张量。n m然后将其填充并与ft连接。在下面的操作中,分别沿着毛发生长方向和毛发空间位置应用2D卷积层。给定的变换的每个原始作为在帧t处跟踪引导头发和跟踪头部网格,Xgt表示对应的地面真值。我们还添加了几个正则化项来通知体积图元的布局:(tn,Rn,sn),我们表示每个节点xyz+t n RVTPLLvol=1000Ysj,其中Vtpl是3D网格网格范围的坐标之间[ 1,1]。 假设3D场景从帧u到u+δ可以由每个体积基元表示L=Σ||max(s,s,s)−min(s,s,s)||、i=1,···,Np作为{δVu,u+δ=Vu+δ−Vu},并渲染为2D流其中N代表体积基元的总数如:xyzxyzxyzptives和sx、sy、sz是每个体积的三个条目我我我u,u+δp,流量tmaxtmin(δVu,u+τ(rp(t)MaxdT( t)dt,DTprimit iv e的 标 度s j。两个正则化项旨在防止每个图元生长得过大,同时保持纵横比,以便它们保持近似立方体。最后一项是Kullback-Leibler发散损失LT(t)= min(Vu(rp(t))dt,1)。这使得学习到的潜在代码z的分布平滑tmin培训目标。我们以端到端的方式训练模型,损失如下:L= Lpho+λflow Lflow+λgeo Lgeo+ λvolLvol + λcubLcub + λKLLKL。第一项Lpho是光度损失,其比较所有采样像素p∈ P上的渲染图像I_p和地面实况图像I_p之间的差异,˜22p∈P第二项流旨在通过最小化投影的2D流和地面实况光学流u,u+u,L流量=Δp||Iu,u+−Iu,u+||二、p∈P并且强制相似性为正态分布N(0,1)。4. 实验4.1. 数据集对于使用我们的多摄像头系统录制的每个视频,我们通过执行的动作(如点头和摇头)将它们分开,并保留每个动作的最后1个这导致大约300帧用于训练序列,100帧用于测试序列。此外,在训练序列中,我们提供了7个摄像头,分布在头部的后部和侧面。所捕获的图像被下采样到1024 667分辨率用于训练和测试。我们专门在每个序列的训练部分上训练我们的模型,其中m=93个训练视图。4.2. 一种新的视图合成方法我们展示了与其他方法[22,27,59]在新视图合成任务上的定性和定量比较。在Tab的左边1,我们显示均方预测图像特征维数头发解码器头发空间位置每股头发特征头发生长方向{laugh}n全局潜码concat2DCNN毛发体积#$rn填充2D CNN∫、6150LLLLLL LLL LLSeq01 Seq02 Seq03Seq01 Seq02 Seq03MSESSIMPSNRMSESSIMPSNRMSESSIMPSNRPFNeRF51.250.926931.16103.410.865928.1576.590.900029.50NSFF50.130.934631.2190.060.888528.7583.180.893629.1NRNeRF56.780.923130.78132.160.854927.1379.830.898729.33MVP47.540.947631.677.230.908829.6273.780.922429.66我们41.890.954332.1759.840.927530.6971.580.931429.81表1.新颖的视图合成。在左侧,我们将我们的方法与NeRF词干方法(如NSFF [22],NRNeRF [59]和每帧NeRF(PFNeRF)基线)以及体积方法(如MVP [27])进行了比较。在右边,我们进一步比较了我们的方法和我们的方法的不同变体与MVP在可见(顶部)和不可见(底部)序列的新视图上。[27]第22话:我的世界,我的世界,我的世界Ours w/o flow Ours Ground Truth图3. 不同方法在新视图合成中的比较。请参阅补充资料,了解该数字的更大版本。以及来自训练序列的新颖视图的地面实况图像。定性结果见图。3.第三章。我们的方法具有较小的图像预测误差,并且能够生成更清晰的结果,特别是在头发区域。4.3. 消融研究时间一致性。为了测试节奏一致性和跟踪的指导头发的影响,我们还进行了一个新的视图合成任务的测试部分,我们的captured序列。请注意,我们的模型没有使用测试序列数据的任何部分进行训练。在Tab的右边。1,我们报告了MSE,SSIM,PSNR的新观点的可见和不可见的序列。正如我们所看到的,跟踪粗略级别的引导头发束,而不使用流监督,可以为我们提供更好的渲染质量。有了流量监控,结果得到进一步改善。这种改进是因为跟踪信息帮助体积分析器以更高的一致性更好地定位毛发区域。虽然所见运动的改善相对较小,但我们的模型和MVP都有显着改善,图4. 时间一致性的消融。我们比较我们的方法和MVP W/和W/O流监督。利用流监督技术,对不可见序列具有更好的时间一致性和泛化能力.请参阅补充资料,以了解这一数字的更大版本。当添加流动监督时,具有新颖的毛发运动的看不见的序列。在看不见的序列上的渲染结果如图所示。4.第一章图5,我们可视化了我们的模型的头发的体积比,有和没有流动监督。包括流动监督产生显着更好的解开头发和肩膀之间。头发追踪分析。 我们首先研究不同目标的影响镜头+唐和头发追踪 如图6所示,当两个cur和镜头+使用柄脚跟踪结果更加平滑并且没有扭结。我们观察到,当使用losslen+tang作为唯一的正则化项时,每个发束片段的长度已经被保留,但是可能在没有意识到正确的发束曲率的情况下导致一些扭结。当发束长度不正确时,cur本身没有帮助并且夸大了误差,但是当与len+tang组合时产生平滑的结果。这是因为曲率计算与头发的绝对长度无关,仅控制相对长度比。我们在图中显示了不同初始化对头发跟踪的影响。7.第一次会议。当没有来自MSESSIMPSNRMSESSIMPSNRMSESSIMPSNRMVP47.540.947631.677.230.908829.6273.780.922429.66MVP w/L流量我们的无L流量我们46.4943.8241.890.94730.95080.954331.6931.9932.1771.0765.9859.840.91070.91860.927529.9330.2730.6975.1369.9771.580.92400.93590.931429.5829.9329.81MVP75.680.920029.4985.100.903929.6283.760.908629.16MVP w/L流量我们的无L流量我们67.8671.9065.960.92760.92230.928030.0029.7430.0983.1172.7467.750.90370.91370.920829.9330.2730.6980.9678.3475.660.90860.91980.922229.1629.4429.576151L LLL透镜+ L柄无L曲线不带L透镜+L柄,不带L弯曲L透镜+ L柄w/L曲线无流量供应w/流量供应地面实况图5. 消融流量监控。我们进一步比较了模型w/和w/o流监督的体积基元。我们看到,该模型与额外的流动监督产生一个一致的和合理的形状的头发,并产生更好的头发肩解开。图6. len+tang和cur的效果。我们展示了如何跟踪头发束的形状和曲率都保持与L透镜+L唐和Lcur。框架118框架119框架120框架121框架122没有。第一阶毫米第二个命令毫米图7. Ablation of different initialization in hair tracking. 我们显示跟踪结果,我们的方法与不同的初始化。从上到下,我们使用无动量信息,一阶和二阶动量信息用于跟踪初始化。请注意棕色和橙色的线。正如我们所看到的,当我们利用来自前一帧的动态信息时,头发被更好地跟踪。更好的颜色版本。如果使用先前帧,则在一些股上发生更明显的漂移,而当我们利用来自先前帧的运动信息时,漂移不太严重。6152图8. 头发位置编辑。我们创建一个新的动画,直接编辑的指导头发束。正如我们所看到的,头发的体积是由提升的引导头发驱动的,以创建新的头发运动。请参阅视频结果的补充材料。5. 应用以及局限性方面一个主要的应用,使我们的神经体积场景表示是新的视图合成,我们已经显示在第二节。四点二。我们的神经体积表示也可以用稀疏的驱动信号(如引导发丝)进行动画。考虑到我们已经以引导股的形式显式地建模了头发,我们的方法允许直接修改引导头发图图8中,我们展示了四张不同发型的快照。请在补充材料中查看更多结果和详细信息。我们的工作有几个局限性,我们计划在未来加以解决:1)我们的方法需要艺术家的帮助,在第一帧准备指导头发,一些飞散的头发可能会被排除在外。2)我们目前不考虑头发和其他物体(如肩膀或椅子)之间基于物理学的相互作用。3)虽然我们在没有任何人类标记的情况下实现了头发和其他物体之间一定程度的解缠我们只显示了金发的结果,这可以更好地从黑暗的背景中区分出来。我们的方法可能会受到其他发型的限制,比如齐发或非洲纹理,这对艺术家来说很难准备指导头发。请参阅补充材料,了解更多关于发型和概括的讨论。未来的方向,如纳入物理感知模块或利用语义信息的额外监督来解开纠缠可能是有趣的。6. 讨论在本文中,我们提出了一种混合神经体积表示的头发动态性能捕捉。我们的代表利用效率的指导头发表示头发模拟附加体积图元,以及体积表示的高自由度。通过头发跟踪和3D场景流细化,我们的模型具有更好的时间一致性。我们empir- ically表明,我们的方法产生更清晰,更高质量的结果,我们的方法实现了更好的generalization。我们的模型还支持多种应用程序,如可驱动动画和头发编辑。6153引用[1] Kara-Ali Aliev , Artem Sevastopolsky , Maria Kolos ,Dmitry Ulyanov,and Victor Lempitsky.基于神经点的图形学。欧洲计算机视觉会议,第696Springer,2020年。一、二[2] Benjamin Attal , Selena Ling , Aaron Gokaslan ,Christian Richardt和James Tompkin。Matryodshka:利用多球面影像进行实时六自由度视频视图合成。欧洲计算机视觉会议,第441Springer,2020年。一、二[3] Timur Bagautdinov , Chenglei Wu , Tomas Simon ,Fabian Prada,Takaaki Shiratori,Shih-En Wei,WeipengXu,Yaser Sheikh,and Jason Saragih.驾驶信号感知全身化 身 。 ACM Transactions on Graphics ( TOG ) , 40(4):1一、二[4] 加 里 · 布 拉 德 斯 基 OpenCV 库 博 士 Dobb's Journal :Software- ware Tools for the Professional Programmer,25(11):120- 123,2000. 4[5] 迈克尔·布罗克斯顿、约翰·弗林、瑞安·奥弗贝克、丹尼尔·埃里克森、彼得·海德曼、马修·杜瓦尔、杰森·杜尔加里安、杰伊·布施、马特·惠伦和保罗·德贝维克。具有分层网格表示的沉浸式光场视频。ACM Trans-actionson Graphics(TOG),39(4):86-1,2020。一、二[6] Rohan Chabra , Jan E Lenssen , Eddy Ilg , TannerSchmidt,Julian Straub,Steven Lovegrove,and RichardNewcombe.深局部形状:学习局部sdf先验,用于详细的3d重建。在欧洲计算机视觉会议上,第608-625页。Springer,2020年。3[7] 柴梦蕾,郑常喜,周坤。交互式头发实体模拟的自适应蒙 皮 。 IEEE transactions on visualization and computergraphics,23(7):1725- 1738,2016。3[8] Ricson Cheng,Ziyan Wang,and Katerina Fragkiadaki.用于 主 动 视 觉 识 别 的 几 何 感 知 递 归 神 经 网 络 。 InS.Bengio,H.Wallach,H.拉罗谢尔K.格劳曼Cesa-Bianchi和R. Garnett,编辑,《神经信息处理系统进 展》,第31卷。 Curran Associates ,Inc.2018. 2[9] Christopher B Choy , Danfei Xu , JunYoung Gwak ,Kevin Chen,and Silvio Savarese. 3d-r2 n2:用于单视图和多视图3D对象重建的统一方法。欧洲计算机视觉会议,第628-644页施普林格,2016年。2[10] Kyle Genova 、 Forrester Cole 、 Avneesh Sud 、 AaronSarna和Thomas Funkhouser。三维形状的局部深度隐式函数。IEEE/CVF会议论文集计算机视觉和模式识别,第4857- 4866页,2020年。3[11] Liwen Hu,Derek Bradley,Hao Li,and Thabo Beeler.模拟就绪的头发捕捉。在计算机图形格式,第36卷,第281-294页。Wiley Online Library,2017. 2[12] Liwen Hu,Chongyang Ma,Linjie Luo,Hao Li.使用模拟示例进行 稳健的毛发捕获。ACM Transactions onGraphics(TOG),33(4):1-10,2014. 2[13] Hayley Iben , Mark Meyer , Lena Petrovic , OlivierSoares,John Anderson和Andrew Witkin。艺术模拟卷曲的头发。第12届ACM SIG-GRAPH/Eurographics计算机动画研讨会论文集,第63-71页,2013年。3[14] Chiyu Jiang,Avneesh Sud,Ameesh Makadia,JingweiHuang,Matthias Nießner,Thomas Funkhouser,et al.三维场景的局部隐式网格表示。在IEEE/CVF计算机视觉和模式识别会议论文集,第6001-6010页3[15] Abhi s hekKa r,ChristianHaíne,andJitendraMalik. 学习多视角立体机。在重症盖永诉卢森堡S. Bengio,H.瓦拉赫河Fergus,S. Vishwanathan和R.Garnett,编者,《神经信息处理系统进展》,第30卷。Curran Associates,Inc. 2017. 2[16] 泰罗·卡拉斯和蒂莫·艾拉高质量包围盒层次的快速并行构造。第五届高性能图形会议论文集,第89- 99页,2013年3[17] Diederik P Kingma和Max Welling。自动编码变分贝叶斯。arXiv预印本arXiv:1
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- OptiX传输试题与SDH基础知识
- C++Builder函数详解与应用
- Linux shell (bash) 文件与字符串比较运算符详解
- Adam Gawne-Cain解读英文版WKT格式与常见投影标准
- dos命令详解:基础操作与网络测试必备
- Windows 蓝屏代码解析与处理指南
- PSoC CY8C24533在电动自行车控制器设计中的应用
- PHP整合FCKeditor网页编辑器教程
- Java Swing计算器源码示例:初学者入门教程
- Eclipse平台上的可视化开发:使用VEP与SWT
- 软件工程CASE工具实践指南
- AIX LVM详解:网络存储架构与管理
- 递归算法解析:文件系统、XML与树图
- 使用Struts2与MySQL构建Web登录验证教程
- PHP5 CLI模式:用PHP编写Shell脚本教程
- MyBatis与Spring完美整合:1.0.0-RC3详解
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功