多视图高精度头发重建方法

155多视图头发捕捉Giljoo Nam2011Chenglei Wu2Min H.Kim1Yaser Sheikh21 KAIST2 Facebook现实实验室，匹兹堡摘要头发是最具挑战性的物体之一，以重建，由于其微观结构和大量的重复股严重闭塞。在本文中，我们提出了第一种方法来捕捉高保真头发几何与链级精度。我们的方法需要三个阶段来实现这一点。在第一阶段，提出了一种新的倾斜支撑线的多视图立体方法来解决不同视图之间的头发对应关系。详细地说，我们贡献了一种新的成本函数，包括照片一致性项和几何项，将每个头发像素重建为3D线。 通过合并所有深度图，获得点云以及每个点的局部线方向。因此，在第二阶段，我们采用了一种新的链重建方法与均值漂移的噪声点数据转换为一组链。照片COLMAP我们最后，我们用多视图几何约束来生长头发束，以拉长短的头发束并恢复丢失的头发束，从而显著增加重建的我们评估我们的方法在合成数据和实际捕获的数据，表明我们的方法可以重建头发丝亚毫米精度。1. 介绍头发是定义人的外观的重要方式，是虚拟人不可或缺的一部分，也是许多VR和AR应用的关键组成部分。虽然在捕捉高质量的面部[3]、身体[35]甚至牙齿[37]方面取得了很大进展，但对捕捉头发几何形状的关注并不多由于发束的微尺度几何形状、大量的发束、以及发束之间的严重遮挡和高度相似性，头发可能是计算机视觉方法捕获的最具挑战性的对象之一，特别是如果我们的目标是进行发束精确重建的话。由于这些挑战，直接将传统的多视图立体（MVS）方法[10，33]应用于多视图图像数据不能获得令人满意的结果，因为MVS方法为了实现鲁棒的对应匹配，通常假设局部块是平面，这对于头发明显无效在那里-在匹兹堡的Facebook现实实验室实习期间完成的工作图1.（左）多视角拍摄的照片之一。（中）传统MVS的最终几何形状（COLMAP [33]）。（右）我们方法的最终几何。我们的方法可以产生高保真的头发几何形状与股级的准确性。因此，它们不能重建细粒度的股线结构，如图1中背景下的飞行股线。因此，为了恢复链结构，许多毛发捕获技术[15，26]运行第二步链拟合到来自MVS的重建点云。尽管先前的方法正确地捕获了发束的整体形状飞线为了实现准确的毛发捕捉，本文重新思考了多视角毛发捕捉的正确方法，并提出了一种新的毛发度量重建流水线。作为第一步，我们重新制定了传统的多视图立体算法与绞线的假设，特别是针对微尺度薄几何形状的头发。我们建议使用一个本地线支持有效地匹配跨视图的链特征。请注意，虽然头发是一条3D曲线，但它可以被视为一串连接的短线段。为了帮助匹配，我们设计了新的成本函数，不仅依赖于颜色相关性，而且还依赖于一个新的几何一致性项，该项强制从预测的3D线投影的2D线与图像中检测到的该成本函数是有效的，156输入基于行的PatchMatchMVS头发重建头发生长输出多视图图像&估计深度2D方向场&3D方向对所有视域将有效估计值合并到点云中去噪点云生成短头发束生成长发束3D头发几何体第5节第六图2.我们完整的头发几何重建管道的概述最近使用随机优化策略作为PatchMatch [28]来最小化以估计深度图，然后将其合并到点云。在这一点上，MVS中的网格化步骤[19]的对应部分需要将噪声样本融合到唯一表示中，即，股因此，我们使用均值漂移方法[9]从点云贡献了一种新的链重建算法。重构的链可以是短片段，并且一些重构的链可能仍然缺失。因此，我们采取第三步，其将当前股传播到其相邻像素，即，通过优化与我们的MVS中相同的多视图几何约束来增长链我们评估我们的方法在合成和真实捕获的数据，证明我们的方法可以实现亚毫米精度定量合成数据和像素精度的真实数据时，投影重建链到一个新的视图。2. 相关工作多视图立体多视图立体是从从不同视图捕获的一组图像重建3D几何形状的众所周知的方法。MVS中的主要挑战之一是估计跨视图的对应性，这通常通过优化测量来自不同视点的倾斜局部补丁的颜色相似性的照片一致性函数来攻击。一般假设局部面片是3D平面。为了优化这种高度非线性的能量，基于PatchMatch的方法[10，28，33]已经变得流行，并在MVS基准测试中取得了许多成功然而，将这些方法应用于头发将立即使该假设无效，并且因此不能实现股精度。从密集多视图图像中捕获毛发在从多视图图像捕获毛发方面的一系列开创性工作从输入图像估计密集的2D/3D矢量场，并将其与其他3D表面约束相结合，例如，从结构光或视觉外壳[30，31，36]。为了改进毛发捕获质量，还研究了不同的传感器模态，例如，使用焦深技术[18]、RGB-D传感器[17]或热成像[14]。最近，随着MVS技术的成功，核线约束被明确地研究用于重构毛发。Luo等人[25，27]提出了基于从捕获图像检测到的方向场的捕获方法，以更好地重建头发的几何细节。Luo等人[26]和Hu et al.[15]发展进步一种稳定地贴合毛发结构的方法，即，带状、束状和线状的点云数据。由于点云重建是从传统的MVS，这些方法仍然受到平面假设。Beeler et al.[4]提出了一种耦合重建方法，通过2D/3D毛发生长来捕获稀疏的面部毛发。然而，由于发束之间的复杂闭塞，这种方法不能应用于密集的头发。从有限的视图捕捉头发捕捉的另一个方向是数据驱动的方法，特别是有限的输入视图，甚至是单个视图。使用单个输入图像和一些用户笔划，Hu et al.[16]从数据库中检索最接近的头发样本，并将它们组合起来以匹配输入的发型。Chai等人提出了一系列关于单视图头发建模和操纵的工作[5，6，7，8]，推动了高质量的头发建模，而无需任何用户交互。捕获的毛发的质量可以通过具有输入图像的四个视图来改善[40]。最近的一个趋势是采用深度学习来自动从单个图像中捕获发丝[41]。虽然这些方法取得了合理的结果，估计的头发几何形状是不度量准确。3D直线/曲线重建3D直线或曲线基元的重建工作也与我们的方法有关Bartoli等人提出了基于线基元的运动结构。[1]的文件。已经研究了利用线段的立体匹配来重建建筑物的线结构[2，11，23，24，29，34]。基于线的表示也已应用于视觉SLAM [39，42]。然而，这些方法不能应用于头发，因为头发束的高曲率和密集闭塞。3. 概述图2显示了我们的方法的概述。我们的方法有三个方面：基于线的PatchMatch多视图立体（LP-MVS）（第4节），从点云重建链（第5节）和多视图头发生长（第6节）。LP-MVS将捕获的图像和2D方向场作为输入，并产生3D点云{P}，其中每个点表示一个线段。 我们用线段P的3D位置和3D方向{Ppos，Pdir}表示线段P。 链重构将点云{P}作为输入并产生链段{S}。然后我们将这些链段生长成最适合捕获的IM的长链年龄和2D方向字段。我们接下来描述每个阶段157(c) 拍摄的图像和特写(d) 来自COLMAP和LPMVS的点云算法1基于行的PatchMatch MVS输入： 多视图图像和2D方向场输出：3D线条图1：对于每个视图，2：设置参考视图和相邻视图3：随机初始化3D线图4：对于迭代i= 1到Niter，do5：通过空间传播6：经由随机扰动来7：结束8：结束LPMVS的成本函数给定2D像素位置p图3. (a)传统的MVS与平面假设。(b)LP-MVS，带直线假设。(c)其中一张照片。(d)来自COLMAP [33]和LPMVS的点云。4. 基于行的PatchMatch MVS先前的MVS假设3D局部平面投影到参考视图上的像素，并尝试使用参考视图和相邻视图之间的强度/颜色相关性找到该平面的位置和法线（图3a）。与此类似，我们的LPMVS假设一个3D线段被投影到一个像素，并试图找到该线的位置和3D方向（图3b）。我们的LPMVS的整体管道如Al-租赁1所示。它在很大程度上遵循PatchMatch MVS [10，33]。然而，与传统的MVS不同，LPMVS的输出是3D线地图。3D线图中的每个像素表示3D位置（即，深度）和线的3D方向我们在LPMVS中的贡献是一个新的成本函数，它是专门为头发几何设计的。图3c和3d分别展示了重建点云与传统MVS和我们提出的LPMVS的差异。虽然MVS [33]的输出点云显示出遵循MVS平面假设的平面表面形状，但我们的LPMVS可以恢复细粒度的头发几何形状，这为头发束精确重建奠定了基础。4.1. 每视图3D线估计输入数据LPMVS的输入数据是来自多个视图的校准图像，其中包含估计的2D方向在参考视图中，LPMVS尝试使用其N个相邻视图来找到对应的3D线Lp3D线Lp由p处的深度值及其3D方向参数化;因此它具有三个自由度。成本函数m（p，Lp）定义当像素p对应于3D线Lp时的损失。具体地，它由两项组成，几何成本mg（p，Lp）和强度成本mc（p，Lp）：m（p，Lp）=（1−α）mg（p，Lp）+αmc（p，Lp）. （1）这两项加权α（α = 0. ①的人。2D采样点为了计算这两个能量项，我们在参考视图及其相邻视图上使用2D采样点。图4示出了生成Sp，i的过程，Sp，i是第i个视图中的一组2D样本（我们总是将第0个视图称为参考视图）。我们首先计划Lp到参考图像，并得到相应的2D线lp，0。对于3D到2D的线投影，我们使用P lücker线坐标（Hartley和Zisserman [13]，第198页）。然后，我们沿着以半径rκ为中心的p为中心的lp，0均匀地采样κ个点，获得参考视图Sp，0的κ个2D样本。请注意，rκ定义了最远样本与p之间的距离（κ=41，rκ=10像素）。一旦我们得到Sp，0，我们就从参照物视图我们找到与三维直线Lp的相交点，并将这些点重新投影到第i个视图中，得到相应的二维样本Sp，i。几何成本几何成本m_g（p，L_p）定义3D线L_p的方向与从输入图像检测到的其对应的2D取向每个图像的字段。这里我们只使用灰度图像，不使用颜色信息。然而，合并颜色信息应该是简单的。我们首先在之前的工作之后生成2D方向字段[30]。mg（p，Lp）=N=0γigi（Sp，i，lp，i），Nneii=0时γi，（2）卷积核使用Gabor滤波器，核旋转的分辨率设置为1度，因此我们得到每个像素的180个响应的方差其中γi是第i个视图的权重。 gi（Sp，i，lp，i）定义上检测到的方向之间的角度差2D样本Sp，i和2D线lp，i的方向：根据Paris et al.[30 ]第30段。我们使用方差平方的倒数（conf=1/var2）作为2D方向场的置信度度量。gi（Sp，i，lp，i）=Σs∈Sp，ics·diff（θs，lp，i），Σs∈Sp，i（3）LPMVSCOLMAP（a）传统的MVS(b)LPMVSL158lp，0lp，i4.2. 3D线过滤我们遵循传统的MVS管道[10];我们首先从所有视图中计算3D线图，并将这些线图合并到点云中。为了检查估计线的一致性，我们比较3D位置和3D线方向。对于参考视图上的每个像素，我们将相应的3D线位置投影到相邻视图中，并从相邻视图中获得3D线。如果满足以下标准，则估计与第j个图4.在多个视图中沿二维线采样。pos（Lp）−pos（Lp，j）<$2<τp，其中cs是采样位置s处的2D方向场的置信度值，θs是2D方向值，并且angle（ dir（Lp）， dir（Lp，j（五）））<τd.diff（θ，l）返回2D方向θ和直线l的2D方向之间的角度差。 我们使用γ来对参考视图加权更多，并且对相邻视图加权相等，否则，匹配可以忽略参考视图成本（γ0=Nne i，γi/=0=1）。强度成本强度成本的定义如下：我们使用τp=1 mm和τd=10mm。如果重建点与至少两个相邻视图一致，则保留来自参考像素的重建点通过对每个视点运行这种过滤，我们最终获得一个点云，每个点P都有它的位置Ppos和方向Pdir。5. 基于点云的股线重建1mc（p，Lp）=nei纳内i=1ci（Sp，i，Sp，0），（4）与之前的MVS类似，在获得点云后，{P}，我们需要将噪声样本融合到唯一的表示中，在我们的情况下，该表示是股一根头发其中ci（Sp，i，Sp，0）是两个样本集的强度值之间的1D归一化互相关（NCC）。随机初始化为了启动LPMVS，我们随机初始化参考视图的3D线图。对于每个像素p，我们通过为它分配一个随机深度值和一个用于线方向的随机3D单位向量来生成Lp空间传播我们使用红-黑模式来传播良好的估计到他们的邻居以下Galliani等人。[10 ]第10段。代替传播平面参数，LPMVS传播3D线参数。然而，替换线参数并不像替换平面参数那样简单为了解决这个问题，我们首先从参考视图的相机中心通过参考像素拍摄一条射线。然后我们在射线上找到一个3D点，具有到相邻像素的3D线的最小距离。新的线L由该3D点和来自相邻像素的线方向定义。这样，我们可以保证线假设测试总是投影到参考像素。 有了这个，我们检查新的线路参数降低了当前成本，因此我们用新的线路参数 替 换 线 路 参 数 。 我 们 重 复 这 个 过 程 Niter 次（Niter=8）。线细化在每次空间红黑传播之后，我们通过提供关于深度和3D方向的随机扰动来细化3D线地图。加利亚尼等人。[10]完善过程。如果新参数降低了成本，我们就用它们替换旧参数。链被定义为连接的3D点的序列S={P0，. . .，P.S.}。我们的发丝重建算法纯粹基于捕获的数据，即，点云。它有两个阶段，点云融合和头发丝生成，我们在下面详细描述。5.1. 3D线融合从点云生成发丝存在若干技术挑战首先，点云是有噪声的并且具有离群值。这些来自于不完美的校准、重复的发束模式、镜面反射、遮挡等。其次，发束具有复杂的几何拓扑结构，因为许多发束聚集在一起，彼此靠近，并且经常交织在一起。为了解决这个问题，我们首先对点云进行3D融合，将点云塑造成细头发丝，同时对噪声和离群值保持鲁棒性。现有的3D点云融合方法，例如在先前的毛发捕获工作[26，15]中使用的移动最小二乘法（MLS）[22]由于MLS通过将点云拟合到3D表面来去除高频噪声，因此如果应用于点云，则会破坏我们的线结构。尽管Lee[21]将其扩展到3D曲线重建，但它仍然不能处理头发几何中常见的紧密定位的平行曲线或交叉曲线因此，为了在保持链结构的同时融合点云，我们提出了一种新的基于均值漂移的3D线融合算法，该算法有效地从点云生成薄的3D曲线算法2描述了我们的基于均值漂移的线融合方法。该过程针对每个点独立地执行Lp参考视图第i个相邻视图Sp，0pSp，iN159POS我ΣpD算法2：基于Mean-Shift的三维直线融合输入：不洁点云{P}，P={Ppos，Pdir}输出：融 合 点 云 {Q} ， Q={Qpos ， Qdir}1 ： 对 于P∈{P}，2：Qprev←P3：重复4：Qnext←LOCALMEAN（Qprev）均值漂移（点云平线相交均值漂移最终聚类下一页5：d←？Qpos −Q位置-26：Q上一页 ←Qnext7：直到d > τs8：{Q}←{Q}下一个9：结束设P是具有其位置和方向的3D点，即，（b）第（1）款0.33mm输入3D点云输出3D点云P={Ppos，Pdir}。我们把点P移到它的局部均值定位并更新方向到其本地平均方向，第我们重复这个移动过程（或移位），直到移动的距离小于τs（τs=0）。002 mm）。然而，在欧几里得空间中找到多条3D线的平均值并没有通用的解决方案。受3D线的4D紧凑表示[32]的启发，我们提出了一种有效的解决方案（图5）。从点P开始，我们创建一个具有平面法线Pdir的平面P。然后，我们将P的所有相邻点视为3D线，并找到与平面线P的相交点{X}。我们使用kd树搜索半径rnei=2内的邻居。0毫米。的图5. (a)基于均值漂移的三维毛发融合算法。(b)应用融合前后的点云。点云是图3d中使用的点云的一部分。strand：Sc← {Pseed}. 从P种子，我们以步长s向其线方向移动。从移动的位置，我们搜索半径τr内的相邻点。我们丢弃具有大角度差τa的点，并平均剩余相邻点的位置和方向。 平均位置和方向定义了新的当 前 点 Pcur ， 我 们 将 该 点 添 加 到 当 前 链 ：Sc←Sc{Pcur}. 我们重复这个过程-直到移动位置附近没有相邻点平均线P={P∗dir}计算如下：我们对初始的两个方向执行此过程∗POSΣM=i=0时wiX i，位置，纳米比亚i=0时w，Pdir ΣM=i=0时wiXi，dir，纳米比亚i=0时wi，（6）种子点一旦我们完成前向欧拉方法步骤的一次迭代，即， 在生成一个链段之后，我们从{P}中移除到该链的τr内的点。然后我们将当前链存储到输出其中X0=P和Xi={Xi，pos，Xi，dir}是第i个相邻点的交点，并且{\displaystyle {\pos，X i，dir}}我们计算双边权重wi以考虑位置和方向。问题：链集合：{S} ← {S}{Sc}。 我们重复前向Eu-ler方法，直到{P}中不存在剩余点。 我们设s=τr=0。τa=30μ m。.¨¨2. −1两千零六。多视图头发生长wi= exp<$0，pos−Xi，pos<$2-2σ2cos（X0，dir·Xi，dir）-2σ2.（七）链重构的输出是一组短链段，其中平均长度通常小于我们设σp= 0。1 mm，σd=π/6。我们的均值漂移算法rithm对于聚类细3D曲线非常有效，对离群值和交叉链具有鲁棒性。此外，这些参数与发束的物理性质有明确的联系，即，钢绞线厚度σp和弯曲角度σd。图5b显示了将我们的融合过程应用于点云之前和之后的真实示例5.2. 链生成从融合的点云{P}，类似于文献[26]，我们使用前向欧拉方法来生成头发束{S}。 发束段S被定义为属于相同发束S ={P0，. . . ，P.S.}。首先，我们在点云{ P }中选择一个随机种子点P种子，并将其设置为当前超过10 mm。现在，我们希望将短片段生长为长链，并重建外表面上的毛发，这在LPMVS中是缺失的不同于以往的AP-proaches [26，15]，我们的方法重新访问多视图约束，以确保根据生长重建的毛发仍然是度量有意义的。生长算法在每个股段S上和在段的每个尖端P尖端上执行我们首先将片段投影到每个视图上，并找到2D生长方向。设θl为尖端投影段的2D方向。我们对多个2D方向进行采样，从而形成以θ1为中心的2D圆锥，其中开度角为5°，开度角为1°。角分辨率对于每个2D方向，我们做一个3×10窗口我们计算每个方向窗口的得分通过对2D像素方向之间的角度差进行平均，得双曲余切值.P160◦点θo和线段方向θl。当求平均值时，我们忽略具有方向值的小置信度的像素我们还忽略了与θ1有较大角度差（>5θ）的像素，因为我们更喜欢不受交叉链影响的生长方向。然后，我们采取2D方向与最低的分数作为2D生长方向。如果得分像素的数量小于10，则我们不采用2D生长方向。设N′为具有有效2D生长方向的视图的数目寻找3D生长方向相当于寻找N′2D平面的交点，每个平面由每个视图的相机中心及其2D生长方向定义然而，在实践中，由于遮挡，平面不相交以形成唯一的线因此，我们将其表述为多视图的最小化问题几何直线约束设H是N′×3矩阵，其中第i行表示来自第i个视图的平面法线，g是作为单位向量的3D生长方向地面实况重建水平切片图6. 使用合成数据集进行评价（左）使用地面实况头发几何体渲染的 （中）改造后头发几何形状。（右）地面真相的水平切片（yel-低）和重建的几何体（红色）。最大限度地减少2s. t. 阿利格尔=1时。（八）g22为了求解这个方程，我们可以对H=U <$V<$H执行SVD，并选择V中对应于最小特征值的列向量。然而，这很容易导致异常值因此，我们应用迭代重新加权最小二乘鲁棒优化。首先，我们要解决Eq。（8）求出残差r=Hg。然后，我们用1/r2重新加权A中的每一行，并求解Eq。（八）、两次迭代足以有效地剔除离群值。注意，通过求解Eq.（8），我们保证估计的3D生长方向最小化等式（9）中的相同多视图几何成本。（一）.在我们找到3D生长方向g之后，我们通过向片段添加 新的 3D 点 来 延 长 链 ： Pnew=Ptip+ sg·g ， S<$S<${P new}，其中sg是生长步长。 我们设sg=0。1mm，其大致对应于所捕获图像上的像素宽度我们终止种植-如果符合以下标准之一，则将头发束切割：a）小于Np（Np=8）个图像返回2D生长方向; b）新的3D点落入背景区域; c）3D生长方向从先前的生长（>45μ m）迅速改变。背景区域通过对捕获的图像进行简单的强度阈值化来确定。7. 结果7.1. 综合数据的定量评价由于没有办法扫描地面真实的头发几何，我们评估我们的方法的合成数据，这是使用Maya和V-Ray渲染的头发几何从Yuksel等人。[38]第30段。我们创建了两个数据集进行评估，一个是280张卷发图像，另一个是100张直发图像。示例图像见图6。我们在两个数据集上运行我们的方法来重建头发。结果如图6所示。表1.不同阈值条件下卷发和直发数据集的查准率和召回率。约75%的卷发重建点和90%的直发重建点的精度达到亚毫米级，切线方向误差小于10请注意，地面实况的大部分发丝位于内部部分，该部分被捕获的图像严重遮挡。为了公平评估，我们通过仅与地面事实的外部标准进行比较来评估我们的方法。因此，我们通过重新移动远离外表面（>10 mm）的地面真实中的内部链来获得新的参考链。 水平切片在图6中示出了地面实况股和重构的股。定性地，我们能够准确地重建地面实况的外表面。通过我们的重建，我们对重建点的位置和方向进行定量分析，以测量精度（a.k.a.准确性）和召回率（a.k.a.完整性）类似于传统的MVS方法[20]。表1示出了定量评估结果，其中τp和τd是用于估计链点的位置和方向的阈值。我们验证点当且仅当它们满足τp和τd。F-score定义为精确度和召回率的调和平均值，如MVS基准[20]中所述结果表明，卷曲和直头发数据集使用我们的方法。对于卷发，约75%的重建点的误差小于1。0 mm和10mm。对于直发来说，90%以上的点都显示出亚毫米精度GTReconGTRecon卷发直发直卷曲τp（mm）τd（deg.）精密度（%）召回率（%）F-score0.505.0046.0214.5422.101.0010.0074.3125.3237.772.0020.0094.9143.7159.860.505.0072.9423.3735.391.0010.0092.9431.4446.982.0020.0099.2045.4662.35161照片（小说观点）覆盖（小说观点）照片特写覆盖特写照片Luo2013 Hu2014 ours图 7. 我 们 的 方 法 和 以 前 的 工 作 （ 罗 等 。 [26] 和 Hu etal.[15]）。先前工作的输出几何体会丢失发丝的精细细节。相比之下，我们的方法按原样恢复原始链。7.2. 与以前工作的比较图7显示了我们的方法和以前的方法[26，15]在其数据集上的比较，该数据集采用46个图像视图作为输入。虽然之前的工作可以通过合成罗纹和发束来产生发型的整体形状，但输出几何体缺乏头发束的精细细节，如飞舞的头发或随机的头发。相比之下，我们的方法从输入图像中捕获头发束，因此可以恢复原始头发束的细节（图7底部）。请注意，由于覆盖率低，我们的方法无法重建一些被遮挡的部分，因为如果它们不是多视图约束的，我们就不会执行合理的发丝合成，而以前的方法则会。与传统MVS的比较我们将我们的方法与以前最好的MVS 方 法 之 一 进 行 比 较 ， 即 ， COLMAP [33] （ 图1）。我们的方法比COLMAP捕获了更多的细粒度链结构，这要归功于我们基于行的处理管道。7.3. 真实数据评价捕获系统为了在真实捕获的数据集上演示我们的方法，我们使用了一个多相机系统，该系统包含70个分辨率为4096×2668的机器视觉相机，运行速度为30fps。摄像机位于一个球形的覆盖了球体的一半。对象和相机之间的距离约为一米，使得单个头发束在图像上以1 - 2个像素被捕获所有摄像机均使用校准目标进行内部和外部校准[12]。300个LED均匀分布在球体上，提供紧密均匀的照明，以减少镜面反射。Leave-one-out评估为了从看不见的视点评估我们的重建，我们有意在重建中留下一个相机视图，即，我们使用69个摄像机视图来重建头发的几何形状。然后，我们将其投影到不可见的视图中进行评估。图8所示的结果表明，我们的重新投影是像素精确的。图8.从我们的方法重建的头发几何投影到一个新的视图照片，这是不包括在重建，证明我们的方法的像素精度。为了评估我们的方法，我们捕获了6个真实数据集，涵盖各种发型，包括短/长，卷曲/直，深色/明亮的头发。其中四个是演员的头发，两个是假发。图9示出了捕获的图像和重建的毛发几何形状。特写图清楚地证明了我们的方法的准确性，实现了捕获的图像和重建的头发之间的链级协议。请注意，在图9中，我们将头发丝{S}到圆柱形网格中，仅用于可视化。动态头发我们的方法每帧运行，因此可以可以容易地应用于视频序列。请注意，我们没有强制时间一致性，而是逐帧重建头发。重建的动态头发序列表明，我们重建的股是时间上一致的，进一步证实了我们的方法的准确性。请参阅补充视频的结果。运行时间我们的方法在C++和CUDA中实现。我们在一台配有英特尔至强CPU和8个NVIDIA Tesla V100 GPU的机器上进行了实验。需要仅需40秒即可估计单个视图的3D线条图，我们使用多个GPU并行处理多视图图像头发融合需要100-100秒来处理1000 - 2000万点。头发的产生需要不到一分钟，头发的生长需要20秒。70个视图的单个帧的总处理时间为1015分钟。8. 结论在本文中，我们提出了第一种方法来实现从多视图设置股准确的头发重建我们的贡献包括基于线的PatchMatch MVS，基于线的链融合和重建算法从点云，和多视图的头发生长方法。有几个方向，我们想看看作为未来的工作。与许多头发捕捉工作相比，我们没有将头发束连接到头皮上，这可能是头发模拟应用所必需的。我们可以通过将视图优化引入到我们的框架中来提高被遮挡部分的重建性能。探索动态序列中的时间信息可以改善重建覆盖，并且获得时间上相干的毛发重建或毛发跟踪可能看起来是挑战性的，但对于未来的方向是令人兴奋的。162图9.来自真实数据集的结果。上面三行是演员的真发，下面两行是假发。我们捕捉各种发型，包括短/长，卷曲/直，黑暗/明亮的头发在高精度。163引用[1] 阿德里安·巴托利和彼得·斯特姆。使用线的运动恢复结构：表示法、三角测量法和光束调整法. 计算机视觉和图像理解，100（3）：416-441，2005。2[2] 赫伯特·贝，维托里奥·费拉里斯，还有卢克·范古尔.宽基线直线段立体匹配。计算机视觉与模式识别，2005年。CVPR 2005。IEEE计算机学会会议，第1卷，第329-336页。IEEE，2005年。2[3] Thabo Beeler ， Bernd Bickel ， Paul Beardsley ， BobSumner，and Markus Gross.高质量的面部几何形状的单镜头捕捉ACM事务处理图表，29（4）：40：1-40：9，July 2010. 1[4] Thabo Beeler ， Bernd Bickel ， Gioacchino Noris ， PaulBeards-ley，Steve Marschner，Robert W Sumner，andMarkus Gross.稀疏面部毛发和皮肤的耦合三维重建ACM Transactions on Graphics （ ToG ） ， 31 （ 4 ） ：117，2012。2[5] Menglei Chai，Linjie Luo，Kalyan Sunkavalli，NathanCarr，Sunil Hadap，and Kun Zhou.高品质的头发造型从一个单一的肖像照片。ACM Transactions on Graphics（TOG），34（6）：204，2015. 2[6] Menglei Chai ， Tianjia Shao ， Hongzhi Wu ， YanlinWeng，and Kun Zhou.Autohair：从单个图像进行全自动头发建模。ACM Transactions on Graphics，35（4），2016. 2[7] Menglei Chai ， Lvdi Wang ， Yanlin Weng ， XiaogangJin，and Kun Zhou.图像和视频中的动态头发处理ACM Transactions on Graphics （ TOG ） ， 32 （ 4 ） ：75，2013. 2[8] 柴梦蕾，王绿迪，翁彦林，余益州，郭百宁，周坤.单视图头发建模，用于por- trait操作。ACM Transactionson Graphics（TOG），31（4）：116，2012。2[9] D. Comaniciu和P.米尔均值漂移：一种稳健的特征空间分析 方法 。IEEE Transactions on Pattern Analysis andMachine Intelligence，24（5）：603-619，2002年5月。2[10] 加利亚尼，拉辛格，辛德勒。表面法向扩散的大规模平行 多 视 点 立 体 视 觉 。 在 Proceedings of the IEEEInternational Conference on Computer Vision，第873-881页，2015中。一、二、三、四[11] Ruben Gomez-Ojeda和Javier Gonzalez-Jimenez通过点和线段的概率组合的RO-BUST立体视觉测距在机器人和自动化（ICRA），2016年IEEE国际会议上，第2521-2526页IEEE，2016. 2[12] H. 哈MPerdoch，H.阿利斯梅尔岛S. Kweon和Y.酋长Deltille网格用于几何相机校准。在2017年IEEE计算机视觉国际会议（ICCV），第00卷，第5354-5362页，10月。2018. 7[13] Richard Hartley和Andrew Zisserman。计算机视觉中的多视几何学。剑桥大学出版社，2003年。3[14] Tomas Lay Herrera，Arno Zinke，and Andreas Weber.从内 部照 亮头 发 ：一 种 热的 方法 来 重建 头 发。 ACMTransactions on Graphics（TOG），31（6）：146，2012。2164[15] Liwen Hu，Chongyang Ma，Linjie Luo，Hao Li.使用模拟示例进行稳健的毛发捕获。ACM Transactions onGraphics（TOG），33（4）：126，2014。一二四五七[16] Liwen Hu，Chongyang Ma，Linjie Luo，Hao Li.使用发型数据库的单视图头发建模。ACM Trans-actions onGraphics（TOG），34（4）：125，2015. 2[17] Liwen Hu，Chongyang Ma，Linjie Luo，Li-Yi Wei，and Hao Li. 捕 捉 辫 子 发 型 。 ACM Transactions onGraphics（TOG），33（6）：225，2014。2[18] Wenzel Jakob，Jonathan T Moon，and Steve Marschner.一根一根地捕获毛发。ACM Transactions on Graphics（TOG），28（5）：164，2009。2[19] Michael Kazhdan，Matthew Bolitho，and Hugues Hoppe.泊松曲面重建第四届欧洲图形学几何处理研讨会论文集，SGP’06，第61-70页，瑞士，瑞士，欧洲制图协会。2[20] Arno Knapitsch ， Jaesik Park ， Qian-Yi Zhou ， andVladlen Koltun.坦克和寺庙：大规模场景重建的基准。ACM Transactions on Graphics（ToG），36（4）：78，2017。6[21] 李仁权散乱点的曲线重构。计算机辅助几何设计，17（2）：161-177，2000. 4[22] 大卫·莱文移动最小二乘的逼近能力。美国数学学会计算数学，67（224）：1517-1531，1998. 4[23] 李世伟、姚姚、天方、龙泉。用空间曲线积分重构流形曲面的薄结构。在IEEE计算机视觉和模式识别会议（CVPR），2018年6月。2[24] Lingjie Liu ， Duygu Ceylan ， Cheng Lin ， WenpingWang，and Niloy J Mitra.基于图像的金属丝艺术重建 。 ACM Transactions on Graphics （ TOG ） ， 36（4）：63，2017。2[25] Linjie Luo，Hao Li，Sylvain Paris，Thibaut Weise，Mark Pauly，and Szymon Rusinkiewicz.多视图头发捕捉使 用 方 向 领 域 。 在 Computer Vision and PatternRecognition（CVPR），2012 IEEE Conference on，第1490-1497页中。IEEE，2012。2[26] Linjie Luo，Hao Li，and Szymon Rusinkiewicz.结构感知 毛 发 捕 捉 。 ACM Transactions on Graphics（TOG），32（4）：76，2013. 一二四五七[27] Linjie Luo，Cha Zhang，Zhengyou Zhang，and SzymonRusinkiewicz. 使用基于股的细化的宽基线毛发捕获在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第2652[28] Christoph Rhemann Michael Bleyer 和 Carsten Rother 。Patchmatch stereo -支持倾斜窗口的立体匹配。在Proc.BMVC，第14.1-14.11页，2011中。2[29] AO Ok ， Jan Dirk Wegner ， Christian Heipke ， FranzRotten-steine r，UweS oür gel和VToprak。超高分辨率立体航空影像线特征的精确匹配与重建在摄影测量 、 遥 感 和 空 间 信 息 科 学 国 际 档 案 中 ： [ISPRSHannover Workshop 2011：高分辨率地球成像地理空间信息] 38-4（2011），Nr。165W19 ， 第 38 卷 ， 第 215-220 页 。 Göttingen ：CopernicusGmbH，2011.2[30] Syl vainParis，HectorMBrice nNebrano ，andFran c. 从多个图像捕获头发几何形状ACM图形处理（TOG），23（3）：712-719，2004. 二、三[31] Sylvain Paris ， Will Chang ， Oleg I Kozhushnyan ，WojciechJarosz ， WojciechMatusik ， MatthiasZwick er，andFre' doDu-rand.发型摄影棚：真实发型的几何学和光度学采集。ACMTransactions on Graphics（TOG），第27卷，第30页。ACM，2008年。2[32