没有合适的资源?快使用搜索试试~ 我知道了~
6599带眼镜人脸的快速三维重建法比奥·马宁切达1马丁·R.Oswald1 Marc Pollefeys1,21苏黎世联邦理工学院计算机科学系2微软摘要我们提出了一种方法,快速三维人脸重建戴眼镜的人。我们的方法明确和鲁棒模型的情况下,其中要重建的脸被部分遮挡的眼镜。我们提出了一个简单而通用的眼镜模型,可以处理各种不同的形状,颜色和风格,而不需要任何数据库或学习。我们的算法简单,快速,只需要少量的内存和运行时资源,允许商品手机上的快速交互式3D对我们的方法在合成和真实数据上的全面评估表明,由于眼镜的显式建模,重建结果优越1. 介绍在本文中,我们的目标是移动三维重建的人脸,可能覆盖着眼镜。图1提供了我们的方法的概述。3D面部重建的即时创建具有满足不断增长的需求的许多应用,诸如创建可以立即以3D观看或打印的3D自拍照、创建用于增强或虚拟现实应用的3D化身、用于游戏或电影的内容创建、或3D面部认证。移动人脸重建的挑战。与通常依赖于受控图像采集设置的许多其他3D重建方法相比,在移动面部重建中,我们面临大量额外的困难,如照明条件的显著变化、由于低成本传感器而导致的更大量的噪声、运动模糊、滚动快门失真、由于脏镜头而导致的图像伪影,在扫描过程中面部的非刚性变形,以及最后更少的计算资源。眼镜造型的重要性 令人惊讶的是,在面部重建文献中,只有很少的作品涉及在眼镜存在下的面部重建的主题,即使大量的人戴眼镜,因为他们需要视觉辅助。明确地对眼镜建模对于许多应用是有益的。一个重要的例子就是面子图1:使用我们的方法获得的结果。 从左至右:输入图像,结果网格,纹理的结果与重建的眼镜. 我们的方法首先段的眼镜,以允许一个合理的重建的脸,而忽略了眼镜上测量的深度值。身份验证在[46] Sharif et al.已经表明,戴眼镜的攻击者可以容易地欺骗现有技术的2D认证系统,使其相信他是另一个人。这种简单的攻击对3D人脸认证系统不起作用,因为它们严重依赖于3D形状,但这项研究强调了两个重要的事实。首先,纯2D方法的表现力和通用性是有限的。其次,覆盖面部大部分的眼镜可能会对认证系统产生很大影响,因此应该单独建模。这对于3D面部认证也是肯定的。在本文中,我们试图填补这一空白,并提出了一个强大的多视图三维重建方法的人脸和眼镜,具有交互式处理时间在目前的商品移动设备。1.1. 相关工作我们的方法利用了几种计算机视觉方法,如图像分割,通用3D recruitment,和统计形状模型。在3D环境中,只有少数作品解决了眼镜的分割和建模,但有一些2D方法,我们也给出了简要的概述。眼镜检测和分割。在[54]中,可以从单个输入图像中检测、定位以及移除眼镜。在[6]中,使用傅立叶描述符来描述透镜的边界,并且使用遗传算法来6600i=1i=1--提取它们的轮廓[17]提出了一种通过粗略对齐的边界框而不是像素精确分割来检测眼镜的算法这两项工作[6,17]还对来自单个图像的最先进的眼镜检测方法进行了很好的概述。重要的是要强调,这些工作针对不同的问题,因为它们在单色图像上操作并且没有深度信息,这使得眼镜的准确分割更具挑战性。通用多视图3D重建算法。面部和眼镜都可以用一般的3D重建算法来重建。大多数多视图方法首先通过基于特征点的运动恢复结构技术在单独的预处理步骤中估计相机参数[44]。因此,深度图通常从两个或多个图像估计,对于这些图像存在许多方法立体声估计方法的良好概述可以在建立的立体声基准中找到[32,43]。为了将多个深度图融合到联合3D模型中,已经提出了各种方法,其中最突出的方法是融合occupational[23,25,27,28,55]、符号距离函数的体积方法。[14,33,52,56],或基于网格的技术[15,18,20]。这些方法中的一些也已经被调整用于移动设备上的交互式3D重建[26,34,45,50]。在[29]中,通过使用隐式面部特定形状先验将皮肤、头发、眉毛和胡须重建为单独的语义标记几何形状,采用通用语义3D重建方法进行面部重建3D变形模型(3DMM)。由于一般3D重建技术的噪声和离群值的量通常很高,因此已经提出了专门针对面部重建的各种方法。一种流行的方法是混合形状模型或3D变形形状模型[1,5,21,36,37],其将人脸表示为来自形状数据库的特征分解的特征向量的线性组合。此外,这些方法已经扩展到处理面部表情的变化[2,8,9,22,42,51,53]。得到人,还利用该设备混合方法。虽然显式人脸模型可以很好地处理丢失的数据和大量的噪声,但它们无法恢复特定于实例的细节,如皱纹,痣,酒窝或疤痕。几种方法在单独的处理步骤中添加这些细节[10,49]。另一方面,通用的3D重建方法能够恢复这些细节,但对于更大量的噪声、离群值或缺失数据,效果要差得多。最近,在[30]中提出了一种混合特别是由于该方法通常,封堵器的单独建模不是一个新想法,并且已经证明是有益的[16,47]。然而,据我们所知,这是第一篇论文解决了显式遮挡建模的人脸repricing- tion的存在下,深度信息。1.2. 贡献本文提出的系统的贡献可以总结如下:我们提出了一个系统,完全自动recon-structures的人脸和粗略的3D几何眼镜的手机上使用的唯一的设备上的处理。这通过在重建之前检测和分割眼镜来实现。我们提出了一个通用的变分分割模型,可以代表各种各样的眼镜,不需要一个数据库的学习或模型检索。我们表明,分割问题的解决方案可以有效地最小化或近似解决一系列的2D最短路径问题。1.3. 问题设置和符号我们假设一张脸被n个彩色输入im扫描n n带封堵器的3DMM。两种方法[16,47]联合测量{Ii},其中对应的深度图{Di}估计遮挡图和对齐统计人脸模型是用块匹配方法计算的,在EM类概率估计过程中的单个输入图像。虽然它们可以处理任意类型的遮挡,但分割对照明或颜色变化敏感[47],或者它们需要遮挡器和面部之间的显著色差[16]。这是有问题的,因为在类似颜色的情况下,真实的遮挡物可能被错误地标记为皮肤,这可能导致模型自适应中的失真。[9]中的方法旨在重建头戴式设备所包含的具有未知表情的3D人脸。该方法是实时工作的,但需要一个预扫描的3D模型的焦油,利用基于特征点的从运动恢复结构方法获得响应相机校准参数Pin[26,50]。为了获得输入深度和统计形状模型之间的第一次对准,我们使用[41]中提出的方法在每个帧上执行地标检测使用2D地标和相机校准来估计面部的3D位置我们遵循[30]中提出的方法,并用2.5D高度图表示面部。代替使用统一投影模型[4,19,31],我们使用自然地非常适合人脸形状的圆柱形映射的点···i=16601⊂联系我们H(x)(一)PBG∇| ∇ |→√∇在面X=(X,Y,Z)上,使用圆柱投影将X投影到像点x。 到存储在高度图H中的点的距离简单地由H(x)=X2+Z2给出,其中我们假设圆柱在原点,Y轴是高度轴圆柱体。[30]的作者提出了一种简单的方法,通过简单地存储沿射线观察到的距离的平均距离,将深度集成到高度图然而,在存在眼镜的情况下,某些射线将与皮肤以及眼镜的框架相交,并且平均值将不表示距离的良好估计为了克服这个问题,我们使用了一个cylin的成本体积,我们离散到一个固定数量的箱每一条射线深度样本随后被存储在沿着观看光线的对应仓中,并且具有最大数量的聚合深度投票的仓的距离被存储在高度图中。对应的纹理图像I是通过对来自已经相对于投影方向从最前面的视点捕获的图像的颜色信息进行平均来计算的使用投影方向而不是表面法线来选择相机的优点在于,它导致具有较少接缝的纹理,因为相邻像素的颜色信息将主要来自相同的图像。2. 眼镜分割在计算面部高度图H和相应的纹理信息I之后,我们的目标是检测和分割潜在存在的眼镜。2.1. 眼镜检测我们的方法的第一步是检测眼镜是否存在于给定的输入扫描中。如先前在相关工作中所述,在单色图像上的视差检测是困难的问题,但是附加的高度图值提供了简化检测信号的有用信息1. 外观/深度:我们假设眼镜在颜色外观或重建的深度值方面与面部不同。在大多数情况下,两种模式都指示眼镜框架的形状和颜色2. 联机能力:为了处理大量的噪声和离群值,我们假设框架是从左耳到右耳的连接表面(任意形状)。3. 位置:我们假设内眼标志点被眼镜覆盖。4. 对称性:绝大多数眼镜相对于沿着中心的左右反射在下文中,我们将用数学术语来表达这些假设,并提出将分割作为变分能量项的最小值。变分分割模型。考虑到来自高度图H和对应的纹理图像I的信息,我们通过计算未知指示函数u:λ 0,1来获得眼镜的分割,该未知指示函数 u:λ 0,1被定义在与输入H和I相同的域λR2上。 为了更好的可读性,我们引入了前景集的简写概念:u=1:={x ∈ |u(x)= 1}且水平域边界|你好:x =(0,y) ∨x=(xmax,y)}。我们通过使用连接性约束来强制前景集从左耳xl到达右耳xr,所述连接性约束可以通过另外强制两个起始点都在前景集中而被有效地施加为单源树形先验[48]或单对连接路径[35]这些约束可以有效地强制执行的线性约束上预先计算的最短测地路径树定义。特别地,我们要求存在从像素xl到xr的连接路径C(xl,xr)完全在前景集合内。然后,分割的图像可以被计算为以下优化问题的最小值:非常漂亮对于小矩形区域内的所有点x,通过计算眼睛周围的ROI,我们将所有梯度幅度的高度图H,并找到一个单一的阈值θ,尽量减少u∫。Σλfu+φ(u)Ωdx(2)将戴眼镜的受试者与不戴眼镜的受试者分开。也就是说,如果满足以下条件,则我们检测到高度图中眼镜的存在:∫22阿罗伊进一步包括位置和颜色信息的分类器将更强大,但在我们的情况下不是必需的。2.2. 眼镜分割我们提出了一个通用的模型,它不需要任何学习,但只依赖于输入数据中存在眼镜时的一些简单的假设:服从C(xl,xr)u=1xu(xl)=u(xr)=u(xp)=u(xq)=1,其中xl,xr上的约束保证了连通的两点路径(假设2),而地标点xp和xq上的约束强制它们在前地集合中出现(假设3)-见图2。 2例为地标位置。外观特性(假设1)可以表示为区域项f,例如 通过出现概率f=−logPfg,或在正则化器φ(·)内。正则化子的典型选择是加权总变差项φ( u)=gu2其中函数g:R≥0控制局部光滑度[7]。但是,我们使用6602·····∇| ∇|-||更强大的各向异性正则化函数[40]:.φ(p)=pTp p= I(nI)Hu(nHu)Hl(nHl)。P PP(三)该矩阵由三部分组成,一部分用于纹理图像,两部分用于高度图,前一部分定义为:n =gI(x,p,n)2nTn+nTnn,(4)p是一个对称的非奇异的方阵,它倾向于梯度与我们从图像中提取的给定法线方向nI=I/I2对齐,nI是向量。垂直于n的圆我们选择基于图像的权重-函数为gI(x,p,n)= exp[−λI|I(x)|2]。(五)与Eq.(3)中,该代价函数在切向方向上具有幅值为1的椭圆形,在法向方向上具有gI注意,成本函数相对于图像梯度的符号是对称的,这是期望的属性,因为我们想要与图像梯度方向对准,而不管眼镜的颜色是比皮肤颜色更亮还是更暗-参见,例如,图2,其中框架具有比皮肤更暗和更亮的颜色。相比之下,对于标记函数与高度图中的梯度的对齐,我们想要一个不对称的代价函数,因为我们知道高度图梯度的主导方向:由于眼镜总是在脸的前面,我们知道上玻璃边界的深度梯度是正的,下边界的深度梯度是负的。因此,我们使用更一般的成本函数,称为武尔夫形状[57],它可以是各向异性和非对称的。我们对正法线方向使用加权各向异性椭球形状,对负法线方向使用圆形形状gH(x,p,n)=1[p·n≤0]+1[p·n>0]exp[λH <$yH(x)].(六)该术语仅评估垂直梯度(垂直H),因为它们是深度图中沿玻璃轮廓的主要特征,我们知道垂直方向的符号图中的高度图图2示出了垂直分量梯度对于上分割边界总是指向上,而对于下分割边界总是指向下如果没有这个带符号的方向成本项,分割边界通常会遵循沿着帧内部的深度梯度(其指向相反的方向)。因此,我们精确地定义高度图成本函数的矩阵,如在等式(1)中。(4)但与图2:第一行:在移动电话上计算的多个输入图像和对应的深度图的示例。第二行(从左到右):高度图距离、高度图纹理、内眼标志点。 第三行(从左到右):在没有边界路径约束的情况下计算的上最短路径和下最短路径、边界路径、具有边界路径约束的上最短路径和下最短路径。这里,所有的结果都是在没有对称约束的情况下计算的。分别为上分割边界和下分割边界具有固定法线的Wulff形状nHu=(0,1)T nHl=(0,−1)T.(七)我们通过实验发现,这样的正则化器为分割提供了强大的特征,并且使得像[16]中那样的基于区域颜色的术语变得不必要。在不同的人之间并且在不同的照明条件下的人脸的颜色跨越颜色空间中的大区域,并且基于颜色的分割因此对这样的变化非常敏感或者不是非常有区别。因此,我们假设每个像素的标记似然Pfg=Pbg相等,因此区域项为零(f=0)。不幸的是,这种分割模型有两个缺点:1. 速度:虽然连通性约束对(2)的数值优化没有很大影响,但像[38]这样的最先进算法仍然需要几百次迭代才能收敛。2. 溶解性:具有连通性约束的有效计算[48]只能应用于各向同性正则化器,因为最优最短路径树只能预先计算不依赖于标签的成本。我们规避这些缺点,利用我们的分割问题的特殊结构。通过最短路径进行高效优化 自从骗局-p p使用向上和向下指向的必要性约束的权重函数(6)总是连接左域界-xlxpXRXQ6603∇·-| ∇|与右边的不同,前景集边界总是由上连通路径CU和下连通路径Cl组成,它们分别将上、下背景区域与前景分开。在没有数据保真度项(f=0)的情况下,只有正则化器定义像素级成本c(x)=φ(u(x)),然后前景集的上边界和下边界由通过该成本体积的最短路径对于各向同性正则化器φu(),上下前景集边界的成本是相同的,并且前景区域折叠为通过图像的单个连接路径-确切地说是[48]中预先计算的测地线路径-这对我们的设置没有用。利用等式中的方向相关成本函数,(6)我们得到了两个不同的代价函数,其编码为上边界包含正的深度梯度,下边界包含负的深度梯度。我们简单地计算两个边界路径与Di- jkstra上下边界路径如图所示。红色和绿色分别为2。边界路径依赖不幸的是,上、下边界路径的计算一般不是独立的。如果它们不互相交叉,我们就找到了最佳解决方案,我们就完成了。这在我们的大多数实验中都发生过。如果它们彼此交叉,则防止交叉的简单策略是迭代算法-图3:有和没有对称约束的两个数据集的分割结果。从左至右:具有检测到的对称轴的纹理图像、不具有对称约束的结果、具有对称约束的结果。只在半个域上计算。不幸的是,在这种情况下,我们不能保证找到问题(2)的全局解,但我们通过实验发现,所提出的启发式算法正是我们想要的,更重要的是,这种情况在我们的实验中很少发生。对称约束。由于眼镜的对称性质,可以通过强制对称约束来改进分割。这个想法是沿着眼镜的对称轴翻转和平均每像素成本不幸的是,由于面部对准中的潜在误差以及由于眼镜并不总是完美地水平佩戴的事实,沿着垂直图像轴翻转每像素成本不够准确。因此,我们通过以下方式优化平面内旋转R和平移t:在检测到的交叉处取出一条边,然后重新计算两条最短路径的算法。然后可以迭代,直到不再检测到交叉点或图被分解。尽量减少R, tΣw(x)XH<$(Rx+t)−H(x)<$、(8)连接,没有解决方案。有几种算法可以在改变图中的单 个 边 后 更 有 效 地 重 新 计 算 最 短 路 径 , 例 如DynamicSWSF-FP [39],或所谓的终身规划A* 或增量A*[24]。然而,由于我们正在寻求高效率,我们再次利用特殊的图结构,并提出了一个简单而有效的启发式。我们假设在上、下路径之间存在一条边界路径,它限定了每条路径所能穿越的区域,即上路径位于边界路径之上,下路径位于边界路径之下。问题是,我们事先并不知道这个边界在哪里。如果我们检测到路径交叉,我们假设边界路径穿过交叉点。我们只在先前计算的上下路径之间的域上计算上下路径成本的逐点最小值上的边界路径。在我们得到边界路径之后,我们重新计算由边界路径限制的相应域上的上路径和下路径。边界路径在图中以黑体示出。二、这样,我们用Dijkstra算法的两次或五次迭代得到一个保证无交叉的解,其中后三次迭代中的两次迭代是可选的其中,H<$表示围绕垂直图像轴翻 转 的 高 度 图 , w( x ) = ( 1−exp[−λI|I ( x ) |2] ) ( 1−exp[λHH(x)2]). 这个问题可以有效地并使用基于梯度下降的IM进行鲁棒优化,年龄对齐算法[3]。最终的每像素成本对于边界路径计算,由c′(x)=0的情况。5[c(x)+c<$(Rx+t)].图3我们展示了一个例子分割,其中对称约束是有益的。3. 3D人脸重建[30]中提出的3D人脸重建方法忽略了眼镜,但构成了我们工作的基础,因此在本节中简要重复。该方法由3个步骤组成,即对准优化、模型拟合步骤和高度图优化,高度图优化将高度图的差异调节为模型拟合。对齐优化。 我们发现这个对齐操作-使用截断成本函数的优化非常稳健并且即使在有眼镜的情况下也能够很好地对准面部。其思想是寻找一种相似性变换,该变换最小化需要对齐的高度图与参考高度之间的绝对差的截断和6604∈2Fβ2 2ǁ· ǁ图4:各种模型和主题的分割结果。在大多数情况下,我们的分割模型很好地描绘了眼镜的形状。分割由上(红色)和下(绿色)边界路径表示。只有在非常具有挑战性的情况下,如透明或无框眼镜,分割失败(右下)。然而,在这种情况下,连续的3D重建将几乎不受影响,因为沿着玻璃框架缺失深度值统计模型的平均面图。更多细节可以在[30]中找到。模型通过优化得到正则化残差uΣ模型拟合。 令fRWH是通过将高度图H的所有像素堆叠在彼此顶部而构建的向量。W尽量减少ui、j阿努岛+λ<$(ui,j−Ri,j)<$2、(10)和H表示高度图的宽度和高度。 通过将基于协方差的PCA应用于平均归一化数据矩阵D =[f1,. . . ,fp]得到了一个静态的人脸模型=(µ,σ,U),其中µ表示平均值,σ表示标准差,U是主成分的标准正交基[5,37]。拟合这样的模型向量化高度图f等于找到系数β,使得f=μ+Udiag(σ)β。在这项工作中,我们估计的系数最小化minimizeUdiag(σ)β−(f−µ)<$2+<$αβ<$2,(9)其中α是将拟合拉向均值的参数。这是一个常用的策略,防止过拟合[5]。虽然这种拟合方法与[30]略有不同如果眼镜被忽略,则模型拟合容易导致面部几何形状的退化。高度图正则化。低维参数模型不能表示实例特定的变化,如痣、凹痕、疤痕或皱纹。我们希望恢复深度图中存在但尚未被模型捕获的细节。此外,由于面部的一部分被眼镜覆盖,我们希望使用该模型来获得遮挡区域的合理重建作为在[30]中,我们正则化通过从高度图H减去拟合模型HF获得的残差R。对于属于眼镜的所有像素,我们将残差设置为零。这相当于完全由装配的其中λ∈R≥0是一个权衡平滑度与数据保真度的权重,λ表示Huber范数[11]。 通过将正则化残差添加到拟合模型H=HF+R来获得最终重建H。眼镜重建。当我们使用Eq。(10)为了优化面几何形状并忽略深度测量,在分段玻璃内的部分,我们使用相同的能量(10)来计算玻璃框架的几何形状。我们仅在分段眼镜内优化高度图,并且仅使用接近于分段边界的深度值,其主要包含来自帧的深度测量,并且将所有其他数据保真度值Ri,j设置为零,也就是说,我们有效地解决了深度修复问题[12]。为了更好的一致性,我们通过平均眼镜的几何形状来利用先前检测到的对称性。4. 实验评价我们对合成数据和真实数据进行了一系列实验,以评估我们的分割方法,以及随后的重建:1)人脸的变化,2)人脸形状的变化,以及3)深度图上噪声水平的变化。然而,数据集中的闪电存在变化,因为扫描是在不同的位置采集的所有的测试数据都是用三星Galaxy S7或摩托罗拉Nexus 6手机采集的。分割评估。在图4中,我们评估了高度图在各种形状和人脸上的分割。红色和绿色的路径描绘了上层6605联系我们图5:图5的一些数据集的示例手工标记的地面实况片段。4.第一章和玻璃分段的下分段边界。我们的分割方法鲁棒地分割了大多数非线性形状。主要的困难是无框眼镜,如最后一列底部所示,因为在高度图值和彩色图像中几乎没有证据。我们还对图1的数据集的分割准确性进行了定量评估。4使用手工标记的地面实况分割(也见图4)。(五)。平均交叉-联合评分为0。84(0. 当在中心区域X上评估时,高度图宽度为150,为30×120)。没有对称约束,得分为0。81(0. 88)。合成数据的鲁棒性和准确性评估。 由于获取地面真实人脸模型的困难,我们进行了综合评估,其中我们增强了戴眼镜的3D人脸模型。对于每一个模型,我们已经渲染了15个深度图和纹理图像,从不同的视角覆盖面部区域。深度图已经通过删除50%的数据和增加零均值高斯噪声的水平而被破坏。为了评估重建的准确性,我们使用[13]中提出的距离度量。正如我们可以看到的图。6和Tab。1我们的方法很好地处理了噪声,并产生了看似合理的重建,在视觉上与没有眼镜的模型上的重建结果非常相似。遮挡区域的误差幅度较大,但只要重建在视觉上令人愉悦,这就很好0 1 2 3 4 5图6:重建精度的综合评价。第一行:具有和不具有眼镜的3D头部模型以及对应的地面真实深度的示例。使用15个深度图计算重建结果,其中缺失数据为50%,高斯噪声为零均值,σ=0, 2, 4, 6, 8 [mm](从左到右)。第二和第三行:没有眼镜的样本模型的重建结果。第四和第五行:结果是相同的模型与眼镜。颜色贴图单位为毫米。σ=0的情况。0二、04.第一章0六、08.0租m与分割的结果,与-不戴眼镜(平均)0的情况。10的情况。20的情况。30的情况。50的情况。8在前面的分割。如果没有分割,不戴眼镜(最多)3 .第三章。03 .第三章。43 .第三章。53 .第三章。64.第一章1模型拟合试图适应面部的深度值眼镜(平均)0的情况。30的情况。40的情况。50的情况。70的情况。8和眼镜,这导致强烈扭曲的模型,眼镜(最大)4.第一章04.第一章34.第一章03 .第三章。74.第一章1(Fig.8,右下角)。表1:3个不同模型的平均值,有和没有眼镜的模型重建的平均值和最大误差[mm]。6606真实数据的稳健性和准确性评估。 在图7中,我们显示了各种3D结果,同样针对不同的面以及不同的玻璃形状。我们的算法也在眼镜所包含的区域内产生了非常合理的结果。图8比较了我们的al-运行时。在三星Galaxy S7上,高度图分辨率为150×120像素,深度图分辨率为320× 240像素的时间在Tab中报告二、5. 结论本文提出了一种适用于移动设备的人脸和眼镜三维重建的新方法。我们的方法使用圆柱形高度图来聚合具有相应深度的输入深度图6607深度计算集成(每个深度图)105毫秒对准(一次)2000ms纹理计算(使用30张图像,一次)1800ms分割(一次,每个最短路径约40ms)100 ms模型拟合(一次)200ms正则化(一次,700次迭代)2200ms总计(30个深度图)9450ms[30]第30话我的世界眼镜图7:不同受试者佩戴不同形状眼镜的结果。从左至右:样本输入图像,使用[ 30 ]中提出的方法获得的结果,使用所提出的方法获得的结果,使用我们的方法获得的眼镜重建。[30]第三十话图8:戴眼镜和不戴眼镜的受试者的模型拟合结果与[30]的比较,[ 30 ]在模型拟合之前没有摘下眼镜。忽略眼镜会导致模型中的显著失真(右下)。表2:三星Galaxy S7的平均运行时间(未优化代码).除了分段(粗体)之外,所有步骤和运行时都与[30]类似,仅导致1%的运行时开销。颜色信息。我们引入了一个变分模型的高度图内的眼镜分割,并表明分割问题可以更有效地解决或近似计算一系列的两个或五个Dijkstra最短路径计算。然后,我们的方法随后通过将统计面部模型拟合到非玻璃几何形状来重建3D面部,然后正则化形状模型和聚合高度图之间的差异,这允许重建特定于实例的细节。类似地,我们能够通过正则化分段玻璃区域内的聚集高度值来重构玻璃的几何形状对合成数据和真实数据的多次实验表明,该方法对噪声、光照条件、不同人脸和玻璃形状的变化具有很好的鲁棒性。虽然我们的模型不需要一个数据库来可靠地分割各种各样的眼镜,但在未来的工作中,我们希望探索眼镜学习模型的性能。鸣谢。这项工作得到了瑞士CTI的Grant 16703.1 PFES-ES 的 支 持 。 我 们 非 常 感 谢 MüllerOptikZürichAG(http://www.mueller-optik.ch)为实验提供了各种不同的光学模型。戴眼镜不戴眼镜6608引用[1] O. Aldrian和W. A. P.史密斯。用3d可变形模型逆向绘制人脸。TPAMI,35(5):1080 2[2] B.安贝格河Knothe和T.维特基于形变模型的表情不变三维人脸识别。在IEEE国际会议上自动人脸手势识别,2008年。2[3] S. 贝克和我马修斯卢卡斯-卡纳德20年:统一框架。国际计算机视觉杂志,56(3):221-255,2004。5[4] J. P. Barreto和H.阿劳霍中心折反射成像的几何学问题见CVPR,第2卷,第IIIEEE,2001年。2[5] 诉 Blanz 和 T. 维 特 三 维 人 脸 合 成 的 可 变 形 模 型SIGGRAPH,1999年。二、六[6] D. Borza,A. S. Darabant和R.达内斯库 利用有效形状描述从 人脸 图像 中提 取眼 镜镜片 轮廓 。 传感 器,13(10):13638-13658,2013. 一、二[7] X. Bresson,S. Esed og'lu ,P. J.Vande r gh e ynst,J. - P.Thiran和S.奥舍活动轮廓/蛇模型的快速全局最小化。28(2):151-167,2007. 3[8] A. Brunton,T.Bolkart和S.乌勒Multilinear wavelets:人脸 的 统 计 形 状 空 间 。 见 ECCV , 第 297-312 页 。Springer,2014. 2[9] X. P. Burgos-Artizzu,J.弗勒罗岛Dumas,T.Tapie,F.L.Clerc和N. Mollet实时表情敏感头戴式显示器人脸重建。SIGGRAPH Asia Technical Briefs , 第 9 : 1-9 : 4 页 。ACM,2015. 2[10] C. Cao,中国粘蝇D.Bradley,K.Zhou和T.比勒实时高保真面部表情捕捉。 TOG,34(4):46,2015. 2[11] A. Chambolle和T. Pock凸问题的一阶原对偶算法及其在成像中的应用JMIV,40(1):120-145,2011. 6[12] T. F. Chan和J. Shen。局部非纹理修复的数学模型。SIAM J. Appl. Math,62:1019-1043,2002. 6[13] P. 奇尼尼角Rocchini和R.斯科皮尼奥Metro:在简化曲面上测量误差。在计算机图形论坛,第17卷,第167-174页。Wiley Online Library,1998. 7[14] B. Curless和M.勒沃从深度图像建立复杂模型的体积方法。计算机图形学与交互技术会议,1996年。2[15] A. Delaun oy,E. 普拉多斯山口G. I. Pirac e's,J.- P. 脑桥和P. Sturm.最小化三角形表面网格的多视点立体重投影误差。BMVC,2008年。2[16] B. 艾格 A. 施耐德 C. 布鲁默 A. 莫尔-福斯特公司S. Schnborn和T.维特具有遮挡感知的3d可变形人脸模型。在BMVC,2016年。二、四[17] A. 弗恩阿南德斯河 加尔恰河 Usamentia g a和R. 卡萨多基于鲁棒对准的真实图像眼镜检测。Machine Vision and Applications,26(4):519-531,2015. 2[18] S. Fuhrmann和M. Goesele浮秤表面改造. TOG,33(4):46,2014. 2[19] C. Geyer和K.丹尼尔迪斯中央全景系统的统一理论及其实际意义。见ECCV,第445-461页。Springer,2000年。2[20] V.H.的希普河Keriven,P. Labatut和J.- P. Pons. 走向高分辨率大规模多视点立体。CVPR,2009。2[21] P. Hube r,Z. 冯,W. J. 圣诞节,J。 Kittle r和M. 好吧。利用局部特征拟合三维可变形人脸模型。在ICIP,第1195-1199页,2015年。2[22] 诉卡泽米角,澳-地Keskin,J.Taylor,P.Kohli和S.伊扎迪从单个深度图像实时重建人脸。在3DV,2014年。2[23] M. Kazhdan,M. Bolitho和H.霍普泊松曲面重建《小额赠款方案》,2006年。2[24] S. Koenig和M.利哈乔夫增量a*。NIPS,第1539-1546页,2001年5[25] K. Kolev,M. Klodt,T. Brox和D.克莱姆斯多视点三维重建中的连续全局优化。IJCV,84(1):80-96,2009.2[26] K. Kolev,P.Tanskanen,P.Speciale和M.波勒菲斯把手机变成3d扫描仪。CVPR,2014。2[27] P. Labatut,J.- P. Pons和R. 克里文使 用兴趣点、 de-launay三角剖分和图割的大规模场景的高效多视图重建载于ICCV,2007年。2[28] 诉Lempitsky和Y.博伊科夫形状拟合的全局优化CVPR,2007。2[29]F. 马宁切达角 哈恩湾 J a cquet,A. Delaunoy,以及M. 波勒菲斯头部语义三维重建。 在ECCV,2016。2[30] F. 马宁切达角 你好,M. R. Os wald和M. Pollefeys. 使用高度图形状模型和快速正则化在移动设备上进行人脸重建。在3DV,2016年。二三五六八[31] C. Mei和P.里夫斯基于平面网格的单视点全方位摄像机标定见ICRA,第3945IEEE,2007年。2[32] M. Menze和A.盖革自动驾驶车辆的对象场景流CVPR,2015。2[33]R. A. 纽科姆,S。 伊扎迪河 希利格斯,D。莫利诺D. Kim,A.J. Davison,P.Kohi,J.Shotton,S.霍奇斯,A.菲茨吉本运动融合:实时密集表面映射和跟踪。见ISMAR,第127-136页。IEEE,2011年。2[34] P. 翁德尔乌什卡山口 Kohli和S. 伊扎迪Mobilefus ion:移动 电 话 上 的 实 时 体 积 表 面 重 建 和 密 集 跟 踪 IEEEtransactions on visualization and computer graphics ,2015年。2[35] M. R. Oswald,J. Stuühme r和D. 克莱姆斯时空三维重建的广义连通性约束在ECCV,第32-46页,2014年。3[36] A. Patel 和 W. A. 史 密 斯 3D 形 变 人 脸 模 型 的 研 究 。CVPR,2009。2[37] P. 佩桑河诺特湾Amberg,S.Romdhani和T.兽医。一种用于姿态和光照不变人脸识别的三维人脸模型2009.二、六[38] T. Pock和A.尚博尔凸优化中一阶原对偶算法在ICCV,第1762-1769页,2011年。46609[39] G. Ramalingam和T. W.代表。一个增量算法的推广最短路径问题。J. Algo-rithms,21(2):267-305,1996。5[40] C. Reinbacher,T.波克角Bauer和H.比肖夫细长体积结构的变分分割。CVPR,2010。4[41] S. Ren,X. Cao,Y. Wei和J. Sun.通过回归局部二进制特征以3000fps进行面部对齐。在CVPR,第1685-1692页,2014年。2[42] J. Roth,Y.Tong和X.刘某基于无约束照片集的自适应三维人脸重建CVPR,2015。2[43] D. Scharstein和R.塞利斯基密集两帧立体对应算法的分类与评估IJCV,47(1-3):7-42,2002. 2[44] J. L. Schonberger和J. M.弗拉姆结构从运动重新审视。在CVPR,2016年6月。2[45] T. 好了,T。 萨特尔河角 H ane和M. Pollef e ys. 移动3D建模:在移动设备上进行大规模场景的交互式3D重建在3DV,2015年。2[46] M. Sharif,S.薄伽瓦图拉湖Bauer和M. K.瑞特教唆犯罪:对最先进的人脸识别技术进行真实和隐秘的攻击。在CCS中。ACM,2016。1[47] M. D.斯梅特河Fransens和L. J.V.古尔。一种用于遮挡条件下基于三维模型的人脸识别的广义EM方法。见CVPR,第1423-1430页,2006年。2[48] J. S tuhme r,P. Schr oüde r和D. Cre m ers.用凸松弛法求一般图上具有连通性约束的三形先验在ICCV,第2336-2343页,2013年。三、四、五[49] S.苏瓦贾纳孔岛Kemelmacher-Shlizerman和S. M.塞茨 完整的移动人脸重建。 2014年,在ECCV。 2[50] P. Tanskanen,K.科列夫湖Meier,F.坎波塞科岛Saurer和M.波勒菲斯手机上实时测量三维重建。InICCV,2013. 2[51] J. Thies,M. Zollh oüfer,M. Sta m minge r,C. Theobalt和M.尼斯纳Face2Face:实时人脸捕捉和RGB视频重现。在SIGGRAPH中,第5:1-5:2页2[52] B. Ummenhofer和T.布洛克斯全球,密集的多尺度重建十亿个点。在ICCV,第13412[53] D. 弗拉希奇M. Brand,H. Pfiste r和J. 我的天多线性模型的空间转移2005. 2[54] C.吴角,加-地Liu,H. Shum,Y. Xu和Z.张某从人脸图像中自动去除眼镜。TPAMI,26(3):322 1[55] C. 扎克深度图的快速和高质量融合在3DPVT,2008年。2[56] C. Zach,T. Pock和H.比肖夫鲁棒tv-l1距离像积分的全局最优算法。载于ICCV,2007年。2[57] C.扎克湖Shan和M.尼萨默全局最优芬斯勒活动轮廓。见DAGM,第552-561页,2009年。4
下载后可阅读完整内容,剩余1页未读,立即下载
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- zigbee-cluster-library-specification
- JSBSim Reference Manual
- c++校园超市商品信息管理系统课程设计说明书(含源代码) (2).pdf
- 建筑供配电系统相关课件.pptx
- 企业管理规章制度及管理模式.doc
- vb打开摄像头.doc
- 云计算-可信计算中认证协议改进方案.pdf
- [详细完整版]单片机编程4.ppt
- c语言常用算法.pdf
- c++经典程序代码大全.pdf
- 单片机数字时钟资料.doc
- 11项目管理前沿1.0.pptx
- 基于ssm的“魅力”繁峙宣传网站的设计与实现论文.doc
- 智慧交通综合解决方案.pptx
- 建筑防潮设计-PowerPointPresentati.pptx
- SPC统计过程控制程序.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功