没有合适的资源?快使用搜索试试~ 我知道了~
1用于形状和反照率恢复曹旭1迈克尔·韦克特1石博新2、3叶高4柏正4松下康之11大坂大学2北京大学3鹏程实验室4华为技术有限公司公司摘要我们提出了一个最小的成像设置,利用几何和光度的方法来恢复形状和颜色。我们采用立体相机和闪光灯来拍摄立体图像对和闪光灯/无闪光灯对。从立体图像对中,我们恢复了一个粗略的形状,该形状捕获了低频形状变化而没有高频细节。从闪光/无闪光对出发,推导了自然光照下朗伯物体的成像模型,并在此基础上得到了一个精细的法线图,并将其与粗糙形状融合。此外,我们使用闪光/无闪光对投射阴影检测和消除阴影,使形状恢复鲁棒性对阴影和阴影变化。我们验证了我们的方法在合成和真实世界的数据的有效性1. 介绍从图像中恢复形状是计算机视觉中的一个基本问题。常用方法通常分为两类:几何或光度方法。几何方法从多个视点获取场景的图像,在图像之间找到点对应并建立它们的几何位置以恢复形状。它们通常不能恢复高频形状细节,因为它们基于块的立体匹配在空间分辨率方面具有根本限制[18]。另一方面,光度方法使用着色线索来恢复每像素的表面方向。例如,从阴影恢复形状(SfS)从单个方向的一个远距离光线下拍摄的单个图像恢复每个像素的表面法向量[16];光度立体使用不同照明条件下相同视点的三个或更多图像恢复表面法线和法线[29]。光测方法通常仅恢复形状的一阶导数而不是形状本身。由于几何和光度方法的互补性,一些作品结合了高质量的形状恢复。基于从一组图像的多视图立体结果,吴等人。[31]探索这些图像中的阴影提示以恢复高频细节。Zhang等人[35]用于边缘保持形状恢复的组合的主动立体和照片度量立体。使用几何和光度提示的这种组合的问题在于成像设置是复杂的:几何方法需要来自多个摄像机或一个移动摄像机拍摄的多个视点的图像。另一方面,光度测定方法需要可以生成多种照明条件的捕获设置。Zhang等人[35]在Kinect传感器周围安装3个灯,以获取不同照明下的图像; Choe等人[6]在Kinect上安装了一个灯泡,红外投影仪和光交替在图像捕获。有几件作品没有使用灯光设置,只使用了用于几何方法的图像中的阴影提示。然而,这种简化要么对可以重建的场景进行严格限制,例如均匀的重复[31,11],要么需要额外的重复估计步骤[34]。因此,两者都可以在恢复的形状上引入纹理复制伪影[24,38],其中将阴影或阴影变化误认为形状变化。在本文中,我们提出了一个最小的成像设置的形状和恢复朗伯表面,同时受益于这两种方法的优势,并保持紧凑。使用立体相机和手电筒拍摄三幅图像:没有闪光灯的左图像、没有闪光灯的右图像和有闪光灯的左图像,如图所示在图1(a)中。 左无闪光图像和右无闪光图像构成立体对,其提供用于粗略形状再加工的几何线索,并且左闪光/无闪光图像对提供用于高频细节恢复的着色线索。该设置是最小的,因为仅从闪光/无闪光对恢复表面法线是不适定问题,而没有从立体对的粗略形状估计的正则化;三个未知数(一个用于单位表面法向量,两个用于单位表面法向量)不能用每个像素的两个着色约束唯一地求解。类似地,高频形状细节不能在没有闪光/无闪光对引入的阴影约束的情况下从立体声对[18因此,我们的设置允许高保真的形状和34303431表面左视图闪烁左摄像头右摄像头闪光灯无闪光灯左视图无闪光右视图(a) 成像设置(b)正常(c)形状(d)反照率图1:我们采用立体相机和手电筒,拍摄3张图像,并恢复高保真法线,形状和地图。1自然光照下非均匀散射的朗伯表面的散射恢复。我们的工作贡献如下:1. 我们提出了一个紧凑的成像设置的形状和恢复,使用几何和照片度量线索。2. 我们推导出一个闪光/无闪光图像对的图像形成模型,该模型适用于自然光照下具有非均匀反射的朗伯表面,基于该模型可以恢复高频形状细节。3. 我们提出了一个强大的形状恢复框架,采取的闪光灯/无闪光灯对全局照明估计和处理投下的阴影的比率图像的优势。2. 相关工作我们的工作涉及基于阴影的形状恢复和闪光摄影。形状恢复通过几何方法进行的形状恢复在恢复高频细节方面具有基本的局限性[18]。首先,光度学方法使用图像中的着色线索来恢复每像素的表面法线已经提出了通过结合几何方法和光度方法的优点来进行高质量形状恢复的各种方法。虽然光度方法通常假设没有环境照明的受控照明条件,但当它们与几何方法组合时,可能违反这一假设,并且它们面临更复杂的照明条件。Basri等人[4]证明,朗伯表面,其反射率可以被建模为球谐子的低维线性组合。自然照明下的光度立体1本文中所有图像的亮度都经过调整,以更好地可视化。在理论验证后,证明是可行的[3,17]。这种方法已被纳入几何方法。这种组合的算法结构是估计粗略的深度图,然后从粗略的深度图估计照明和亮度,然后进行优化,包括但不限于深度、阴影和平滑度约束[26,31,33,34]。估计全局球谐系数通常在局部区域失败,其中投射阴影或镜面反射占主导地位的强度。为了缓解这个问题,Hanet al. [11]将照明分割为全局和局部部分,Or- El等人。[24]基于一阶球面谐波处理局部照明,Maier等人。[21]提出了空间变化的球谐函数。除了在可见光谱中捕获的强度图之外,还探索了捕获用于阴影提示的红外(IR)图像的设置[6,12]。为了解决动态场景,Wuet al.[30,32]提出了适合于精炼RGB-D流的方法此外,体积符号距离函数已被用于编码几何信息[5,21,37]。将光度学线索应用到多视点形状恢复中也是一个活跃的研究问题。Gallardo等人[10]在非刚性运动结构中使用阴影线索,Maurer等人。[22]在包含几何和光度约束的形状上进行了优化。闪光灯摄影已经探索了用闪光灯拍摄的图像的不同方面,以帮助各种计算机视觉任务。由于光强度衰减,当比较闪光和无闪光图像时,靠近闪光灯的物体比远处的物体具有更强的外观变化这已用于图像抠图[28],前景提取[27]和显着性检测[13]。在低光条件下,闪光灯图像捕捉高频细节,但改变了场景的整体外观,而无闪光灯图像捕捉整体环境氛围,但有噪声。这种互补性已被用于3432左无闪光不闪右粗形粗法线左闪精细法线初始化精细形状反照率图2:我们方法的管道。首先从立体对中获取粗形状和法线图。闪光/无闪光对然后用于优化精细法线贴图,给定粗略法线贴图作为初始化。通过融合精细法线图和粗糙形状来获得精细形状也可以使用来自我们的图像形成模型的精细法线映射来计算一个多点映射。暗光照明下的摄影增强[8]、去噪、细节转移或白平衡[25]。此外,由闪光灯引入的光度提示在立体匹配中是有用的。Feris等人[9]证明了手电筒沿着深度不连续性投射的阴影有助于在立体匹配中检测半遮挡点Zhou等[36]表明闪光/无闪光对的比率可以使立体匹配对深度不连续性鲁棒。此外,闪光灯的图像中使用的空间变化的BRDF(SVBRDF)恢复。从启用闪光灯的相机或闪光灯/无闪光灯对[2]捕获的单个图像用于近平面物体[1,7,19]或具有复杂几何形状的物体[20]的SVBRDF和形状恢复。我们的工作不同于以往的作品,我们解释,参数化的图像由手电筒照亮,并使用闪光/无闪光的图像对推导出一个无闪烁的图像形成模型的几何细化。3. 图像形成模型图2说明了我们的方法的一般流水线记下我们如何优化精细的法线贴图,以及如何使其对投射阴影具有鲁棒性。对于具有朗伯反射率的表面的图像,在像素处观察到的强度m∈R可以被建模为由λdo ρ∈R缩放的阴影函数s:S2→R:m= ρ s(n)。(一)着色函数s应用于表面法线n∈ S2<$R3,并取决于环境照明。现在考虑一个闪光/无闪光图像对,两者都遵循-低Eq.(一). 我们假设闪光灯/无闪光灯图像对是从相同的视点拍摄的,场景是静态的,并且环境照明保持不变。在闪光/无闪光对中的相同位置处的像素然后记录相同表面块的强度,我们将其表示为mf和mnf,关于iv el y。观察到的强度差mf−mnf是由仅由手电筒引入的附加阴影sfo(n)引起的你好,因此,我们有两个方程:.恢复体形和肌肉首先,我们获得粗糙的形状通过立体匹配[14]从立体对,然后我们使用闪光/无闪光对来优化粗略形状,以获得高质量的形状和轮廓。由于我们的图像形成模型,从粗到细的形状再加工是可能的。mnf=ρsnf(n)mf−mnf=ρsfo(n),将两个等式相除,得到:(二)从闪光灯/无闪光灯对中分离出来在本节中,我们推导出图像形成模型。在下一节中,我们3433将-nnf(n)=.(三)mf−mnfsfo(n)34341 23(a) 无闪蒸(b)比率(c)特写图3:根据等式2计算比率图像。(3)取消了闪光/无闪光图像对请注意,除法抵消了ρ,这意味着我们不必对ρ做任何假设,例如,一致性这导致了一个无阴影的图像形成模型,它只描述了阴影和观察到的强度之间的关系。图12说明了这种消除干扰的效果3 .第三章。图中的垫子3(a)具有清晰的条纹,将9个系数转化为向量lnf∈R9,得到:snf(n)=h(n)<$lnf.(六)注意,l和lnf不同;l是光线方向,lnf是线性组合系数的堆叠对于手电筒,我们假设它是一个在无限远处的点光源闪光灯的方向是[0,0,-1]m。 此外,我们将闪光强度表示为ef. 由于手电筒是唯一的光源,shadingsfo(n),等式(4)可以适用,其内容如下:sfo(n)=efmax([n1,n2,n3][0,0,−1]n,0)=−efn3. (七)对于简单的y,我们丢弃了max(·,0)项,因为如果表面片对相机可见,则表面法线异常发生仅当法线几乎垂直于透视投影下的光线时。替换方程(6)和(7)中的方程。(3)产量:与垫子的其余部分不同,因此强度变化是由阴影变化和阴影变化的联合效应引起的。通过计算闪光灯/无闪光灯h(n)n′−n3=mnfmf−mnf、(8)对,我们的图像形成模型取消了如图所示的双变量。3(b)款。在下文中,我们称之为Eq。(3)闪光/无闪光图像对的比率图像着色模型我们现在讨论如何对两个着 色 函 数 snf(n)和sfo(n)建模。根据朗伯定律,在法线为n的曲面片处,由强度为e:S2 → R的方向l ∈ S2 → R 3上的一条光线引起的反射光由下式s(n)=e(l)max(n≤l,0),(4)如果光线从多个方向到达曲面片,则反射光成为所有可能入射方向上的积分∫其中l′=lnf/ef是按手电筒强度缩放的球谐系数向量,我们称l′为全局照明向量。这个图像形成模型现在明确地与表面法线、照明和观察到的强度相关。4. 形状和反照率恢复在本节中,我们详细介绍了我们的形状和基于半全局立体匹配的给定闪光/无闪光对和粗略形状的恢复[14]。现在,我们假设等式中的全局照明矢量l′(8)并且粗略法线贴图可用,并且场景中没有投射阴影。我们将在本节后面描述如何获得这些。我们将表面法线恢复公式化为具有阴影约束、表面法线约束和单位长度约束的每像素能量函数优化:s(n)=e(l)max(n≠l,0)dl, (5)minE(n)+λE(n)+λE(n),S2NS1n2u(九)正如Basri和Jacobs [4]所研究的那样,朗伯表面充当低通滤波器,并且阴影可以通过低维模型来近似,如球面调和函数[4]或二次函数[17]。我们使用二阶球谐函数来参数化着色函数其中λ1和λ2是两个加权因子。阴影约束最小化比率图像与等式中的估计比率图像之间的平方差。(八)、.Σ2⊤′mnf在无闪光条件下。虽然球谐函数是定义在S2上的基函数,但它们可以用Carte表示Es(n)=h(n)l +n3F -mnf.(十)西安坐标表示n=[n1,n2,n3]n,二阶球谐函数可以堆叠成向量h(n),如下:h(n)=[1,n1,n2,n3,n1n2,n1n3,n2n3,n2−n2,3n2−1]n。无闪光照明下的阴影则是这些球谐函数的线性组合。堆叠M3435双方在Eq。(8)乘以n3,以避免可能的数字问题。利用表面法线约束,我们强制细化表面法线接近粗糙表面法线n(0),即,点积应该接近1:En(n)=(1−n<$n(0))2.(十一)3436我我我NF最后,我们强制曲面法向量的单位长度Eu(n)=(1−n<$n)2.(十二)由于球谐函数成像模型的非线性,这种优化成为一个非线性最小二乘问题,我们解决BFGS。优化法线贴图后,我们按照Nehab的方法将其与粗糙形状融合可以根据Eq.(2)在全球范围内ef为:mnfefmnfρ= h(n)<$l= h(n)<$l′。(十三)我们现在详细介绍如何获得粗糙的法线贴图,计算全局光照矢量,以及处理投射阴影。获得粗糙表面法线我们使用PlanePCA方法[15]计算法线映射。给定相机固有函数,深度图中具有有效值的所有像素都被投影到相机坐标。对于每个点,搜索其最近的相邻点,并且通过将平面拟合到其相邻点来找到该点的表面法线对于小y,g i是点的集合P={p1,p2,.,pn},pi∈R3,通过最小化以下目标找到pi处的粗糙表面法向量n(0)(a) 比值img.(b)无闪光img. (c)flash img.图4:比率图像和投射阴影之间的关系。亮比率图像区域和暗比率图像区域分别对应于由环境照明和闪光灯引起的投射阴影虽然粗糙的法线贴图仅表示低频形状,但我们在补充材料中证明,估计的照明仍然与从地面真实法线贴图估计的照明一样准确。处理投射阴影图像形成模型的基础上描述的球谐方程。(4)处理附加的阴影,但无法建模投射阴影[4]。因此,我们的图像形成模型在区域中分解n(0)=argminn(0)Σp∈N(p)(pj−p<$i)n(0),(14)主要由投射阴影和方程中的优化。(9)会产生伪影。为了解决这个问题,我们引入了一个配置-i j i其中N(pi)是p i的邻域点的集合,p <$i是所有p j∈ N(p i)的均值。 我们通过欧氏距离来测量点的接近度,并执行球查询来搜索p i的邻域点:将dence项ω引入能量函数minωEs(n)+λ1En(n)+λ2Eu(n),(17)n其中ω表示像素处的图像形成模型的置信度。我们将其定义为:¨ ¨N(pi)={pj|<$pj−pi<$2
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- VMP技术解析:Handle块优化与壳模板初始化
- C++ Primer 第四版更新:现代编程风格与标准库
- 计算机系统基础实验:缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台:证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统:加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习:查询分析与高级操作
- 海底数据中心散热优化:从MATLAB到动态模拟
- 移动应用作业:MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解:从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX:从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程:JUC核心概念解析与应用
- 数据结构实验报告:基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)