没有合适的资源?快使用搜索试试~ 我知道了~
1CompenNet++:端到端全投影仪补偿炳耀黄寺大学bingyao. temple.edu石溪大学StonyBrook Universityhling@cs.stonybrook.edu摘要全投影仪补偿旨在修改投影仪输入图像,使其能够补偿投影表面的几何和光度干扰。传统的方法通常分别解决这两个部分,虽然他们是已知的相互关联。在本文中,我们提出了第一个端到端的解决方案,名为CompensNet ++,以解决这两个问题。我们的工作对CompensNet [ 15 ]进行了非平凡的扩展,CompensNet[15]最近被提出用于具有良好性能的光度首先,我们提出了一种新的几何校正子网,它被设计为具有级联的粗到细结构,以直接从光度采样图像学习采样网格。其次,通过将几何校正子集与CompensNet连接,CompenNet ++实现了完整的投影仪补偿,并且是端到端可训练的。第三,经过训练,我们显著简化了几何和光度补偿部分,从而大大提高了运行时间效率。此外,我们构建了第一个独立于设置的完全补偿基准,以促进对这一主题的研究。在我们的实验中,我们的方法显示出明显的优势,与以往的技术,有前途的补偿质量,同时是实用方便。图1:全投影仪几何校正和照片测量补偿:(a)具有非平面和纹理表面的系统设置(b),(c)没有补偿的投影结果,(d)通过我们的方法的完全补偿的图像,(e)照相机捕获的补偿投影结果(即,(d)投射到(b)上),和(f)期望的视觉效果。比较(c)和(e),我们可以清楚地看到几何形状、颜色和细节的改进补偿投影设置几何和相关的光度环境。我们的解决方案的一个例子如图所示。1,其中补偿的投影结果(e)明显比(c)中的未补偿的投影结果在视觉上更令人愉快。1. 介绍随着投影仪技术的最新发展,投影仪在许多应用中越来越受欢迎[1,4,8,9,11,16,24,29,35,36,39]。现有系统通常要求投影表面(屏幕)在合理的环境照明下是平面的、白色的和无纹理的。这些要求通常会对投影仪系统的推广造成瓶颈。投影仪几何校正[5,24,28,29,38]和光度补偿修正[1,3,10,15,39]或全投影仪几何校正和光度补偿1[2,4,12,30,35,36]旨在通过修改投影仪输入图像来解决这个问题,*通讯作者。[1]在本文的其余部分,我们称之为对简明的充分补偿一个典型的全补偿系统由一个投影机-摄像机(pro-cam)对和一个以固定距离和方向放置的非平面纹理投影表面组成(图1)。1(a))。大多数现有的方法在两个单独的步骤中工作:(1)几何表面建模,例如,通过一系列结构光(SL)图案[8,22],以及(2)在几何校正投影的顶部上进行颜色补偿。尽管相对容易实施,但这两步管道有两个主要问题。首先,几何映射/校正通常是离线执行的,并假设独立于光度补偿。该步骤通常请求某些模式(例如,SL网格),可能会受到干扰的表面外观(例如,反射,见图。(六)。其次,由于pro-cam系统中涉及的极其复杂的测光过程,传统的测光补偿解决方案很难忠实地完成其任务。7165相机FOV一表面相机投影仪DeBFC7166最近,引入了一种名为CompensNet [15]的端到端光度补偿算法,并显示出深度神经网络相对于传统解决方案的巨大优势然而,它使几何校正部分保持不变,因此仅限于平面表面。此外,正如本文所示,它的运行时间效率仍有改进的余地。为了解决上述问题,在本文中,我们提出了第一个端到端的解决方案,名为Compen-Net ++,用于完整的 投 影 仪 补 偿 。 CompensNet ++ 非 平 凡 地 扩 展 了CompensNet,并在统一的卷积神经网络(CNN)管道中联合解决了几何校正和光度补偿。特别是,通过考虑补偿公式中的几何和光度成分,我们精心设计了CompensNet ++,由两个部分组成。第一个子网是一个新 的 级 联 粗 到 细 采 样 网 格 预 测 子 网 , 命 名 为WarpingNet(图3),它执行几何校正;而第二子网是用于光度补偿的原始CompenNet的改进版本。值得强调 的 是 , 这 两 个 函 数 是 直 接 连 接 的 , 这 使 得CompensNet ++具有端到端的可训练性。此外,根据[15]中的评估程序,我们构建了第一个已 知 的 非 平 面 纹 理 表 面 的 设 置 无 关 的 完 全 建 议CompensNet ++是在这个基准上进行评估的,该基准经过精心设计,涵盖了各种具有挑战性的因素。在实验中,CompensNet ++与最先进的技术相比,表现出明显的优势。我们的贡献可归纳如下:1. CompensNet ++是第一个端到端的完整补偿系统。2. 与两步方法相比,CompensNet ++无需额外采样图像即可学习几何校正,并且性能优于比较对手。3. 提出了两种特定于任务的权重初始化方法,以确保CompensNet ++的收敛性和稳定性。4. 为了提高CompensNet ++的运行效率,提出了一些新的简化技术.源 代 码 、 基 准 测 试 和 实 验 结 果 可 在https://github.com/BingyaoHuang/CompensNet-plusplus上获得。2. 相关作品在本节中,我们大致以两种类型回顾现有的投影仪补偿方法:完全补偿[4,12,30,34- 36 ]和部分补偿[ 1,3,9,10,15,20,25,33,37 ]。2.1. 全额补偿办法完全补偿方法执行几何校正和光度补偿。先锋工作作者Raskaret al.[30]使用两个投影仪在非平面彩色对象上创建投影映射尽管补偿几何和测光,手动regig-istrations使用已知的标记是必需的。Harville等人[12]提出了一种应用于白色曲面屏幕的全多投影仪补偿通过8-12个SL图像获得前凸轮像素对应该方法虽然可以有效地混合多种投影仪最近,Sieglet al.[35,36]在非平面朗伯表面上执行完全与[12]类似,他们假设目标对象是白色和无纹理的。Asayama等人[2]在非平面纹理表面上设置可视标记,用于实时对象姿态跟踪。为了去除标记的干扰,应用光度补偿以从观看者隐藏标记,并且相应地需要额外的IRShahpaski等人[34]在投影的棋盘图案中嵌入虽然只需要两次拍摄,但该方法需要预先校准的摄像机和另一个平面印刷棋盘目标。此外,它只执行一个统一的伽玛补偿没有补偿的表面,因此可能无法很好地工作在非平面纹理表面。2.2. 部分补偿法与完全补偿方法相比,部分补偿方法通常执行几何校正[5,24,28,29,38]或光度补偿[1,3,4]。10、15、39]。由于几何校正和光度补偿之间的强相互依赖性,并且为了避免来自另一部分的传播误差,这些方法假设另一部分已经被执行作为先决条件。几何校正。而不使用专门的 硬-一个同轴的凸轮对[7],凸轮图像对Raskar等人[29]提出了一种保形纹理映射方法,使用SL和校准的摄像机几何配准非平面表面投影的多个投影仪。Tardif等人[38]在不校准前凸轮对的情况下实现类似的结果。通过SL逆映射生成几何校正图像。Similarly,Boroomandet al. [5]提出了一种显著性引导的SL几何校正方法。Narita等人[24]使用IR油墨印刷的基准标记和高帧率相机进行动态非刚性表面投影映射,这需要额外的设备,如[2]所示。光度补偿。这些方法假设pro-cam图像对被注册为先决条件,并且可以大致分为两种类型:上下文无关[9,10,25,33]和上下文感知[1,3,15,20,37],7167−1˜θ.Σ。Σθ其中上下文感知的那些通常假定Pro-CAM像素一对一映射,并且上下文感知的那些还考虑邻域/全局信息。详细的评论可以在[11]中找到。以往的补偿方法要么是以部分补偿为前提,要么是分别进行两步补偿然而,已知分离这两个步骤会遇到次优的解决方案。据我们所知,不存在同时执行全pro-cam图像几何校正和投影仪光度补偿的先前方法属于完全补偿机制,我们的CompenNet ++是第一个在端到端框架中联合学习几何校正和光度补偿的虽然CompenNet++的某些部分是基于Compen-Net的,但有显著的差异:(1)CompensNet ++用于全投影仪补偿;(2)CompensNet++中的测光部分通过裁剪表面图像分支来扩展CompensNet,从而在不降低性能的前提下提高了运行效率;以及(3)CompensNet ++中几何和光度部分的连接允许两个部分将进行端到端的联合培训。3. 端到端全投影仪补偿3.1. 问题公式化我们的完整投影机补偿系统由一个未校准的亲凸轮对和一个非平面纹理亲,图像(与投影仪视图对齐)。因此,Eq. 1可以重新表述为:x~=T(F(x;g,s))(2)全投影仪补偿的目的是找到投影仪输入图像x′,称为x的补偿图像,使得观看者感知的投影结果与理想的期望观看者感知图像3相同,即,T(F(x≠;g,s))=x(3)因此,补偿图像x∈ Eq.3的解为:x*=F†(T−1(x); g,s)。(四)在[15]之后,我们在全局照明和投影仪背光下使用相机捕获的表面图像来捕获g和s之间s~=T(F(x0;g,s)),(5)其中x0被设置为纯灰色图像以提供某种照明。值得注意的是,除了投影仪照射的表面块之外,投影仪FOV之外的表面的其余部分不提供用于补偿的有用信息(图10)。 1(a)绿色部分),因此,在方程中,图5中的图像T-1(s ~)的子区 域可以 近似为 相机捕 获的图 像T-1(s~)的子区域(图5)。 1(a)蓝色部分)。 将g和s代入等式(1)中。4对于T−1(s),我们有一个补偿问题,射出表面放置在一个固定的距离和方向(图。1(a))。根据[15]的约定,.x*=F†T−1(x);TΣ(s)、(6)光度补偿公式到完全补偿公式。用x表示投影仪输入图像,用πp表示复合几何投影和辐射传递函数,用p表示投影仪几何和光度本征和外征。然后,投射的辐射率可以是用πp(x,p)表示。假设复合表面反射率、几何形状和姿态为s,表面双向反射分布函数(BRDF)为π s,全局照明红外辐射分布为g,相机的复合捕获函数为πc,并且其复合本征和外征为c。然后,相机捕获的图像X被2:其中F†是F的伪逆,T −1是几何变换T的逆。显然,Eq.6没有封闭形式的解决方案。3.2. 基于学习的公式化研究§3.1中的公式,我们发现:x<$=TF(x;s)<$x=F <$T−1(x<$);T−1(s<$)(7)我们用一个名为CompensNet ++的深度神经网络对F<$和T −1进行建模,并表示为π<$(图2)。第2(b)段):x~=πc. .Σ Σπs πp(x,p),g,s,c(一)x=π<$(x;s),(8)其中x 是x的补偿,而不是x,θ=请注意中的复合几何和辐射过程当量1是非常复杂的,显然没有封闭的形式,所以-{θF,θT}包含可学习的网络参数。在在本文的其余部分,我们滥用了符号π<$(·,·)溶液。 相反,我们发现p和c是常数,一旦†。− 1−1ΣFT(·);T(·)θ为了简洁。请注意,F†ratherθFθT“我们是一家人,我们是一家人。度 量 变 换 并 将 p 和 c 吸 收 为 两 个 函 数 : T :RH1×W1×3<$$>→RH2×W2×3,其将投影仪输入图像几何地扭曲为相机捕获的图像;和F:RH1×W1×3<$$>→RH1×W1×3,它们将a7168这里的π<$是[15]中的等价π<$我们在采样图像对(x,x)和表面图像s上 训练CompensNet ++(图1)。第2(a)段)。 通过使用Eq. 8,我们可以生成一组N个训练对,表示为X={(x∈ N,x)}N. 然后,利用L上的损失函数i,CompensNet ++我我i =1投影仪输入图像到未补偿的摄像机捕获2与[15]中一样,我们使用可以学习3在实践中,它取决于最佳的可显示区域(图2)。4).7169θ无TPS rθrR投影图像表面图像处理���项目†π†企业简介ℱ拍摄的图像���拉法夫➚−1➚−你好���������企业简介������拉法夫损失(((((a) (b)模型培训图2:CompenNet++的训练分为两个主要步骤。(a)投影并捕获表面图像和一组采样图像。(b)CompensNet ++,即使用(a)中准备的数据进行训练。Σ。θ= arg min† ˜ ˜Σ (九)没有精确地模拟涉及亲,θ′iLxi=πθ′(xi;s),xi凸轮成像过程。 为了解决这个问题,我们设计了一个网格我们使用下面的损失函数来共同优化颜色保真度(逐像素1)和结构相似性(SSIM):L=L1+LSSIM(10)这种损失函数的优点如[15,40]所示3.3. 网络设计基于上述公式,我们的CompensNet ++设计有两个参数,一个是WarpingNetT−1,用于校正几何失真并将相机捕获的未补偿图像扭曲到投影仪图像空间;以及一个补偿扭曲图像的CompenNet F †。网络架构如图所示。二、为了简洁,我们将Compen- Net++的详细参数移到补充材料中。WarpingNet. 请注意,直接估计非参数几何校正是困难的和计算昂贵的。相反,我们将几何校正建模为级联的粗到精过程,如[18,31]中的工作所启发。如图3、WarpingNet由三个可学习模块(θaff、θTPS和Wθ)、网格生成函数G、细化CNN,即,Wθr以细化TPS采样网格。基本上,该网络学习TPS采样网格中每个2D坐标的精细位移,并具有残差连接。[14] , 使细 化 的 采样 网 格 具 有更 高的 精 度 。我 们 的CompenNet++ 相 对 于 没 有 网 格 细 化 网 络 的 降 级CompenNet++(命名为CompenNet ++w/o refinement)的优势在表1中得到证明1和图六、除了新颖的级联粗到细结构与网格细化网络,我们提出了一种新的采样策略,提高WarpingNet的效率和准确性。直觉上,级联的从粗到精采样方法应该顺序地对输入x个采样,T−1(x)=φ。φ(φ(x;););=W()(11)然而,上述三种双线性插值不仅计算效率低,而且会产生模糊的图像。 相反,我们在2D坐标空间,即,让较细的TPS网格对较粗的仿射网格进行采样,然后使用Wθr细化网格,如图所示。3.第三章。因此,输出图像由下式给出:R一个基于双线性插值的图像采样器φ,以及三个生成的具有增加粒度的采样网格,T−1.Σ(x)=φx;Wθr(φ(aff;TPS)(十二)当θ r =G(θ r)>θ TPS =G(θ TPS)>θ aff = G(θ aff)时,具体地说,θaff是一个2×3可学习的仿射矩阵,它将输入图像x*类似地,θTPS包含(6×6+2)×2 =76个可学习的薄板样条(TPS)参数[6],并且它进一步非-线性地将仿射变换图像φ(x∈ f;x∈ af)的输出扭曲为精确投影仪的视图。Unlik e[18,31],θaf f和θTPS直接学习,而不使用回归网络,这在我们的情况下更有效和准确。虽然TPS可以近似非线性光滑几何变换,但其精度取决于控制点的数量和样条假设。因此,这种策略带来两个好处:(1)只需两次采样需要操作,因此更有效;以及(2)由于图像采样仅在x~上执行一次,所以与使用等式(1)相比,扭曲图像更清晰。11个国家。WarpingNet的另一个新颖之处是网络简化,由于上述采样策略。在测试过程中,WarpingNet基本上被简化为单个采样网格Ωr,几何校正变成单个双线性插值T−1(x~)=φ(x~;Ω),从而提高了测试效率(见图10)。(五)。CompensNet. 在训练过程中,F†将两个WarpingNet转换的图像作为输入,即,表面像T−1(s)7170我���TPS网格细化网➚−1−1(���无水硫酸镁布雷尔���������(拉法夫(拉法夫(企业简介图3:WarpingNet(T-1)架构(省略了行为层[2 1,23])。它使用级联的粗到细结构将输入的相机捕获的图像x映射到投影仪 红色和绿色块是可学习的参数和网格生成函数。 运算符表示双线性插值,即, φ(·;·)。网格细化网络Wθr由类似UNet [32]的结构组成,它生成直接对输入图像进行采样的细化采样网格Su rface imagejuvenile���投影仪FOV掩模图4:投影仪FOV遮罩、边界矩形(绿色)和最佳显示区域(红色)。最佳可显示区域定义为最大内接矩形(保持纵横比)[29]。给定可显示区域和投影仪输入图像大小,估计仿射矩阵A以及照相机捕获的图像T-1(x≠ 1)。该架构基本上遵循[15],但在下面有两个改进。[15] 中 的 CompenNet 不 能 直 接 应 用 于 我 们 的CompenNet++,因为联合几何和光度过程太复杂而无法学习。为了解决这个问题,我们在§3.4中提出了一些有用的训练技术。另一个改进是,对于测试阶段,表面特征自动编码器子集通过合并到主主干中作为偏置来修剪(图1)。(五)。这种网络简化与WarpingNet上的简化一起,大大提高了CompenNet ++的运行时间和内存效率,而不会牺牲性能质量。3.4. 培训详情与CompensNet [15]训练相比,在没有适当的权值初始 化 和 自 动 数 据 预 处 理 的 情 况 下 , 同 时 优 化WarpingNet参数θT和Compen-Net参数θF投影仪FOV遮罩。根据等式6、全投影仪补偿图1(a)蓝色部分。因此,我们可以通过使用Otsu方法[ 26 ]自动对相机捕获的表面图像进行阈值化,然后进行一些形态学操作来计算投影仪FOV掩模(图12)。4).这款面膜带来三重好处:(1)掩蔽FOV外部的像素提高了训练稳定性和效率;(2)投影机FOV掩码是初始化下面的WarpingNet仿射权重的关键,以及(3)找到§3.6中的最佳可显示区域。WarpingNet权重初始化。 我们通过提供一个任务特定的先验来进一步提高训练效率,例如,WarpingNet中的粗仿射变形分支旨在将输入图像x变换为投影仪的前视图,如§ 3.3中所因此,我们初始化仿射参数θaff,使得投影仪FOV掩模的边界矩形(图1)4绿色矩形)被拉伸以填充翘曲的IM。年龄然后,θTPS和网格细化网Wθr用10−4尺度的小随机数初始化,使得它们生成恒等映射。 这些具体任务的初始-Compensation技术提供了一个相当好的起点,使Compensation Net ++能够稳定有效地收敛。CompenNet权重初始化。 ”[15]《礼记》云:“礼者,礼也。净权重使用He方法随机初始化并且当输入图像被离线配准到投影仪的视图时,它工作良好。在我们的端到端全补偿管道中,尽管有上述训练技术,联合训练WarpingNet和CompensNet可能会受到次优解决方案的影响,例如,输出图像变为纯灰色。类似于WarpingNet权值初始化,我们引入了一些光度先验知识来提高Compen-Net的稳定性和效率.受传统 上 下 文 无 关 线 性 方 法 [25] 的 启 发 , 我 们 将CompensNet初始化为简单的线性通道无关模型,使得:Σ。†ΣθF=argminLFθ′ ( xi;ss t e c ) , max ( 0 ,xi−ss t e c),(13)θ′FF其中,xi是投影仪输入图像,sstecis是模仿环绕表面图像T−1(s)的彩色T e- tured图像。与CompensNet的预训练方法[ 15 ]相比请注意,此权重初始化仅执行一次,并且与设置无关。为通过加载保存的权重来初始化新设置θF3.5. 网络简化在测试过程中,CompensNet ++的结构如图所示。5是从训练结构简化(图。2)的情况。(a)作为7171���′➚′−1ℱ′†π′†���∗投影仪布雷尔θi=1θ模型试验图5:CompensNet ++的测试阶段。由于我们新颖的WarpingNet结构和采样策略,网络被简化以提高计算和内存效率。正如我们所看到的,补偿图像z′在几何和光度上都得到了补偿,使得在投影之后,它消除了几何和光度失真,并产生了接近z′的图像,即,图第1段(e)分段。正如§3.3中提到的,由于我们新颖的级联粗到细网络设计和采样策略,WarpingNet可以被所示的采样网格和图像采样器如图5中的T′−1。(b)类似地,CompensNet由偏置代替以减少计算和存储器使用。然后将偏差直接 添 加 到 CompensNet 主 干 中 , 我 们 将 这个 简 化 的CompensNet ++表示为π′†。这两种新的网络简化技术使所提出的CompensNet ++在计算和内存效率方面都没有性能下降。3.6. 补偿管道总而言之,我们的完整投影机补偿流程包括三个主要步骤(图1)。2和图(五)。(1)我们首先投影一个普通的灰度图像x0,N个采样图像x1,. . .,xN的图像到投影表面,并使用相机捕获它们,并将捕获的图像表示为表面在pro-cam对前面约1,000 mm相机曝光、对焦和白平衡模式设置为手动,全局照明在每个设置中是不同的,但在每个设置的数据捕获和系统测试期间是固定的CompenNet++使用PyTorch [27]实现,并使用Adam优化器[19]进行训练,惩罚因子为10−4。初始学习率设置为10−3,在第1,000次迭代时衰减5倍。模型权重为使用§3.4中的技术进行初始化。我们在三个NvidiaGeForce 1080Ti GPU上训练了1,500次迭代,批量大小为48,大约需要15分钟才能完成。3.8. 数据集和评价方案在[15]之后,我们准备了700张彩色纹理图像,并对每个训练集Xk使用N = 500,对每个验证集Yk使用M =200。 总共准备了K = 20个不同的设置用于训练和评估,每个设置具有非平面纹理表面。我们收集M的与xi,respect i vel y. (2)将N个图像对(x ∈ i,x i)样本为Y={(yi,yi)}M在同一系统和s,以训练补偿模型π<$={F <$,T−1}设置为训练集X。 然后算法执行-θ θθ端到端(3)如图所示。5,我们使用§ 3.5中的技术将训练的CompensNet ++简化为π′†。 最后针对理想的期望观看者感知图像z,我们生成其mance是通过对相似性进行平均来衡量的,每个验证输入图像Yi 及其算法输出y=π<$(y;s),并在Ta b中报告。1.一、注意我们使用iθi补偿图像z,并将z投影到表面。在实践中,z被限制在表面可显示区域。类似于[29],我们找到了最佳的期望图像z′=Az,其中A是一个二维仿射变换,它均匀地缩放和平移理想的感知图像z,以最佳地适应投影仪FOV,如图所示。4和图五、3.7. 系统配置和实施。我 们 的 投 影 机 补 偿 系 统 由 佳 能 6D 相 机 和 优 派PJD7828HDL DLP投影机组成,分辨率分别设置为640×480和800×600此外,相机还连接了Elgato CamLink 4K视频采集卡,以提高帧捕获效率。速率(大约每帧360ms)。摄像机和投影仪之间的距离在500 mm到1, 000 mm的范围内变化,并且投影与[15]中相同的评估度量PSNR、RMSE和SSIM4. 实验评价4.1. 与最新技术水平的比较我 们 比 较 了 建 议 的 全 补 偿 方 法 ( 即 ,CompenNet++),具有四个两步基线,独立于上下文的TPS4模型[10],改进的TPS模型(下文解释),Pix 2pix [17]模型和Compen-Net [15]模型。为了公平地比较两步方法,我们使用相同的SL扭曲进行几何校正。我们首先投影42个SL图案以使用[22]中的方法建立pro-cam像素到像素映射,然后4不是几何校正[6],而是使用TPS逐像素建模光度传递函数7172表1:补偿算法的定量比较。结果在K=20个不同设置上取平均值。每个#Train部分中每列的前3个结果分别突出显示为红色、绿色和蓝色。注意,未补偿图像的度量为PSNR=9.5973、RMSE=0.5765和SSIM=0.0767。原始TPS [10]w/ SL(#Train=125)的指标为PSNR=16.7271,RMSE= 0.2549和SSIM=0.5207。模型PSNR↑#列车=48RMSE↓ SSIM↑#列车=125PSNR ↑RMSE↓SSIM↑#列车=250PSNR ↑RMSE↓SSIM↑#列车=500PSNR↑RMSE↓SSIM↑TPS [10]毛面,带SL18.02970.21990.539018.01320.22050.568718.00800.22060.578717.97460.22150.5830[17]第十七话17.71600.22710.506817.11410.24680.559216.52360.26690.576319.41600.19030.6196CompensNet [15] w/SL20.20230.17220.669020.76840.16090.702220.83470.15960.714220.95520.15730.7117CompensNet ++不含细化19.41390.19090.625220.60610.16350.695820.73070.16130.710620.91720.15770.7113CompensNet ++19.85520.17810.663720.79470.15980.711620.89590.15810.722721.11270.15400.7269CompensNet ++快速19.96960.17600.669920.51710.16500.700120.57950.16380.706320.67110.16220.7081CompenNet++更快19.25360.19120.624919.53090.18440.654619.72120.18060.661319.69890.18110.6574表面期望(GT)无补偿TPS,带SL TPS纹理,带SLPix2pix w/SLCompensNetw/SLCompensNet ++不含细化CompensNet ++表面期望(GT)无补偿TPS,带SL TPS纹理,带SLPix2pix w/SLCompensNetw/SLCompensNet ++不含细化CompensNet ++图6:TPS [10] w/ SL、TPS纹理w/ SL、Pix 2 pix [17] w/ SL、CompensNet [15] w/ SL、申报CompensNet ++ w/ofinish和申报CompensNet ++在两种不同表面上的定性比较。 第一至第三列是 摄像机捕获的投影表面、期望的观看者感知图像和摄像机捕获的未补偿投影。其余列是不同方法的补偿结果每张图像都提供了两个放大的补丁,以进行详细的比较。补充材料中提供了更多的比较。双线性插值以填充缺失的对应。之后,我们捕获了125对原始TPS方法[10]中用于光度补偿的单色采样图像,我们使用SL将采样图像扭曲到投影仪我们也用SL-变形的不同纹理训练集Xk拟合TPS方法,并命名为TPS纹理w/SL。实验结果在Tab.1和图6显示清晰改进的TPS纹理比原来的TPS方法。我们的解释是(a)与普通彩色图像相比7173纹理化的训练图像和验证/测试图像共享更相似的分布。(b)虽然原始TPS方法使用5 ×3个纯彩色图像,但是每个投影仪像素我们的彩色纹理样品表面未补偿补偿期望(GT)覆盖每个投影仪像素处的RGB空间,从而对光度传递函数进行更忠实的采样为了证明完全补偿问题的难度,我们将其与基于深度学习的图像到图像翻译模型Pix2pix5[17]进行了比较。SL-扭曲Xk作为TPS纹理w/ SL,我们称之为Pix 2 pix w/SL。我们使用与[15]相同的自适应,除了Pix 2 pix被训练了12,000次迭代以匹配火车-我们的模型的时间。结果表明,所提出的CompensNet++优于Pix2pix w/SL,这表明基于深度学习的图像到图像转换模型无法很好地解决完全补偿问题。然 后 , 我 们 将 我 们 的 方 法 与 部 分 补 偿 模 型CompensNet [15]进行比较,我们使用与TPS纹理w/ SL和Pix 2 pix相同的SL-扭曲训练集Xkw/SL,并将此两步方法命名为CompensNet w/SL。定量和定性比较见选项卡. 1和图6,分别。4.2. 拟议CompensNet ++的有效性选项卡. 1清楚地表明CompensNet ++优于其他两步方法。这表明:(a)即使没有使用SL构建像素到像素映射,也可以直接从摄影测量采样图像中学习几何校正。(b)如Compen-Net ++提出的,单独求解完全补偿 问 题 可 能 导 致 次 优 解 , 并 且 这 ( c ) 除 了 优 于CompensNet w/ SL之外,我们使用的图像比基于SL的两步方法少42个。我们解释了为什么两步法可能会找到图中6,其中SL解码误差影响光度补偿精度。如第一行红色放大的块所示,与端到端方法(最后两列)相比,由于不准确的SL扭曲,基于SL的两步方法(第4列至第7列)产生弯曲边缘。此外,在第3行和第4行中,非平面表面位于具有挑战性镜面反射的玻璃后面。比较这两组,特别是蓝色放大的补丁,我们看到基于SL的两步方法的不忠实补偿,而端到端方法CompensNet ++ w/o refine和CompensNet ++显示更精细的几何形状,颜色和细节。这是因为SL由于镜面反射而遭受解码错误并且产生错误映射,然后映射错误传播到光度补偿级。这个问题最好解决5https://github.com/junyanz/pytorch-CycleGAN-and-Pix2pix图7:失败的示例。CompenNet++无法连接-补偿自闭塞区域,如红色箭头所示。通过建议的CompensNet ++,其中全局几何和测光信息被认为是完全补偿。总之,CompensNet ++不仅带来了比基于SL的两步方法更好的性能,而且还放弃了42个额外的SL投影/捕获,同时对镜面高光不敏感。为了证明CompensNet ++在效率优先于质量时的实用性,即,更少的数据和更短的训练时间,我们只使用48张图像训练CompensNet ++,并将训练迭代次数减少到1,000/500,批 量 大 小 为 24/16 , 我 们 将 有 效 的 方 法 命 名 为CompenNet ++ fast/faster,只需5分钟/2.5分钟即可完成训练。如Tab.所示。1,即使只训练了48张图像,CompensNet ++ fast/faster仍然优于在SSIM上训练了500张图像的TPS纹理w/ SL和Pix 2 pix w/ SL。4.3. 网格细化网络为了证明采样网格细化网络Wθr(等式2)的有效性12 和 图 3 ) , 我 们 通 过 删 除 Wθr 创 建 降 级 的CompenNet++ , 并 将 其 命 名 为 CompenNet ++ w/orefine。如表1所示。1,CompensNet ++明显优于该降级模型,显示了网格细化网络Wθr的有效性。5. 结论和局限性在本文中,我们将部分投影仪补偿模型CompensNet扩展为一个完整的补偿管道CompensNet ++。通过新颖的级联式粗到精WarpingNet、任务特定训练和高效测试策略,CompensNet ++提供了首个端到端同步投影仪几何校正和光度补偿。通过综合评价,验证了该方法的有效性结果表明,我们的端到端的完全补偿表现出国家的最先进的两步方法定性和定量。局限性。我们假设投影表面的每一个单独的补丁可以被投影仪照亮也就是说,CompenNet ++在具有自遮挡的复杂表面上可能无法很好地工作(图1)。(七).一个可能的解决方案是使用多-三台投影仪互相覆盖盲点事实上,将端到端全补偿框架扩展到多台投影机是一个有趣的未来方向。7174引用[1] Daniel G Aliaga,Yu Hong Yeung,Alvin Law,BehzadSa-jadi,and Aditi Majumder.使用叠加投影进行快速高分辨率外观编辑。ACM Tran. 图形,2012年。一、二[2] Hirotaka Asayama,Daisuke Iwai,and Kosuke Sato. 用于投影映射中几何配准的可缩减视觉标记IEEE TVCG,2018年。一、二[3] 马克·阿什当,冈部孝弘,佐藤伊万里,佐藤洋一。强大 的 内 容 相 关 的 光 度 投 影 仪 补 偿 。 见 CVPRWPROCAMS,2006年。一、二[4] Oliver Bimber , Andreas Emmerling , and ThomasKlemmer.嵌入式娱乐与智能投影仪。计算机,2005年。一、二[5] Ameneh Boroomand ,Hicham Sekkati , Mark Lamm ,David A Clausi,and Alexander Wong.使用投影仪-摄像机系统的显著性引导在ICIP,2016年。一、二[6] Gianluca Donato和Serge Belongie近似薄板样条映射。见ECCV,2002年。四、六[7] Kensaku Fujii,Michael D Grossberg,and Shree K Nayar.一个投影机相机系统与实时光度适应动态环境。在CVPR,2005年。2[8] 杰森·耿结构光3D表面成像:一个教程。Advances in Optics and Photonics,2011. 1[9] Michael D Grossberg,Harish Peri,Shree K Nayar,andPe- ter N Belhumeur.使一个物体看起来像另一个物体:使用投影仪-照相机系统控制外观。载于CVPR,2004年。一、二[10] 我是格伦德·霍费尔和大苏·凯·伊瓦伊。投影仪的抗干扰、容错测光补偿.IEEE TIP,2015年。一、二、六、七[11] 安瑟·姆·格伦德·奥 弗 和大苏·克·伊瓦伊。投影映射算法、硬件和应用的最新进展在计算机图形学论坛。Wiley Online Library,2018. 第1、3条[12] 迈克尔·哈维尔、布鲁斯·卡伯特森、欧文·索贝尔、丹·盖尔布、安德鲁·菲茨休和唐纳德·坦盖。拼接投影仪几何校正和光度校正的实用方法。见CVPRW,2006年。一、二[13] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun. 深入研究整流器:超越人类对imagenet分类的水平。在ICCV,2015年。5[14] Kaiming He,Xiangyu Zhang,Shaoying Ren,and JianSun.用于图像识别的深度残差学习。在CVPR,2016年。4[15] 黄炳耀和凌海滨。端到端投影机摄影补偿。在CVPR,2019年。 一二三四五六七八[16] Bingyao Huang , Samed Ozdemir , Ying Tang ,Chunyuan Liao,and Haibin Ling.不完美平面目标的单次摄影机-投影仪标定系统。在2018年IEEE混合和增强现实辅助国际研讨会(ISMAR-Adjunct)上,第15-20页。IEEE,2018年。1[17] Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,and Alexei AEfros.使用条件对抗网络的图像到图像翻译。CVPR,2017年。六七八[18] Max Jaderberg,Karen Simonyan,Andrew Zisserman,Koray Kavukcuoglu.空间Transformer网络。2015年,在NIPS4[19] Diederik P. Kingma和Jimmy Ba。Adam:随机最佳化的
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)