虚拟现实中镜面反射对象材质外观再现方法的研究

虚拟现实智能硬件• 文章·2023年2月第5卷第1期：110.1016/j.vrih.2022.11.001用于再现镜面反射对象ChihiroHoshizawa*，TakashiKOMURO*338-8570， 255Shimo-Okubo Sakura-ku Saitama，Japan接收日期：2022年6月1日;修订日期：2022年7月23日;接受日期：2022年11月2日翻译后摘要：背景在这项研究中，我们提出了视图插值网络再现对象的表面的亮度变化取决于观看方向，这是很重要的再现真实对象的材料外观。方法我们使用原始和修改后的版本的U-网的图像变换。这些网络经过训练，从放置在正方形角落的四个摄像机的中间视点生成图像。我们使用三种不同的方法和训练数据格式的组合进行了实验。结果我们确定将视点坐标与四个摄像机图像一起输入并使用来自随机视点的图像作为训练数据产生最佳结果。关键词：视图合成;图像变换网络;反射率再现;材质外观;U-Net由JSPS KAKENHI（JP22K12088）支持。引文：星泽千寻，小室隆。查看用于再现镜面反射对象的材质外观的插值网络。虚拟现实智能硬件，2023，5（1）：11介绍随着互联网购物的普及，网上购物已经成为可能和普遍.然而，在许多情况下，因为用户被呈现产品的很少照片并且不能实际持有产品，所以他们可能无法感知产品的材料在材料的视觉感知中，取决于视点位置的亮度变化对现实具有重要影响。反射特性在这种亮度变化中起着重要作用，在计算机视觉领域已经进行了许多研究，以从图像中估计真实物体的三维形状和反射特性，并从不同的视点再现它们的外观[1然而，对于某些物体，透射、折射和内部散射可能会影响亮度的变化，并且从图像中估计这些光学特性是困难的。对于不包含足够信息来重建对象的3D形状的单个RGB图像，已经提出了几种解决方案，例如使用深度图像[5，6]和多个视点图像[7]。除了传统的立体视觉之外，神经网络还经常用于估计3D信息[8]。*通讯作者 ， ms.saitama-u.ac.jp;komuro@mail.saitama-u.ac.jp2096-5796/©版权所有2023北京中科学报出版有限公司有限公司、出版社：Elsevier B.V.我代表科爱通信有限公司公司 这是CC BY-NC-ND许可下的开放获取文章（http：//creativecommons.org/licenses/by/4.0/）。2虚拟现实智能硬件二月（2023）卷。5号1此外，一些研究已经使用神经网络来构建可用于从多视点图像进行体绘制的3D对象[9除了高精度的3D估计之外，这些方法还可以生成再现光的透射的任意视点图像。然而，这些方法需要大量的图像为一个单一的对象，并不适合在这项研究中考虑的应用程序。生成任意视点图像的方法已经被广泛研究[12最近，已经研究了使用深度学习技术其中一些方法从多个图像中估计深度和颜色，并将它们组合以生成任意视点图像[15，16]。大多数关于生成任意视点图像的研究旨在再现场景的几何结构，然而，很少有旨在再现取决于观看位置的亮度变化。对使用图像插值生成任意视点图像进行了研究[17]。使用这种方法，将二维阵列四个角处的相机捕获的图像用作输入，并使用卷积神经网络生成来自其他相机的图像。虽然该方法可以从少量图像生成精确的任意视点图像，但它不关注材料外观。最近对图像插值的研究是基于神经网络的深度表示[18]。考虑到自动编码器的中间层代表了更多的结构信息，本文实现了结构化图像插值，包括物体姿态和阴影的插值然而，它并不适用于物质外观的复制基于这些研究，我们提出了用于再现材料外观的视图插值网络。训练网络以从四个相机的中间视点生成图像一个网络是原始的U-Net，另一个是在中间层添加了坐标输入架构的U-Net。作为再现复杂材料外观的初步步骤，我们使用相对简单的金属反射物体来验证该方法的有效性。我们提出了一个实验的结果，调查最合适的方法和训练数据格式。2方法我们所提出的方法使用四个图像从一个正方形的四个角上的球体作为输入，并生成从中间位置观察到的图像作为输出。2.1U-Net我们在本研究中使用了U-Net[19]U-Net是一种众所周知的图像变换网络，被认为是图像分割领域的最新技术。除了图像分割之外，还提出了使用U-Net的几个应用。先前的研究使用U-Net[2]从照明瓷砖图像中估计镜面反射，粗糙度，漫射和法线贴图。一些研究结合了生成对抗网络（GAN）[20]来实现图像的各种风格转换[21，22]。使用U-Net的一个优点是可以灵活地改变输入/输出通道的数量和图像大小在这项研究中，四个图像输入到U-Net，并输出一个图像数组或单个图像。2.2使用U-Net在本研究中，我们使用了以下两种具有不同输入和输出的方法，如图1所示。2.2.1图像阵列输出这种方法使用来自25个摄像机的图像，这些摄像机以相等的间隔放置在一个二维阵列（5×5）上。3Chihiro Hoshizawa，et al.用于再现镜面反射对象的材质外观的视图插值网络输出输入128 128256128256 256512 256512 5121024 51210241chconv 3x3零填充，ReLU复制和裁剪12 64 64128 64 64 63(a) 图像阵列输出最大池2x2向上转换2x2转换1x112 64 64128 64 64 3512+1最大池2x2向上转换2x2转换1x1(b) 单图像输出图1本研究中使用的两种方法（图是根据[19]创建的）。球体作为训练数据，如图2a所示。来自四个角落摄像机的图像用作网络的输入，来自其余21个视点的图像用作输出，如图1a所示。期望输出图像在附近的视点之间具有强相关性，并且期望网络利用这种关系来生成稳定的任意视点图像。2.2.2单图像输出除了输入四个角相机图像外，还将待输出的视点位置的2D坐标输入到全连接层，其输出连接到U-Net的中间层，如图1b所示。在基于自动编码器的神经网络（如U-Net）中，结构信息存储在中间层。通过将坐标输入到这一层，我们希望网络将坐标视为一条结构信息。该网络从给定的视点位置输出单个图像该方法可以从二维阵列的视点以及从任何位置的视点生成图像，如图2b所示。通过从更多的视点生成图像，该方法可以根据视点的数量再现更平滑的亮度变化输出输入128 128256 128256 256512 256512 5121024 5121024conv 3x3零填充，ReLU复制和裁剪（θ，φ）FC+ReLU1ch16×16concat256×256256×256128×128128×12864×6464×6432×3232×3216×1616×1632×3232×3264×6464×64128×128128×128256×256256×2564虚拟现实智能硬件二月（2023）卷。5号1(a) 固定视点（b）Fandom视点2.3相机放置图 2摄像机位置示例。我们使用面向球体中心的摄像头捕获的图像作为网络的训练数据摄像机被放置在球体上正方形的四个角以获得输入图像，并在正方形内部获得输出图像，如图2所示。使用从球面拍摄的图像的原因是，对象的位置在每个相机图像中不会改变，这使得网络更多地关注对象表面上的亮度变化此外，据报道，人们只能看到一个狭窄的区域，他们的焦点和视线对齐[23，24]。此外，物体的不动性被期望固定人的注视点，并使再现物质外观的感知变得容易。用于输出图像的相机以以下两种方式放置以进行比较。2.3.1固定视点首先，将25个摄像机以二维阵列（5×5）等间隔放置在球体上，如图2a所示。图中的红色照相机指示用于获得输入图像的照相机的位置和取向，并且白色照相机指示用于获得输出图像的照相机的位置和取向。2.3.2随机视点在第二种方法中，用于输出图像的相机随机定位在球体上的正方形内，如图2b所示。为了确保输出图像的摄像机数量与固定视点的摄像机数量相同，将21个摄像机放置在随机位置。2.4实验我们进行了一个实验，以产生任意的视点图像，使用所提出的方法，并验证了材料外观的再现这些实验的细节和结果如下。2.4.1创建数据集用于训练网络的图像使用3D渲染软件POV-Ray生成。POV-Ray适合本实验，因为它允许详细配置材料参数并实现光学精确渲染。生成的图像大小为256×256像素。我们使用来自斯坦福3D扫描仓库的3D模型数据集中的五个模型用于训练，两个用于测试。3D对象的材料参数是根据POV-Ray中默认的金属材料从固定值范围随机确定的。这些对象被随机放大或缩小，5Chihiro Hoshizawa，et al.用于再现镜面反射对象的材质外观的视图插值网络(0.9，1.1）后，在最长方向上的尺寸被调整为四个。然后，将对象放置在原点，并沿x轴、y轴和z轴在（-1，1）的范围内随机移位，并沿三个轴随机旋转。将点光源放置在以原点为中心的半径为30的半球上的随机位置处。摄像机位置的球体半径为8，以原点为中心，输入图像的摄像机之间的角度差在3D极坐标中为π一种情况是，材质参数的特定值、3D对象的位置（大小、位置和旋转）、光源位置和相机位置（对于随机视点）。对于训练，准备了10000个具有5个3D模型的情况（每个2000个情况）;对于测试，准备了500个具有2个3D模型的情况（每个250个情况）。表1列出了材料参数的值范围。使用统一的随机数确定每个值。表1每种方法和数据的定量结果（所有图像的平均值）2.4.2程序在这个实验中，我们测试了三种方法和数据格式的组合，并比较了结果。这三种组合是图像阵列输出固定视点（5×5阵列）、单个图像输出固定视点（5×5阵列）和单个图像输出随机视点。图像阵列输出固定视点（5×5阵列）使用来自固定视点（5×5阵列）的10000对输入/输出数据进行训练对于单个图像输出固定视点（5×5阵列），使用与图像阵列输出相同的数据。输出是单个图像输出中的单个图像，固定视点（5×5阵列）为每个输入提供21个输出由于10000种情况，210000对输入/输出数据用于训练。对于单个图像输出随机视点，为10000种情况准备了具有随机位置的1个输入和21个输出，并将这210000对输入/输出数据用于训练。对于每个测试，我们使用来自固定视点（5×5阵列）的500对输入/输出数据，其中两个3D模型未用于训练。在实验之前，我们预计使用固定视点会比随机视点产生更好的结果。由于固定视点只涉及某些视点，因此网络将专门为这些视点进行学习。因此，对于使用单个图像输出的两种组合，我们使用固定视点（15×15阵列）作为输出，以验证这种特殊化是否在固定视点（5×5阵列）中我们在每个卷积层中使用了零填充的U-Net。图1显示了通道和结构的数量。这些网络在Python3和Pytorch中实现。图像阵列输出涉及4个RGB图像作为输入和21个RGB图像作为输出，从而产生12个输入通道和63个输出通道。单个图像输出涉及四个RGB图像作为输入和一个RGB图像作为输出，从而产生12个输入通道和3个输出通道。使用ReLU作为激活函数，均方误差作为损失函数。亚当被用作优化算法，参数为α=10−4，β1=0.9，β2=0.999，eps=10−8。损失函数、优化算法和参数根据先前的研究确定[17]。3结果图3显示了作为训练网络输入的图像示例图4显示了每种方法和数据格式组合的结果，以及基本事实。参数MinMax颜色（红色）01颜色（蓝色）01颜色（绿色）01环境0.10.35华晨26弥漫性0.30.7金属00.5镜面0.70.86虚拟现实智能硬件二月（2023）卷。5号1左上角摄像头左下角摄像头右上角摄像头右下角摄像头左上角摄像头左下角摄像头右上角摄像头右下角摄像头(a)斯坦福兔（b）露西图 3测试输入图像的示例。(a) 图像阵列输出ftced视点（5×5阵列）(b) 单一图像输出固定视点（5×5阵列）(c) 单个图像输出随机视点(d) 地面实况图 4结果（中心图像）。3.1图像阵列输出固定视点（5×5阵列）我们使用图像阵列输出方法和固定视点（5×5阵列）图像作为训练数据。对于每个输入数据点，将四幅图像输入到训练好的网络中，输出21幅图像。图4a示出了输出图像的中心图像。与地面实况相比，输出图像略微模糊;然而，轮廓几乎7Chihiro Hoshizawa，et al.用于再现镜面反射对象的材质外观的视图插值网络完美地复制，和反射似乎是正确生成的，除了小细节。3.2单一图像输出固定视点（5×5阵列）我们使用单图像输出方法和固定视点（5×5阵列）图像作为训练数据。对于每个输入数据点，将四幅图像和中心的坐标（0.5，0.5）输入到训练好的网络，并输出一幅图像图4b显示了输出图像。我们将固定视点（15×15阵列）坐标输入到用固定视点（5×5阵列）训练的网络中。因此，输出图像的相机位置从正确位置略微偏移。图5显示了坐标（1/14，0）处的结果，这是所有相机位置中最差的结果，输出图像和地面实况重叠。与地面实况相比，输出图像的相机位置不正确，并且对象在叠加图像中略微模糊。这种差异可能是因为过度训练;只有固定视点的坐标（5×5阵列）用于训练。(a)输出图像（b）地面实况（c）（a）和（b）图5固定视点（15×15阵列）输出的最差结果对于单个图像输出固定视点（5×5阵列）。3.3单个图像输出随机视点我们使用单图像输出方法和随机视点图像作为训练数据。对于每个输入数据点，四个图像和中心的坐标（0.5，0.5）被输入到训练的网络，并且输出一个图4c显示了输出图像和地面实况。与之前的结果类似，输出图像看起来很好，没有显著差异。3.4比较在三种方法和训练数据格式的组合之间没有观察到显着差异。为了进行定量评估和比较的方法，我们计算的峰值信噪比（PSNR）和结构相似性（SSIM）指标值的输出固定的观点（5×5和15×15阵列）。表2总结了每次评估的500对输入/输出测试数据的平均值。首先，我们比较了图像阵列输出固定视点（5×5阵列）和在相同数据上训练的单个图像输出固定视点它们的结果没有显著差异;图像阵列输出的PSNR略好，而单图像输出的SSIM指数略好。接下来，我们比较了单个图像输出固定视点（5×5阵列）和单个图像输出随机视点，它们使用相同的方法。对于固定视点（5×5阵列）输出，固定视点的使用对于两个评价值均略优;然而，8虚拟现实智能硬件二月（2023）卷。5号1表2每种方法数据的定量结果（所有图像的输出方法训练数据PSNRSSIM图像阵列输出固定视点（5×5阵列）34.830.972固定视点（5×5阵列）单一图像输出固定视点（5×5阵列）34.520.975单个图像输出随机视点34.130.974单一图像输出固定视点（5×5阵列）32.020.965固定视点（15×15阵列）单张图像输出随机视点34.500.975观察此外，对于固定视点（15×15阵列）的输出，使用随机视点是优越的。在实验之前，图像阵列输出被期望获得更好的结果，因为它可以在附近的图像之间进行关联。然而，在定量评价中，图像阵列输出和单个图像输出之间几乎没有差异，并且单输出方法在SSIM指数方面表现出稍好的准确性考虑到单个图像输出可以从任意视点位置生成图像，单个图像输出优于图像阵列输出。关于用于训练网络的数据，固定视点优于随机视点。然而，对于固定视点（15×15阵列）图像输出，随机视点表现更好。从固定视点训练的网络可能会对特定视点过度训练，并且无法利用单个图像输出能够从任意视点生成图像因此，使用随机视点作为训练数据是优选的。图6显示了使用单个图像输出随机视点的网络的固定视点（5×5阵列）输出图像的示例。四个角处的图像是输入图像，并且其它图像是输出图像。(a)斯坦福兔（b）露西图6固定视点（5×5阵列）输出的结果，用于单个图像输出随机视点。4讨论在这项研究中，我们提出了用于再现材料外观的视图插值网络。我们实现了U-Net，一个现有的图像变换网络，以及一个在U-Net中间层使用附加信息的网络这些网络经过训练，从放置在球体上正方形角落的四个摄像机的中间视点生成图像作为再现复杂材料外观的第一步，我们使用了具有金属反射的相对简单的物体来验证9Chihiro Hoshizawa，et al.用于再现镜面反射对象的材质外观的视图插值网络方法通过对各种方法和训练数据格式的比较，我们确定了单一图像输出比图像阵列输出更适合视图插值。我们还确定，使用来自随机视点的图像比使用来自固定视点的图像作为网络的训练数据格式更好未来的研究应该解决三个主要问题。首先，应该使用具有更复杂材料的物体进行实验。在我们的实验中只使用了材料相对简单的物体。需要使用具有复杂光学特性（如透射、折射和内部散射）的物体进行进一步实验，以再现更一般的材料外观。第二，视点位置和方向的自由度必须被扩展。在这项研究中，摄像机被放置在一个球体上，始终面向球体的中心，它有两个自由度。如果相机来回移动或定向在另一个方向上，则可以实现具有更多自由度的视图插值。最后，未来的研究应该集中在提高准确性。实验中生成的图像看起来几乎很自然;然而，输出图像无法再现一些小细节。本研究使用一个简单的均方误差作为损失函数。可以使用更适合于材料外观再现目的的损失函数来提高精度此外，可以使用基于GAN的网络来减少模糊[20]。竞合利益我们声明我们之间没有利益冲突引用1 Boss M，Jampani V，Kim K，Lensch H P A，Kautz J.两次空间变化BRDF和形状估计。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）Seattle，WA，USA，IEEE，2020，3981DOI：10.1109/cvpr42600.2020.004042 李国忠，李国忠.使用渲染感知深度网络捕获单个图像SVBRDFACM图形学报，2018，37（4）：1DOI：10.1145/3197517.32013783 [10] Meka A，Maximov M，Zollhöfer M，Chatterjee A，Seidel H P，Richardt C，Theobalt C. LIME：实时固有材料估计。2018年IEEE/CVF计算机视觉和模式识别会议盐湖城，UT，美国，IEEE，2018，6315DOI：10.1109/cvpr.2018.006614 王志红，王志红，王志红，王志红，王志红.实用的BRDF重建使用可靠的几何区域从多视图立体。计算视觉媒体，2019，5（4）：325DOI：10.1007/s41095-019-0150-35 徐丽，郑伟，郭凯，韩丽，刘永，方丽。FlyFusion：使用飞行深度相机进行实时动态场景重建。IEEETransactionsonVisualization and Computer Graphics，2021，27（1）：68DOI：10.1109/tvcg.2019.29306916 张B，盛B，李P，李天Y.使用多层邻域优化的景深绘制。IEEE TransactionsonVisualization and Computer Graphics，2020，26（8）：2546DOI：10.1109/tvcg.2019.28946277 郭华，盛波，李平，陈春平。基于模糊广义学习系统的多视点高动态范围图像合成。IEEE TransactionsonCybernetics，2021，51（5）：2735DOI：10.1109/tcyb.2019.29348238 [10]杨文，李文. Bi3D：通过二进制分类进行立体深度估计。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）Seattle，WA，USA，IEEE，2020，1597DOI：10.1109/cvpr42600.2020.001679 [10]杨文辉，杨文辉. NeRF：将场景表示为用于视图合成的神经辐射场。In：Computer Vision-ECCV 2020.Springer InternationalPublishing，2020，405DOI：10.1007/978-3-030-58452-8_2410虚拟现实智能硬件二月（2023）卷。5号110 王志，吴S，谢伟. NeRF-：没有已知相机参数的神经辐射场。arXiv预印本，2021 DOI：10.48550/ARXIV.2102.0706411 张K，Riegler G，Snavely N. Nerf++：分析和改善神经辐射场。arXiv预印本，2020 DOI：10.48550/ARXIV.2010.0749212 作者：Laveau S作为图像集合的3D场景表示。第12届国际模式识别会议论文集。耶路撒冷，以色列，IEEE，1994，689DOI：10.1109/icpr.1994.57640413 Levoy M，Hanrahan P.光场渲染。第23届计算机图形与交互技术年会论文集。New York，ACM，1996，31DOI：10.1145/237170.23719914 作者：J. M.视图变形。第23届计算机图形与交互技术年会论文集。New York，ACM，1996，21DOI：10.1145/237170.23719615 Bansal A，Vo M，Sheikh Y，Ramanan D，Narasimhan S.来自无约束多视图视频的动态事件的4D可视化。2020年IEEE/CVF计算机视觉和模式识别会议（CVPR）美国华盛顿州西雅图，IEEE，2020，5365DOI：10.1109/cvpr42600.2020.0054116 Flynn J，Neulander I，Philbin J，Snavely N.深度立体：学习从世界的图像预测新的观点2016 IEEE计算机视觉与模式识别会议（CVPR），2016，5515DOI：10.1109/cvpr.2016.59517 杨文龙，王文忠，王文忠.基于学习的光场相机视图合成。ACM图形学报，2016，35（6）：1DOI：10.1145/2980179.298025118 Oring A，Yakhini Z，Hel-Or Y.自动编码器通过整形潜在空间实现图像插值。arXiv预印本，2020 DOI：10.48550/ARXIV.2008.0148719 杨伟，王伟. U网：用于生物医学图像分割的卷积网络。在：计算机科学讲义。Springer International Publishing，2015，234DOI：10.1007/978-3-319-24574-4_2820 [10]杨文，李文.生成性对抗网络。ACM通讯， 2020，63（11）：139DOI：10.1145/342262221 [10]张文辉，张文辉，张文辉.使用条件对抗网络进行图像到图像的翻译。2017 IEEE计算机视觉与模式识别会议（CVPR），2017，5967DOI：10.1109/cvpr.2017.63222 朱继英，张瑞，帕塔克.多模态图像到图像翻译。神经信息处理系统进展，2017，3023 Zhu F，Lu P，Li P，Sheng B，Mao LJ。虚拟现实中的视景渲染。计算机图形学的进展。施普林格国际出版社，2020，16DOI：10.1007/978-3-030-61864-3_224 陆萍，朱芳，李萍，金杰，盛斌，毛立军。虚拟现实中基于视点预测的分层绘制系统计算机图形学的进展施普林格国际出版社，2020年，24DOI：10.1007/978-3-030-61864-3_3