3D外观超分辨率与深度学习中的3DASR数据集及网络密度

13D外观超分辨率与深度学习Yawei Li1，Vagia Tsiminaki2，Radu Zinfte1，Marc Pollefeys2，3，and Luc vanGool11计算机视觉实验室，苏黎世联邦理工学院，瑞士{yawei.li，radu.timofte，vangool}@ vision.ee.ethz.ch2瑞士苏黎世联邦理工学院计算机视觉与几何组，3美国微软{vagia.tsiminaki，marc.pollefeys}@ inf.ethz.ch摘要我们解决的问题，检索高分辨率（HR）的对象，从多个视点捕获的纹理图。在多视图的情况下，基于模型的超分辨率（SR）方法最近已被证明重新覆盖高质量的纹理图。另一方面，基于深度学习的方法的出现已经对视频和图像SR问题产生了重大影响。然而，仍然缺少一种基于深度学习的方法来超分辨率3D对象的外观。在多视图情况下利用深度学习技术的主要限制是缺乏数据。我们引入基于现有ETH3D [42]、SyB3R [31] 、 MiddleBury 以 及 我 们 对 TUM [21] 、Fountain [51]和Relief [53]中3D场景的收集的3D外观SR（3DASR）数据集。我们提供了高分辨率和低分辨率的纹理图、3D几何模型、图像和投影矩阵。我们利用2D学习为基础的SR方法的力量和设计适合于3D多视图的情况下的网络我们通过引入法线映射来融合几何信息，并进一步改进了学习过程。实验结果表明，我们提出的网络成功地结合了三维几何信息和超分辨率的纹理映射。1. 介绍通过多摄像机观测有效地获取物体的外观信息对于最终生成真实感三维内容具有重要为了增加重建的3D对象的真实感，需要在几何体的顶部添加详细的外观。这种高质量的3D内容被用于电影制作、视频游戏和数字文化遗产保护等应用然而，即使使用高度精确的3D几何重建，简单地将图像重新投影到几何体上也不能保证详细的外观覆盖。为了从低分辨率（LR）图像中重新获得细节图1：我们介绍了3DASR，一个3D外观SR数据集和一种基于深度学习的方法，用于超分辨3D对象的外观。基于模型的超分辨率（SR）技术已经在多视图情况下引入[22，21，45]。这些方法引入单个相干纹理空间来定义公共纹理图，并且它们将捕获的图像建模为该高分辨率（HR）纹理图的降级版本。通过图像形成模型，他们利用重叠视图[22，21]和视频帧[45]的视觉冗余。尽管这些基于模型的SR技术成功地恢复了高质量的纹理图，但它们在计算上要求很高。另一方面，基于2D示例的SR方法已被证明优于基于模型的方法。基于示例的SR的基本假设是图像的不同部分或不同图像中相似块的重现[18]。特别地，最近已经提出了基于深度学习的技术来学习LR图像和HR图像之间的映射。不同的网络在包含HR和LR图像对的大型图像数据集上进行训练。超分辨率LR图像，然后实现与前馈步骤。然而，仍然缺少一种基于深度学习的方法来超分辨率3D对象的外观。在本文中，我们的目标是将深度学习技术引入多视图情况下的外观SR问题为了利用2D深度学习技术的能力，我们首先提供3D外观数据集。类似于96719672在基于模型的超分辨率方法中，我们引入了一个公共纹理空间，并定义了一个单一的相干纹理映射。首先将该纹理贴图映射到几何体上。然后将纹理表面投影到图像空间中。我们通过图像形成模型来表达这两个映射的连接（图10）。2）的情况。通过这个图像生成过程，并使用多个缩放因子的捕获图像，我们可以恢复相应的纹理图。我们提供了一个数据集，其中包含地面实况HR纹理图以及降尺度因子的LR纹理图×2、×3和×4。数据集涵盖了合成场景SyB3R [31]和真实场景ETH3D [42]，MiddleBury，以及我们从TUM[21]，Fountain[51]收集的3D场景。[53]救度有情。然后，我们利用基于2D学习的方法[36]的能力，设计了两种适用于3D多视图情况的架构。与[27]类似，我们引入法线映射来捕获3D模型的局部结构，并将3D几何信息纳入2D SR网络。据我们所知，我们的工作是第一个在多视图情况下引入深度学习方法的 使用我们提供的数据集，我们评估了不同的纹理映射SR方法，包括基于插值，基于模型和基于学习。综上所述，本文的贡献在于：1. 包含3D对象的HR和LR纹理对的3D纹理数据集。利用该数据集，我们促进了深度学习技术与多视图情况下的外观SR问题的集成我们将数据集称为3DASR。2. 第一个出现的SR框架，优雅地将基于2D深度学习的技术的力量与多视图设置中的3D几何信息相结合。本文的其余部分组织如下。秒2介绍了本文的相关工作。秒3描述了如何检索纹理贴图。秒4解释了数据集的生成过程。秒5探索了将正常信息引入神经网络以超分辨率LR纹理映射。秒6给出了不同方法的评价结果秒第七篇文章结束。2. 相关作品2.1. 2D图像超分辨率2D图像SR已经被广泛研究，并且其可以被分为三类，即：基于插值、基于模型和基于示例[40，17，48，18]。虽然这些方法的全面审查超出了本文的范围，我们提出了他们每个人的基本概念。基于插值的方法[2，32]增加通过使用邻近信息计算像素值来确定分辨率。但是仅仅利用图像中的局部信息并不能保证高频细节的恢复基于模型的方法将LR图像描述为HR图像的降级版本，并解析地表达前向降级系统。对未知HR图像的先验知识（例如平滑度和非局部相似性[8，34]）求解逆问题将问题视为随机过程，遵循最大似然[17]或最大后验[19]方法。尽管这些方法成功地恢复了高频细节，但它们需要优雅的优化技术。 大多数时候，它们对应于计算量大且耗时的迭代方法。基于学习的方法将这种计算负担转移到学习阶段，并使用经过训练的网络，通过前馈步骤对图像进行超分辨率处理。由于大型数据集的可用性，精心设计的网络架构可以学习从LR到HR图像的映射，并实现最先进的性能[14，44，28，36，33，50]。我们的工作，介绍了基于深度学习的方法在多视图的情况下检索3D对象的精细纹理。2.2. 纹理检索在3D几何图形上添加高质量的纹理层在最终的真实感中起着至关重要的作用这是一个检查步骤，因为在多视图情况下，存在我们需要考虑的额外的变化源，即遮挡、校准和重建不准确性。在文献[23]中已经提出了几种方法来有效地利用所有可用的颜色信息并解决上述挑战。单一视图选择。为了处理不同的几何不准确性，有几种方法只使用一个视图来为每个面指定纹理。Lempitsky和Ivanon [29]通过解决离散标记问题来补偿每个面的边界之间的接缝。Gal等人[20]通过修改加权函数，在它们的优化中并入透视缩短、图像分辨率和模糊的效果Waechter等人[46]添加额外的平滑度项以惩罚相邻面之间的不一致性。通过选择单个视图，这些方法忽略了多视图设置中存在的多种多视图选择。为了利用视图上的多种颜色信息，有几种方法可以混合每个面的图像Debevec等人[12]根据可见性和视点到曲面角度重新投影和混合视图组成为了捕捉视图相关的着色效果，Buehler等人。[9]对场景对象的全光函数进行建模和近似。一些混合方法[3，10]选择每个面的单个视图，并在靠近纹理块边界的频率空间视图中混合。纠正几何错误-9673我我racies，在[52]中，相机姿势与光度一致性联合优化。继基于贴片的合成方法的成功之后，Bi等.提出了一种考虑几何未对准的单视图独立纹理映射方法[7]。通常，这些方法不能有效地利用视点视觉冗余。多视图纹理SR方法。为了检索精细的外观细节，一些纹理SR方法在多视图情况下利用SR原理，并以高于输入图像的分辨率计算纹理图[25，39]。 Goldl uéck e等。引入图像形成模型以超分辨率纹理图[22]并细化几何和相机校准[21]。Tsiminaki等人[45]通过利用自适应时间冗余和通过利用光流均匀地校正校准和几何误差来进一步改进SR纹理质量。然而，这些方法在计算上昂贵。我们通过引入基于深度学习的方法来减轻这些基于模型的SR的局限性，这些方法已被证明在2D情况下表现出色。2.3. 超分辨率基准为了能够使用基于深度学习的技术对3D对象的纹理进行超分辨率处理，需要提供数据集。对于2D图像SR，有几个基准数据集Set5 [6]、Set14 [49]、Urban100[24]，BSD100 [38]和工程[47，26]。ImageNet [13]也在几个基于示例的方法中用作训练数据集[14，15]。最近，引入了DIV2K数据集以提供更高质量的图像[1]。然而，这样的数据在多视图情况下不可用。在这项工作中，我们提出了一种方法来计算几个分辨率的纹理，我们提供了一个三维纹理数据集，3DASR，其中包含对HR和LR纹理的三维对象。3. 纹理检索3.1. 图像形成模型图像形成模型模拟从未知纹理图生成图像图2，我们可以区分两个步骤，纹理映射和投影到图像空间。纹理映射纹理映射函数µas-将纹理映射（texel）的每个实体标记为几何体的3D点。为了能够定义纹理贴图和映射，我们首先需要在公共空间中参数化我们假设3D模型M是已知的三角网格，因此我们可以定义任何UV参数化。在[4]中，讨论了导致空间优化纹理映射的高级算法。在这项工作中，我们使用一个固定的UV参数化，描述在图2：图像形成模型。亚秒4.1.通过该映射函数µ，纹理元素x被映射到3D网格模型M的点µ（x）。投影到图像空间我们假设我们知道摄像机的姿态和摄像机的内部参数。纹理化的3D对象然后被投影到给定已知投影矩阵的图像空间设πi为视点i处的摄像机投影矩阵，Hi为相应的分辨率为h×w的图像。 几何点µ（x）被投影到图像平面中的像素位置（πiµ）（x）。设Th·w和Hh·w为纹理贴图和投影图像的矢量化版本然后将图像表示为纹理映射Hh·w= PiTh·w的线性组合，其中P是维数为h·w × h·w的矩阵。为了估计该投影算子，需要解决几个问题首先，由于几何体的凸性，表面的两个几何点可能被投影到相同的位置，然后仅需要选择可见的颜色值。其次，这个投影步骤可能导致非整数位置[35]。第三，投影点在图像空间中的分布是不均匀的，这意味着点对于某些区域可能是稀疏的为了组合落入像素q邻域的所有投影点的贡献，我们引入高斯函数作为加权函数。这个函数考虑了位置的接近度，鼓励靠近q中心的像素，而惩罚远离q的像素。 通过将落入像素邻域的所有投影点的贡献与该高斯函数相结合，我们解决了图像空间中由于表面的高曲率区域而可能产生的稀疏区域。3.2. 纹理检索：逆过程我们通过反演图像形成模型来检索纹理图我们研究了几个缩放因子，包括地面实况高分辨率和缩小因子×2，×3，×4。给定多视点图像的投影矩阵，我们计算相应的纹理图。4. 数据集：3DASR我们提供的3DASR数据集基于四个现有子集;一个合成子集SyB 3R [31]和三个真实子集EHT 3D [42]、MiddleBury [43]以及来自TUM [21]、Fountain[51]和Relief[53]的多视图数据集的鸟、贝多芬和兔子的集合我们遵循通用的9674图3：从点云到网格模型的转换和统一的参数化。流水线来预处理所有子集。我们用纹理坐标和顶点法线计算三角网格。我们使用原始数据集提供的图像作为HR图像，并使用比例因子×2、×3、×4，以计算相应的LR图像。用于对应LR图像的投影矩阵被分解。通过对原始投影矩阵进行RQ矩阵分解，然后按比例缩小内参数，得到了一种新的内参数估计方法。4.1. 真实的子集ETH3D、Collection和MiddleBury对应真实场景。关于ETH3D，我们使用包含13个场景的HR多视图子集的训练集。每个场景都提供了由DSLR相机捕获的多视图图像Col- lection是6个3D场景的集合我们用的是米德尔伯里的圣殿戒指和恐龙戒指网格：三角剖分和UV贴图。 我们首先计算三角网格，然后展开它来定义纹理贴图。通过UV展开，我们为每个顶点指定一个UV坐标。对于MiddleBury，我们使用多视图立体（MVS）管道[41]来重建网格。对于Bird、Beethoven和Bunny，我们 使 用 与 论 文 [45] 中 相 同 的 网 格 ， 对 于 FountainRelief，网格在Maier等人的工作中得到了细化。[37 ]第37段。为了确保低外观失真，我们使用类似于[22，45]的保形参数化。我们通过选择在 Blender中实现的LSCM [30对于ETH3D子集，提供的3D模型只是一个点云。因此，需要这两个处理步骤。图3显示了工作流程。注意三 角 剖 分 是 在 MeshLab 中 实 现 的 ， 而 参 数 化 是 在Blender中完成的。首先，对于大多数场景，存在多个点云，并且每个点云从不同的视点捕获场景几何因此，这些点云被融合以创建一个完全成熟的场景几何体，然后计算法线。合并后的点云包含数千万个点，这可能成为后处理的计算瓶颈。因此，使用泊松盘采样[11]简化点云，这减少了点的数量，同时保持了场景的几何细节。然后使用球旋转算法重建网格[5]。重建结果被导出到导入Blender的一个XML文件中图4：SyB3R图像渲染管道。Blender最后，将带有UV纹理坐标的三角网格导出到OBJ文件中。图像和投影矩阵。我们将原始数据集提供的图像视为HR图像，并通过对HR进行下采样来获得LR图像。给出了ETH3D和MiddleBury的内部和外部参数。因此，计算投影矩阵是直接的。对于集合子集，我们使用RQ分解来计算内部和外部参数。对于所有的三个子集，对应于LR图像的投影矩阵是通过用×2、×3和×4缩放因子对内参数进行降尺度而导出的4.2. 合成亚型：SyB3RSyB3R是一个包含四个场景的合成数据集。每个场景都包含一个精确的几何网格模型，具有最佳的UV参数化。图像渲染流水线如图所示。4.第一章为了加快渲染速度，我们在Python脚本中添加了GPU选项。我们通过保留主要对象、设置图像分辨率、添加灯光和摄像机来编辑合成场景。生成的脚本和更改的场景被传递到Blender和Cycles，从而生成渲染图像。SyB3R的原始网格模型包含多个分离的对象，这些对象的纹理映射在纹理空间中可能彼此为了解决这个问题，我们只保留了场景的主要部分，蟾蜍的尸体，头骨的头骨，地质样品的单一岩石。我们不使用乐高推土机，因为它是由许多小块没有意义的纹理。9675图5：SyB3R的渲染图像。相机和灯光。为了捕捉物体的每个表面，14个摄像机均匀地排列在物体周围的球体上。相机的焦距为25毫米。传感器的尺寸为32×18 mm。为了确保渲染图像的背景均匀，从对象的6个方向在场景照明中添加了6盏灯。渲 染 图 像 HR 图 像 的 分 辨 率LR 图 像 的 分 辨 率 为3888×2592，而LR图像的分辨率是通过将HR宽度和高度除以相应的缩放因子来计算的。在已知焦距、图像分辨率、主点、旋转矩阵和平移向量的情况下，计算3×4如作者[31]所述，由于图像合成过程的高计算负载，每个图像的渲染时间可能是几个小时。因此，我们使用GPU来渲染图像。渲染图像的示例如图所示。五、4.3. 纹理贴图在生成这些数据之后，我们现在可以使用纹理检索算法并计算4种不同分辨率的纹理图。图6示出了24个不同场景的纹理图。5. 基于学习的方法我们的3DASR数据集包含类似于二维图像的HR和LR纹理图对这使我们能够利用最先进的基于2D深度学习的图像SR方法。然而，这种一体化并非没有其自身的困难。在多视点环境下，几何信息也需要编码.与自然图像相比，纹理域有其自身的特点。因此，使基于2D SR深度学习的方法适应这个新领域非常重要。我们将3D几何信息，通过正常的，我们展示了如何指导学习过程。5.1. 正常信息法线坐标可以被标准化并存储为法线贴图中的像素颜色（图1）。8）具有与纹理贴图相同的支持。这些法线贴图捕捉曲面的局部结构因此，我们使用它们到网络中引入三维几何信息。我们将它们存储为具有4个通道的PNG图像。前3个通道存储标准化的法线坐标，第四个α通道是一个遮罩，显示纹理贴图的支持，即纹素信息可用的地方。5.2. 网络架构下一个重要步骤是合并法线贴图并将神经网络调整为多视图设置。主要有两种方法。第一种方法是直接使用它们作为输入信息，将它们与纹理贴图连接起来。第二种方法是将它们解释为高级特征，并将它们与在网络的特定层计算的特征我们采用第二种方法是出于以下两个考虑。首先，法线映射编码3D几何信息，并且确实可以被视为高级特征映射。第二，在使用法线映射作为输入的情况下，整个网络应该从头开始训练。考虑到我们的3DASR数据集很小，这将导致过度拟合。因此，通过在更高的层引入它们，我们只训练网络的最后几层，微调较低的层，并避免这种过度拟合。为了检验几何信息在训练性能中的重要性，我们计算了低分辨率和高分辨率纹理贴图的两个空间中的法线。我们称之为LR和HR法线映射。我们使用EDSR[36]作为案例研究网络来显示网络的适应性因此，我们提供了两个不同的版本，一个是在上采样层之前添加LR法线贴图，另一个是在上采样层之后添加HR法线贴图。5.3. 实现细节两个自适应网络的架构如图所示7a和图7b，我们称之为NLR和NHR，代表LR和HR法线图的使用。在图7a中，LR法线图与第30个ResBlock之后的特征图连接。下面的两个Res-Blocks和上采样层从组合的特征图中学习表示。在图7b中，在两个微调ResBlocks之前移动上采样层，并且直接在上采样层之后添加HR法线图。四个额外的卷积层跟随两个Res块。连接后的特征图的数量变为260，这是法线图的原始256个通道和附加的4个通道的总和。我们将从起始卷积层到第30个ResBlock的层其余的层被称为尾部。身体部分的参数从预训练的EDSR模型中加载并微调以适应纹理域，而尾部部分的参数则随机初始化和训练从无到有因此，较大的学习率10- 4用于训练尾部参数，而较小的学习率10- 5用于微调身体参数。我们也直接微调EDSR模型没有任何架构修改。中间学习率2. 使用5×10- 5为了训练CNN，使用掩码来识别9676图6：我们数据集中的24个纹理图从左到右，有13个纹理来自ETH3D，6来自Collection，3来自SyB3R，2来自MiddleBury。(a) NLR（b）NHR图7：基于EDSR的（a）NLR和（b）NHR的网络结构[36]。块的尺寸的变化在（a）中，在输入低分辨率空间中计算法线映射，并且在放大层之前将法线映射与特征映射连接。在（b）中，在高分辨率空间中计算法线映射，并在升尺度层之后连接。(a)救济（b）庭院图8：法线贴图捕捉曲面的局部结构。纹理贴图。我们将纹理图裁剪成大小为48×48的块，并将它们送入网络进行训练，排除那些黑色区域大于预定义阈值50的块。在推理过程中，CNN应用于整个LR纹理贴图。提供的数据集包含4个子集和24个纹理贴图。交叉验证用于获得整个数据集的评估结果。也就是说，我们将24纹理图分成2个部分，一个用于训练，一个用于测试。这4个子集的纹理图平均分布到两个分割，因此每个分割具有12个纹理图。此外，本发明还提供了一种方法，我们还尝试在子集内进行交叉验证。也就是说，训练纹理图和测试纹理图来自相同的子集。这4个子集是在不同条件下捕获的，它们可能具有不同的特征。在子集内交叉验证的情况下，训练数据和测试数据来自相同的子集，并且它们具有相同的特征。在对整个数据集进行交叉验证的情况下，有更多的训练数据，但具有不同的特征。这两种情况的比较可以表明在我们的问题设置中，子集特征或大训练集是否更重要。网络训练50个时期用于子集交叉验证，100个时期用于所有其他实验。6. 结果使用我们的3DASR数据集，我们比较了三个主要类别;基于插值、基于模型和基于学习的方法，用于超分辨3D对象的外观。基于插值的方法包括最近、双线性、双三次和Lanczos [16]插值。我们使用Tsiminaki等人的方法。[45]作为基于模型的类别的代表使用EDSR9677表1：缩放因子×2、×3和×4的不同方法的PSNR结果。方法ETH3D收集米德尔伯里SyB3R平均×2×3×4×2×3×4×2×3×4×2×3×4×2×3×4最近19.0616.7114.6824.2219.716.9210.087.937.0830.8427.8825.8221.0718.1216.0双线性20.6118.2416.3226.221.4818.8411.878.887.7731.7528.8326.922.6719.617.56双三20.2117.9615.8825.6721.1218.2911.328.817.7331.7728.7826.7322.2819.3417.16Lanczos20.0117.7415.6925.4220.8618.0711.148.817.8131.7128.726.6322.0919.1517.0HRST16.18–16.1232.29–29.6322.13–20.8827.9–26.3422.17–21.17HRST-CNN–––32.24–29.922.76–21.55––––––EDSR16.7514.0812.0321.7717.214.248.497.136.6129.3126.1823.8118.8915.7913.61EDSR-FT21.1319.7518.4428.2525.5324.1912.7311.219.932.7829.928.3123.6621.7520.4NLR-子21.2120.1119.228.0825.023.2714.6812.3711.1132.1828.8426.6423.7521.7820.47NLR21.3120.2719.1828.3825.8524.8413.6712.9212.2932.5729.5727.6723.8522.2221.08NHR25.1923.9522.730.2528.4126.2717.1617.2115.6330.5727.4224.3926.4624.9423.22Groud Truth双线性EDSR EDSR-FT NLR NHR图9：缩放因子×2时管道、平台和颅骨的视觉结果。网络作为一个基本模型，我们介绍了它的几个修改。总共有6种不同的情况。EDSR：我们使用预训练的网络EDSR，并直接在我们的数据上进行测试。EDSR-FT：我们在我们的3DASR数据集上微调预训练的EDSR，而无需修改架构和使用整个集合交叉验证。NLR-Sub：我们将LR法线映射合并到EDSR中，并使用子集交叉验证。NLR：我们将LR法线映射合并到EDSR中，如图所示。7a并使用整组交叉验证。NHR：我们将HR法线映射合并到EDSR中，如图所示。7b并使用整组交叉验证。HRST-CNN：我们使用EDSR作为HRST超分辨率纹理图的后处理步骤。在这种情况下，EDSR的上采样层被普通卷积层取代。6.1. 客观度量我们在纹理域的活动区域中计算PSNR度量，也就是说，在实际映射到3D模型的纹理域中的纹素集合上。为了基准测试的目的，这些度量也可以通过将纹理映射重新投影到图像空间中来在图像域中根据表1的PSNR值，我们可以得出以下结论.基于插值的方法。在基于插值的方法中，双线性插值比双三次插值和Lanczos插值获得更好的结果，这与2D图像插值相矛盾。这可能是因为纹理域和普通图像域具有不同的特征。在2D图像SR中，LR图像被建模为HR图像的双三次下采样版本，这有利于高级插值方法。在多视图设置中，由于可变性的几个来源，LR和HR纹理贴图可能不严格对齐。微调基于学习的方法。 纹理域的知识不同于图像域.与预训练的EDSR模型相比，EDSR-FT的微调结合了纹理的特征。因此，算法需要适应特定的领域。LR与HR法线图。我们通过法线映射将多视图设置的3D几何信息结合起来，并与微调EDSR-FT的简单情况进行比较。根据PSNR值，几何信息改善了重建纹理图的质量。然后，我们通过比较NLR和NHR两种情况来当我们以更高的精度表示这种几何信息时，PSNRNHR案例，其中HR9678EDSR 21.77dB EDSR-FT 28.25dB NLR 28.38 dB NHR 30.25dB HRST 32.29dB图10：缩放因子×2的Bunny超分辨率纹理图的PSNR（dB）和特写。在逐渐增加域的特征的同时，恢复了更多的细节。NHR在基于深度学习的方法中实现了最高的PSNR值，同时仍然低于基于模型的HRST。注意，对于NHR，纹理SR是前馈步骤，而对于HRST是迭代方法。法线贴图的性能优于NLR。因此，HR法线贴图捕获更多的几何细节并提高性能。子集特征与训练数据大小。 NLR-Sub对子集使用交叉验证，而NLR对整个集合使用交叉验证。在NLR-Sub的情况下，子集特征得到尊重，而在NLR的情况下则不然。NLR的主要优点是更多的数据用于训练（12个HR纹理图）。NLR组件与NLR子组件的高PSNR值表明，训练数据大小比子集特性更重要。此外，ETH 3D上NLR和NLR-Sub之间的PSNR差距大于MiddleBury和Collection上的PSNR差距。这是因为ETH3D是一个比MiddleBury和Collection相对更大的数据集。因此，即使使用子集交叉验证，NLR-Sub也不会与ETH 3D数据集上的NLR产生很大差异。因此，我们得出结论，尽管每个子集可能有自己的特征，但训练数据大小是一个主要因素。基于模型与基于学习的方法。 基于模型的方法HRST将纹理检索问题归结为一个优化问题.它是一个两阶段的迭代算法，其计算成本随着几何复杂度的增加而增加。这解释了HRST方法在数据集上的不稳定行为。HRST在MiddleBury和Col-lection上优于NHR， 在大多数情况下，HRST-CNN增强了超分辨率纹理图。重要的是要注意，即使在基于模型的方法优于基于深度学习的方法的情况下，PSNR值也相对接近。更重要的是，基于深度学习的方法是一个可以在几秒钟内执行的前馈步骤，而基于模型的方法是一个繁重的迭代过程。6.2. 视觉结果视觉结果示于图1中。图9和图10。直接上采样LR纹理贴图创建模糊图像。EDSR导致沿着黑色区域和纹理区域之间在通过EDSR-FT、NLR和NHR方法逐步引入域的特征的同时，我们逐步恢复了更多的视觉细节。7. 结论我们提供了3DASR，3D外观SR数据集1，其捕获具有大量纹理特征的合成和真实场景。它基于四个数据集，ETH3D，Collection，MiddleBury和SyB3R。该数据集包含缩放因子为×2、×3和×4的地面实况HR纹理贴图和LR纹理贴图。三维网格，多视图图像，投影矩阵，和正常的地图也提供。我们在多视图设置中引入了基于深度学习的SR框架。我们表明，基于2D深度学习的SR技术可以通过法线映射引入几何信息成功地适应新的纹理域，并实现与基于模型的方法相对相似的性能。这项工作为基于深度学习的纹理SR方法开辟了一个新的方向。必要的下一步是扩大我们的数据集，无论是通过常见的增强技术，或按照我们提出的纹理检索管道引入新的数据集。我们的基于深度学习的SR框架的性能在某些情况下（MiddleBury和Collection）低于基于模型的SR框架的事实表明，仍然存在用于统一基于模型的SR技术和基于2D深度学习的方法的概念的更多实验室方法的空间。1数据集、评估代码和基线模型可在https://github.com/ofsoundof/3D_Appearance_SR 上 获得。9679引用[1] E. Agustsson和R. Timofte NTIRE 2017挑战单幅图像超分辨率：数据集和研究。在procCVPRW，2017年7月。3[2] J. Allebach和P.W. 黄。边缘定向插值。在Proc. ICIP，第3卷，第707-710页，1996年。2[3] C. 好的，杰。- P. Pons和R. Keriv en. 使用多波段混合的无缝基于图像的InProc. ICPR，pages 1-4，2008. 2[4] L. Balmelli，G. Taubin和F.伯纳迪尼空间优化的纹理贴图。计算机图形论坛，第21卷，第411-420页，2002年。3[5] F. Bernardini，J. Mittleman，H.拉什迈尔角席尔瓦，还有G.陶宾曲面重构的球旋转算法。IEEE TVCG，5（4）：349-359，1999年。4[6] M. Bevilacqua、A.鲁米角Guillemot和M. L.阿尔贝里-莫雷尔。基于非负邻域嵌入的低复杂度单幅图像超分辨率在Proc.BMVC，2012.3[7] S. Bi，N. K. Kalantari和R. Ramamoorthi基于图像的纹理映射的基于块的优化。ACM Trans.Graph. ，36（4），2017. 3[8] A.布阿德斯湾Coll和J. - M.莫瑞尔一种非局部图像去噪算法。 在proc CVPR，第2卷，第60-65页。IEEE，2005年。2[9] C.比勒M.博塞湖McMillan，S. Gortler和M.同-母鸡。非结构化的lumigraph渲染。在proc SIG-GRAPH，第425-432页，2001年。2[10] Z. 陈，J.Zhou，Y.Chen和G.王. 多视图重建中的三维纹理 在proc ISVC，第359-371页，2012年。2[11] M. 科尔西尼山口Alcohoni和R.斯科皮尼奥三角形网格的蓝噪声特性的有效和灵活的采样IEEE TVCG，18（6）：914-924，2012。4[12] P. E. 德贝韦茨角J. Taylor和J.马利克从照片中建模和渲染 建 筑 ： 基 于 几 何 和 图 像 的 混 合 方 法 。 在 Proc.SIGGRAPH，第112[13] J. Deng，W.东河，巴西-地索赫尔湖J. Li，K. Li和L.飞飞。Imagenet：一个大规模的分层图像数据库。在Proc.CVPR，第248-255页，2009中。3[14] C.东角，澳-地C. Loy，K.他，还有X。唐学习用于图像超分辨率的深度卷积网络。在procECCV，第184-199页，2014年。二、三[15] C.东角，澳-地C. Loy，K.他，还有X。唐使用深度卷积网络的图像超分辨率。IEEE PAMI，38（2）：295-307，2016年。3[16] C. E.杜雄一维和二维的Lanczos滤波。Journal of Applied Meteorology，18（8）：1016-1022，1979. 6[17] S. Farsiu，M.D. 罗宾逊，M。Elad和P.米兰法快速和强大的多帧超分辨率。IEEE TIP，13（10）：13272[18] W. T.弗里曼，T. R. Jones和E. C.帕斯特基于实例的超分辨率。IEEE计算机图形学与应用，22（2）：56-65，2002. 一、二9680[19] Z. 傅，Y。Li，Y.利湖，澳-地Ding和K.久了基于频JSEE，27（6）：1303-1314，2016. 2[20] R. Gal，Y. Wexler，E.奥费克，H. Hoppe和D.科恩-奥 无 缝 蒙 太 奇 纹 理 模 型 。 Computer GraphicsForum，29（2）：479-486，2010. 2[21] B. 金卢克，M。 Aubr y，K. Kolev和D. 克莱姆斯一种用于高精度多视图重建的超分辨率框架。IJCV，106（2）：172-191，2014年。一、二、三[22] B. Goldl uck e和D. 克莱姆斯用于多视图重建的超分辨率纹理图在Proc. ICCV，第1677- 1684页，2009中。一、三、四[23] P. S. 赫 克 伯 特 纹 理 映 射 综 述 。 IEEE ComputerGraphics and Applications，6（11）：56-67，1986.2[24] J. - B. Huang，黄背天蛾A. Singh和N.阿胡佳从转换的自我样本的单一图像超分辨率 在proc CVPR，第5197-5206页，2015年。3[25] R. Koch，M. Pollefeys和L.范古尔来自未校准视频序列的多视点立体声。Proc. ECCV，第55-71页，1998年。3[26] T. Kohle r，M. Ba？tz，F. Naderi 、黑腹拟步行虫A.Kaup，A. K. Maier，和C.里斯基于真实数据的超分辨率算法基准测试。arXiv预印本arXiv：1709.04881，2017年。3[27] Z. Lahner、D. Cremers和T.阿东皱纹加深：准确逼真的服装造型.在欧洲计算机视觉会议（ECCV）的会议记录中，第667-684页，2018年。2[28] C. 莱迪格湖Theis，F.Husza'r，J.Caballero，A.坎宁安A.阿科斯塔A. P. Aitken，A. Tejani，J. Totz，Z.wang等人使用生成对抗网络的照片级真实感单幅图像超分辨率。在Proc. CVPR，第2卷，第4页，2017年。2[29] Lempitsky和D.伊万诺夫基于图像的纹理图的无缝拼接在Proc. CVPR，第1-6页，2007中。2[30] B. 再见，S。Petitjean，N. Ra y和J. 马约最小二乘保角映射用于纹理图谱自动生成。ACM事务处理图表，21（3）：362-371，2002. 4[31] A. 雷，雷。 Hánsch和O. 你好。Syb3r：一个真实的合成基准的三维重建从图像。 在procECCV，第236-251页，2016年。一、二、三、五[32] X. Li和M. T.果园 新的边缘定向插值。IEEE TIP，10（10）：1521-1527，2001年。2[33] Y. 李鹏说，E. Eirikur Agustsson，S. 顾、R.Timofte,andL.范古尔Carn：卷积锚定回归网络，用于快速准确的单图像超分辨率。InProc. ECCVW，volume 4，2018. 2[34] Y. Li，X.Li和Z.Fu. 改进的非局部均值混合视频超分辨率算法。CVIU，168：64-78，2018。2[35] Y. Li，X. Li，Z. Fu和W.锺基于信息提取与融合的多视点视频超分辨率。在procACM MM，第446-450页，2016年。3[36] B.林，S。儿子，H。Kim，S.不还有K M.李你用于单 图 像 超 分 辨 率 的 增 强 深 度 残 差 网 络 。 在 Proc.CVPRW，第1卷，第4页，2017年。二、五、六[37] R. Maier，K. Kim，D. Cremers、J. Kautz和M.尼斯纳Intrinsic3D：通过关节外观和几何优化以及空间变化照明实现高质量3D重建InProc. ICCV，volume 4，2017. 49681[38] D.马丁角，澳-地Fowlkes，D. Tal和J.马利克 人类分割自然图像数据库及其在评估分割算法和测量生态统计中的应用。在Proc. ICCV，第2卷，第416-423页3[39] K. Nakamura，H. Saito和S.小泽序列图像超分辨率纹理三维模型的生成。在Proc. IEEE SMC，第2卷，第1406-1411页，2000中。3[40] S. C.公园，M。K. Park和M. G.康超分辨率图像重建：技术概述。IEEE信号处理杂志，20（3）：21-36，2003年。2[41] J. L. Schoenbe rge r，E. Zheng，M.，中国科学院昆虫研究所所长。 Pollef eys和J. - M. 弗拉姆用于非结构化多视图立体的像素视图选择。在Proc. ECCV，2016中。4[42] T. Sch opps，J. L. S. Galliani，T. 萨特尔河，K.辛德勒M. Pollefeys和A.盖革具有高分辨率图像和多相机视频的多视图立体基准。在Pr