基于深度学习的几何失真校正方法

4855基于深度学习李晓宇1张博1佩德罗V.砂光机1京辽21香港科技大学2香港城市大学摘要我们提出了第一个通用框架，以自动纠正不同类型的几何失真在一个单一的输入图像。我们提出的方法采用卷积神经网络（CNN）训练使用一个大的合成失真数据集预测失真图像和校正图像之间的位移场。模型拟合方法使用CNN输出来估计失真参数，实现更准确的预测。使用高效、高质量的重采样方法基于预测流量生成最终校正图像。实验结果表明，我们的算法优于传统的校正方法，并允许有趣的应用，如失真转移，失真消除，和共现失真校正。1. 介绍几何失真是数字图像中常见的问题它可以由采集系统（例如，光学透镜，成像传感器），成像环境（例如，平台或目标的运动图像扭曲）。例如，照相机镜头经常遭受光学像差，导致在广角镜头中常见的桶形失真（B），其中图像放大率随着距光轴的距离而减小，以及枕形失真（Pi），其中它增加。虽然镜头失真是相机固有的，但是像旋转（R）、剪切（S）和透视失真（P）这样的外部几何失真也可能由相机的不适当姿势或移动引起。此外，可以通过图像处理工具生成大量的失真效果，诸如波失真（W）。我们的目标是设计一种算法，可以自动纠正这些失真的图像，并可以推广到广泛的失真容易（见图2）。几何失真校正在摄影和计算机视觉应用中都是高度期望的。考试-图1.我们提出的基于学习的方法可以盲校正具有不同类型几何失真的图像（第一行），提供高质量的结果（第二行）。实际上，镜头畸变违反了许多算法所依赖的针孔相机模型假设。第二，遥感图像通常包含几何失真，在校正之前不能直接用于地图[34]。第三，倾斜检测和校正是文档分析中重要的预处理步骤，并且对分割和特征提取阶段的可靠性和效率具有直接影响[1]。最后，由于相机旋转不正确，照片通常包含倾斜的建筑物、墙壁和地平线。我们的视觉系统认为人造结构应该是直的，地平线应该是水平的.完全盲的几何失真校正是一个具有挑战性的问题，这是欠约束的给定的输入只有一个单一的失真图像。因此，已经提出了通过使用多个图像或附加信息的许多校正方法。径向镜头畸变的多视图方法[4，15，23]使用两个或多个图像的点这些方法可以取得令人印象深刻的结果。但是，当摄影机运动下的多个图像不可用时，无法应用它们。为了解决这些限制，还探索了来自单个图像的失真校正。基于铅垂线方法[39，5，33]的径向透镜畸变因此，准确的直线检测是这些方法的鲁棒性和灵活性的一个非常重要的方面。其他失真的校正方法[13，24，7，31]也依赖于4856检测特殊的低级特征，如消失点、重复纹理和共面圆。但这些特殊的低层特征在某些图像中并不总是足够频繁地用于失真估计，这极大地限制了方法的通用性。此外，所有的方法都集中在一个特定的失真。据我们所知，没有一个通用的框架，可以解决不同类型的几何失真从一个单一的图像。在本文中，我们提出了一种基于学习的方法来实现这一目标。我们使用失真图像和校正图像之间的位移场来表示宽范围的失真。然后，校正问题被转换为从单个图像对该位移场或流的逐像素预测。最近，CNN已经成为计算机视觉许多领域的一种强大方法，并且优于许多传统方法，这促使我们使用类似的网络结构进行训练。预测流量，然后进一步改善我们的模型拟合方法估计的失真参数。最后，我们使用一种改进的恢复方法，从预测的流量中生成输出的无失真图像。总的来说，我们基于学习的方法不会对输入图像进行强假设，同时生成具有很少可见伪影的高质量结果，如图1所示。我们的主要贡献是提出了第一个基于学习的方法来纠正广泛的几何失真盲目。更具体地说，我们建议：1. 单模型网络，其隐式地学习给定失真类型的失真参数。2. 一种多模型网络，在不知道失真类型的情况下，与流量回归一起执行类型分类，然后使用可选的模型拟合方法，以进一步提高估计的准确性。3. 一种新的基于迭代搜索的重采样方法，具有更快的收敛速度。4. 可以直接使用该框架的扩展应用，例如失真传输、失真消除和共现失真校正。2. 相关工作几何失真校正。对于相机镜头畸变，已提出预校准技术，用于使用已知畸变参数进行校正[32，10，35，18，44]。然而，它们不适合变焦镜头，并且校准过程通常是繁琐的。另一方面，自动校准方法不需要特殊的校准模式，并且自动从多视图图像中提取相机参数[12，15，23，28，19]。但对于许多应用场景，B PiR S P W图2.我们的系统被训练以校正桶形失真（B）、枕形失真（Pi）、旋转（R）、剪切（S）、透视（P）和波失真（W）。不可用.为了克服这些局限性，从单幅图像中自动进行畸变校正的研究越来越受到人们的关注.Fitzgibbon [12]提出了一种分割模型，以更高的精度和更少的参数来近似径向失真曲线Wang等人[39]研究了分割模型下直线的几何性质，提出了用圆弧拟合的方法估计畸变参数。由于铅垂线方法依赖于鲁棒线检测，因此Aleman-Flores等人。[2]使用改进的Hough变换来提高鲁棒性，而Bukhari和Dailey [5]提出了一种采样方法，该方法鲁棒地选择圆弧并确定对离群值不敏感的失真参数。对于其他失真，如旋转和透视，大多数图像校正方法依赖于对低级别特征的检测，如消失点、重复纹理和共面圆[13，24，7，31]。最近，翟等。[43]提出使用深度卷积神经网络通过将全局图像上下文与消失点的线索聚合来估计地平线Workman等人[40]更进一步并直接估计单个图像中的水平线。与这些专门的方法不同，我们的方法是通用的多类型失真校正使用一个单一的网络。变形估计最近已经有了关于单个图像中的几何变形或变化的自动检测的工作。Dekel等人[9]使用非局部变化算法来自动检测和校正来自单个图像的重复结构之间的小变形。Wadhwa等人[37]拟合参数模型以计算几何偏差并夸大与理想几何的偏差。在纹理图像的背景下也研究了估计变形[22，16，27]。这些技术都不是基于学习的，并且大多用于专门领域。用于像素预测的神经网络。最近，卷积神经网络已用于来自单个图像的许多逐像素预测任务中，例如se.4857Mantic分割[25]，深度估计[11]和运动预测[38]。密集预测的主要问题之一是如何将多尺度上下文推理与全分辨率输出相结合。Long等人[25]提出了全卷积网络，推广了CNN用于没有全连接层的密集预测一些方法专注于扩张或atrous卷积[42，8]，其支持感受野的指数扩展，并系统地聚合多尺度上下文信息而不会丢失分辨率。另一种策略是使用编码器-解码器架构[26，3，29]。编码器逐渐减小空间维度以增加神经元的感受野，而解码器将低分辨率特征图映射到全输入分辨率图。Noh等人[26]为解码器部分开发了去卷积和去池Badrinarayanan等人[3]使用池索引连接编码器和相应的解码器，使架构更有内存效率。另一个流行的网络是U-net [29]，它使用跳过连接来将收缩路径与上采样特征映射相结合。我们的网络使用一个编码器-解码器架构与剩余连接设计，并取得更准确的结果。3. 网络架构几何畸变图像通常表现出不自然的结构，可以作为畸变校正的线索。因此，我们假设网络可以通过从输入图像中提取特征来识别几何失真。因此，我们提出了一个网络来学习从图像域I到流域F的映射。该流是2D向量场，其指定输入图像中的像素应移动到何处以获得校正图像。它定义了一个非参数变换，因此能够表示广泛的失真。由于该流程是从畸变图像到校正图像的前向映射，因此需要一种重建方法来产生最终结果。该策略遵循其他应用的学习方法，这些方法已经观察到，预测从输入到输出的转换通常比直接预测输出更简单（例如，[14、20]）。因此，我们设计了我们的架构来学习中间流表示。另外，前向映射指示失真图像中具有已知颜色的每个像素映射到哪里。因此，输入图像中的所有像素学习与它们直接相关联的当失真极大地改变图像形状时，这可能是一个严重的问题此外，我们的重新采样方法，需要生成最终的图像是快速和准确的。我们提出了两个网络，通过考虑用户是否有先验知识的失真类型。我们的网络工程师是在监督下训练的.因此，我们首先介绍如何构造成对数据集（第3.1节），然后介绍我们的两个网络，用于单模型和多模型失真估计（分别为第3.2节和第3.33.1. 数据集构造我们通过用给定的映射对一幅图像进行变形来生成变形图像流对，从而构造变形图像数据集I及其相应的变形流数据集F，其中Ij∈I和Fj∈F是成对的。我们考虑了六种几何畸变模型.然而，该架构并不专用于这些类型的失真，并且可以潜在地进一步扩展。每个失真类型β=1，…6具有模型Mβ，其定义了从失真图像点阵到原始图像点阵的映射。如果原始图像中的对应点不在整数网格上，则使用双线性插值。同时生成流F=Mβ（ρβ），F∈ F，记录畸变图像中的像素应如何移动到原始图像中的对应点。ρβ是控制畸变效应的畸变参数。例如，在旋转失真模型中，ρβ是旋转角度，而在桶形和枕形模型中，ρβ表示Fitzgibbon的单参数划分模型[ 12 ]中的参数不同失真模型中的所有失真参数ρβ在指定范围内使用均匀分布如图2所示，几何失真改变了图像形状。因此，我们裁剪图像和流以移除空区域。3.2. 单模型失真估计我们首先引入一个由θβ参数化的网络N β来估计具有已知畸变类型β的畸变图像的流。Nβ利用子数据集学习从Iβ到Fβ的映射，其中IβI和Fβ F是包含失真类型β的图像和流的子域。架构 一种可能的架构选择是根据具有类似自动编码器的结构的地面实况直接回归失真流。然而，该网络将仅利用逐像素流误差来优化，而不利用由已知失真模型施加的全局约束。相反，我们设计了一个网络，首先直接预测模型参数ρβ然后，该参数用于在网络中生成流F=Mβ（ρ β）。虽然网络应该隐式地学习失真参数，但网络没有明确的约束来精确地这样做。4858土工网512512畸变参数EPE损失CNNs残余块全连接层卷积层失真模型层重采样64GeoNetM64128128256256512512 512512512512模型拟合EPE损失512512失真类型交叉熵损失图3.概述我们的整个框架，包括单模型（GeoNetS）和多模型（GeoNetM）失真网络（第3节）和重采样（第4节）。每个框表示一些conv层，其中垂直维度指示特征图空间分辨率，并且水平维度指示框中的每个conv层的输出通道。网络架构称为GeoNetS，如图3所示。它在一开始就有三个卷积层和五个残差块（[17]），以逐渐缩小输入图像的大小并提取特征。每个残基-是可微的，每层的后向梯度可以使用链式法则来计算：联系我们Mβual包含两个conv层，并有一个快捷连接∂θβ =μMββ-环糊精（2）从输入到输出。快捷连接有助于简化实验表明，采用梯度流动，可以达到较低的损失。空间分辨率的下采样是使用步长为2和3×3内核的卷积层实现的。在每个conv层之后添加了批量归一化层和ReLU函数，这显着提高了训练。在残差块之后，两个conv层被用于进一步缩小特征尺寸，并且全连接层将3D特征图转换为1D向量ρβ。 利用失真参数ρ β，对应的失真模型Mβ解析地生成失真流。 该网络是优化与像素之间的流误差生成的流量和地面实况。损失我们训练网络以最小化损失L，损失L衡量估计失真流和地面真实流之间的距离Nθβ=arg minL（Nβ（I;θβ），F）我们训练的网络可以从输入图像中盲估计每种失真类型的失真流，并实现与传统方法相当的性能。3.3. 多模型失真估计GeoNetS网络一次只能捕获具有失真模型的特定失真类型。对于一个新的类型，整个网络必须重新训练。此外，失真类型和模型在一些情况下可能是未知的。鉴于这些限制，我们设计了第二个网络的多模型失真估计。然而，由于失真模型和参数ρβ可以在不同类型之间急剧变化，因此不可能训练具有模型约束的多模型网络。我们训练了一个网络，在没有模型约束的情况下对畸变流进行回归，同时对畸变类型进行分类。网络如图3所示。由θ参数化的多模型网络N针对两个θβNβ（I;θβ）= Mβ（nβ（I;θβ））（一）任务 第一个任务估计失真流，学习从图像域I到流域的映射F. 第二个任务分类的失真类型，学习其中，nβ是Nβ的子网络，表示隐式回归失真参数的部分。这里我们选择端点误差（EPE）作为损失函数。的EPE 被定义为预测流矢量和在所有像素上平均的地面实况之间的欧几里得距离。因为估计的失真流被失真模型明确地约束，所以它自然是平滑的。由于几何失真模型Mβ，我们考虑从图像域I到类型域T的映射。架构整个网络采用编解码器结构，包括编码器部分、解码器部分和分类部分。将输入图像馈送到编码器中以编码几何特征并捕获非自然结构。然后是两个分支：在第一个分支中，使用解码器来回归失真4859流中，而在第二分支中，分类子网用于对失真类型进行分类。编码器部分与GeoNetS相同，解码器部分与编码器对称。空间分辨率的下采样/上采样使用步长为2的conv/upconv层来实现分类部分还具有两个conv层以进一步缩小特征，并且全连接层将3D特征图转换为每种类型的1D得分向量。损失我们在流回归分支中使用EPE损失L流，在分类分支中使用交叉熵损失通过最小化总损耗来联合优化两个分支：失真IS（5）IS（10）IS（15）我们的（5）图4。比较了传统迭代搜索和本文方法的收敛性。使用具有不同失真水平的两个示例我们的方法收敛到良好的重采样结果与5个迭代。θ=arg min（Lθ流 +λL 类 ）（3）一旦模型拟合完成，我们就有一个精细且更平滑的流F=Mβ（ρ β）。通过模型拟合，其中权重λ提供流预测与失真类型分类之间的折衷。我们观察到，共同学习失真类型也有助于减少流量预测误差这两个分支共享相同的编码器，并且分类分支帮助编码器更好地学习不同失真类型的几何特征直接比较请参见第5节。模型拟合我们的多模型网络可根据输入图像同时预测流量和失真类型。基于这些信息，我们可以估计模型中的实际失真参数，并重新生成流量，以获得更准确的结果。Hough变换是一种广泛使用的提取图像特征的技术。它是鲁棒的噪声通过消除离群值在流中使用投票程序。此外，它是一种非迭代方法。每个数据点都是独立处理的，因此可以对所有点进行并行处理。这使得它在计算上更有效。对于输入图像I，给定其畸变类型β和由我们的网络预测的畸变流N（I;θ），我们希望用畸变参数ρβ拟合相应的畸变模型Mβ。在我们的场景中，我们将流N（I;Nθ）中位置（i，j）处的每个数据点Nij映射到畸变参数空间变换由下式给出：校正较高分辨率图像的效率可能大大改善。这是因为我们可以在很小的分辨率下估计流，得到失真参数ρ，并根据失真参数直接生成全分辨率流。4. 重采样给定失真流，我们采用像素评估算法来确定向后映射并重新采样最终的未失真图像。该方法受到[41]中的双向迭代搜索算法的启发与网格光栅化方法不同，这种迭代方法对每个像素完全独立并行运行，从源图像的适当位置获取颜色。[41]的传统向后映射算法寻求在源图像中找到映射到q的点p。由于我们只有前向失真流，因此该方法基本上使用迭代搜索来反转该映射，直到位置p收敛：p（0）=q（五）p（i+1）=q−f（p（i））其中f（p）是计算的从源像素p到未失真图像的前向流。由于本文中的应用往往涉及大，ρij =M−1（N）（4）平滑失真，我们提出了一个修改，显着提高收敛速度和质量。该tra-我们假设失真参数ρ的范围为ρmin到ρmax，并将该范围均匀地划分为M个单元。 根据参数值，所有点ρij都属于一个单元接收最大计数数目的单元确定最佳拟合结果，并且最终结果是这个单元格中所有点的平均值我们在实验中让M=100基于q处的流量，更具体地，p（1）= q − f（p（0））。如果f（p（1））≈ f（p（0）），则迭代搜索快速收敛。然而，在存在大失真的情况下，f（p（0））的失真很大，p（0 ）和p（1 ）很远，因此，f（p（1 ））和f（p（0））可能非常不同，这使得初始化较差，并降低了转换速度。IJ4860NXNX我们不假设p（0）和p（1）中的流量相同，而是使用有限差分方法计算p（0）处流量的局部导数，并使用此导数来估计p（1）处的流量。我们用fx（p）和fy（p）分别表示水平流和垂直流。从形式上讲，GeoNetM是97。3%，这六种失真。表1还示出了单类型实现比多类型更低的流误差，因为多类型任务需要学习附加信息。我们还研究了模型拟合方法是否提高了GeoNetM的预测精度最后两行dfx= fx（p（0））−fx（p（0））（六）在表1中示出了基于霍夫变换的模型dx（x+1）−x其中p（0）在坐标（x，y）处，且其水平像素相邻者pnx在坐标（x+1，y）处。然后我们用这个导数来近似p（1）=（x′，y′）处的流：拟合提供更精确的结果。更多结果来自GeoNetM如图5所示。对于每个示例，失真图像显示在左侧，校正后的输出图像显示在中间，三个流（拟合前、拟合后和地面实况）显示在右侧。 更真实的形象（一）dfx=fx（p ）−fx（p（0））（七）结果和模型拟合的详细讨论，GeoNetS和GeoNetM在补充材料中给出。dx x′−x根据前向流的定义，我们有fx（p（1 ））=x−x′。因此，我们可以结合等式6和等式7来计算x′：5.2.重采样接下来，我们提出了我们的重采样策略的结果。图4显示了应用于具有两个不同失真水平的图像的结果。请注意，在最上面一行，x′=x−1 +fxfx（p（0））（p（0））−fx（八）（p（0））使用传统的迭代搜索方法（IS），大约需要10次迭代才能收敛，而当我们类似地计算y′，并继续迭代搜索。注意，我们只在第一次迭代中使用这种有限差分方法来获得粗略的初始估计。的使用传统的、更快的迭代搜索来微调直到收敛。5. 实验在本节中，我们报告了我们的工作结果我们首先在5.1节中分析我们提出的网络的结果。然后我们在5.2节中讨论我们的重采样方法的结果。在第5.3节中，我们展示了我们的方法与以前用于校正特定失真类型的方法的定性和定量比较在第5.4节中，我们展示了我们的方法的一些应用CNN的培训细节在补充材料中给出。5.1. 网络为了评估GeoNetS的性能，我们与没有分类分支的GeoNetM进行了比较，并在同一数据集上训练了这两个网络，只有单一类型的扭曲。表1中的前两行显示，通过在网络中示例性地考虑失真模型，GeoNetS实现了更好的结果。此外，由于扰动模型的约束，该流是全局光滑的。其次，我们研究了联合学习与分类如何提高失真流预测。表1中的第三和第四行示出了在多类型失真数据集中，具有使用分类分支的联合学习的GeoNetM比GeoNetM具有更准确的预测。的分类精度使用我们的初始化。在第二排，严重失真，即使经过15次迭代，传统方法也不能令人满意地收敛，而我们的初始化结果也在5次迭代内收敛。图6展示了我们的方法如何更快地收敛到地面实况（左），以及如何在仅5次迭代后，绝我们的方法的并行版本已在GPU上使用Intel Xeon E5-2670 v3 2.3 GHz机器与Nvidia Tesla K80 GPU实现。它可以在50ms以下对图像进行重采样。5.3. 与以往技术的比较接下来，我们将我们的失真校正技术与专门用于某些失真类型的一些现有方法进行比较。请注意，与这些方法不同，我们基于学习的方法能够处理不同的失真类型。镜头失真。图7比较了我们的方法与专门针对镜头失真的[2]和[30]。注意，对于图像具有明显失真的情况（例如，第一行），所有方法都能准确地校正。然而，在失真更细微或不表现出高度失真的线的情况下（例如，底部两行），我们的方法产生了改进的结果。图8显示了基于从[21]的数据集中随机选择的50个图像的定量比较。这些图像包括各种场景类型（例如，自然、人造、水），并且用随机失真参数进行失真以生成我们的合成数据集。所有这些方法都使用Fitzgiant4861配置EPE架构培训数据集BPiRSPW平均GeoNetS单一型1.430.792.412.190.891.061.46GeoNetM w/o Clas单一类型1.571.123.012.911.011.321.82GeoNetM w/o Clas Multi-type3.072.243.754.993.351.733.19GeoNetM多类型2.722.033.683.123.291.672.75GeoNetM w/Hou多类型1.781.342.772.272.251.221.94表1.EPE和分类统计我们的方法使用500个测试图像每失真。源校正流量源校正流量源校正流量图5.我们所考虑的扭曲的结果。顶行：桶形失真、枕形失真和剪切失真。底行：旋转、波失真和透视失真。这些流是指模型拟合之前的流（上图）、模型拟合之后的流（中图）和基础实况流（下图）。00 5 10迭代15 200 1 2 3 4第5次迭代时的终点误差图6.传统迭代搜索和我们的方法在五次迭代后的EPE（左）及其直方图（右）的收敛性。测试10张具有不同失真水平的图像。表2.检测线与垂直角的角度偏差方法基线（输入）[6]我们的角度偏差6. 4403. 2002年3月。81◦用于比较。请注意，使用我们的方法，位于误差阈值（x轴）内的样本图像（y轴）的数量明显高于其他方法。透视失真。对于透视畸变，我们与[6]进行了比较。这里我们使用角度偏差作为来源我们[2]的结果[ 30 ]的结果图7。与最先进的镜头畸变校正方法进行定性比较。公制我们收集了30个建筑物的正投影下的图像，并扭曲他们与不同的单应矩阵。我们将扭曲的垂直线控制在[70<$，110<$]范围内。然后，我们使用该范围内的线段检测器检测校正结果中的直线[36]，并假设这些直线的角度应为90度角，迭代搜索Ours0.980.92迭代搜索我们平均EPE百分比4862504030源收缩扩展图11.扭曲夸张的示例。1000.0 0.2 0.4 0.6 0.8 1.0相对误差阈值图8.镜头畸变校正方法的定量比较。在给定相对误差阈值的情况下，该方法比其他方法得到更准确的像素。来源我们的结果[6]图9。与以往透视校正方法的比较。参考目标结果图10.失真转移的例子。使用透视和桶形失真校正并计算其平均角偏差。如表2和图9所示，我们的方法优于以前的方法[6]。5.4. 应用此外，我们还探索了可以直接从我们的失真校正方法中受益的应用。变形转移。我们的系统可以从参考图像中检测出失真，并将其转移到目标图像中。我们可以估计从参考图像到校正版本的前向流，然后通过双线性插值将其直接应用于目标。图10示出了将失真从参考图像转移到目标图像的两个示例，以便强调房屋照片的透视（上排）或将积极的桶形失真应用于肖像（下排）。扭曲夸张。为了实现失真补偿，我们可以反转估计流场的方向，使像素远离其未失真的位置，并使用我们的重新补偿方法来生成一个夸张的失真输出。图11显示了具有透视效果的建筑物，我们可以分别通过放大或反转流动来调整失真水平以夸大效果共同出现的失真校正。 有时一个图像可能有不止一种类型的失真。我们可以简单地通过迭代地运行我们的校正算法两次来校正失真的图像对于每次迭代，它都会检测并纠正遇到的最严重类型的失真有关示例和结果，请参见补充材料。6. 结论总之，我们提出了第一种方法来盲目地纠正几种类型的几何失真从一个单一的图像。我们的方法使用了一种在几种常见失真上训练的深度学习方法来检测失真流和类型。我们的模型拟合和参数估计方法，然后准确地预测失真参数。最后，我们提出了一种快速的并行方法来重采样的失真校正图像。我们比较我们的技术，最近专门的方法失真校正和目前的应用，如失真转移，失真夸张，并共同发生失真校正。鸣谢：这项工作部分得到香港城市大学创业资助计划资 助 。 7200607/CS 及 香 港 政 府 研 究 基 金 资 助 编 号16208814。我们Aleman等人2014Santana et al. 2015数量的样本204863引用[1] A. M. Al-Shatnawi和K.奥马尔基于重心的阿拉伯文文档图像倾斜检测与Journal of Computer Science，5（5）：363，2009. 1[2] M. 阿莱姆阿恩弗洛雷斯湖 阿瓦雷斯湖Gomez和D. 桑塔纳-雪松。使用单参数分割模型的自动镜头畸变校正Image Processing On Line，4：327-343，2014. 二六七[3] V.巴德里纳拉亚南，A. Kendall和R.西波拉Segnet：用于图像分割的深度卷积编码器-解码器架构。arXiv预印本arXiv：1511.00561，2015。3[4] J. P. Barreto和K.丹尼尔迪斯径向畸变凸轮的基本矩阵计算机视觉，2005年。ICCV 2005年。第十届IEEE国际会议，第1卷，第625-632页。IEEE，2005年。1[5] F. Bukhari和M. N.戴利从单个图像自动估计径向失真。数学成像和视觉杂志，45（1）：31-45，2013。一、二[6] K. Chaudhury，S.DiVerdi和S.约菲自动校正用户照片。在IEEE图像处理（ICIP）中，第3479七、八[7] K. Chaudhury和S.迪威尔第。图像失真的自动校正，2015年6月23日美国专利9，064，309。一、二[8] L- C. Chen，G.帕潘德里欧岛科基诺斯角墨菲和A. L.尤尔。Deeplab：使用深度卷积网络、atrous卷积和完全连接的crfs进行语义图像分割。IEEE transactionson pattern analysis and machine intelligence，40（4）：834-848，2018。3[9] T. Dekel，T.米凯利，M。Irani和W. T.弗里曼。揭示和修改单个图像中的非局部变化ACM Transactions on Graphics（TOG），34（6）：227，2015。2[10] C. B.杜恩 近距离摄像机校准。照片。Eng，37（8）：855-866，1971中。2[11] D.艾根角Puhrsch和R.费格斯。使用多尺度深度网络从单个图像进行深度图预测。神经信息处理系统的进展，第2366-2374页，2014年。3[12] A. W.菲茨吉本多视几何和镜头畸变的同时线性估计。计算机视觉和模式识别，2001年。CVPR 2001年。2001年IEEE计算机协会会议论文集，第1卷，第I-I页。IEEE，2001年。二、三、六[13] A. C.加拉格使用消失点来校正图像中的相机旋转。计算机和机器人视觉，2005年。诉讼第二届加拿大会议，第460- 467页。IEEE，2005年。一、二[14] M. 加 尔 比 岛 Shih ， G.Chaurasia ， J.Ragan-Kelley ，S.Paris和F.杜兰德转换配方有效的云照片增强。ACMTransactions on Graphics（TOG），34（6）：228，2015。3[15] R. Hartley和S. B.康无参数径向畸变校正与畸变中心估计。IEEE Transactions on Pattern Analysis and MachineIntelligence，29（8）：1309-1321，2007。一、二[16] J. 海斯M.Leordeanu，A.A. Efros和Y.刘某发现纹理规则性是一个高阶对应问题。在欧洲计算机视觉会议上，第522535. Springer，2006年。2[17] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残 差 学 习 。 在 Proceedings of the IEEE conference oncomputer vision and pattern recognition，pages 770-778，2016中。4[18] J. Heikkila和O.银色。 一个四阶相机机芯- 使用隐式图像校正的处理过程。计算机视觉与模式识别，1997年。诉讼程序1997年IEEE计算机协会会议，第1106-1112页。IEEE，1997年。2[19] J. 恩里克·布里托河昂斯特，K。Koser和M.波勒菲斯径向畸变自校准。在IEEE计算机视觉和模式识别会议论文集，第1368-1375页，2013年。2[20] P. Isola，J.- Y. Zhu，T. Zhou和A. A.埃夫罗斯使用条件对抗网络的图像到图像翻译。arXiv预印本，2017年。3[21] H.杰古湾Douze和C.施密特用于大规模图像搜索的汉明嵌入和弱几何一致性欧洲计算机视觉会议，第304Springer，2008. 6[22] V. G.金，Y。Lipman和T. A.放克豪瑟对称性引导的纹理合成和操作. ACMTrans.Graph. ，31（3）：22-1，2012. 2[23] Z. Kukelova和T.帕杰拉径向畸变自动校准的最小解决方案。IEEE Transactions on Pattern Analysis and MachineIntelligence，33（12）：2410-2422，2011. 一、二[24] H. Lee，E. Shechtman，J. Wang和S.李你自动垂直调整照片。在计算机视觉和模式识别（CVPR），2012年IEEE会议上，第877-884页。IEEE，2012。一、二[25] J.朗，E. Shelhamer和T.达雷尔。用于语义分段的全卷积网络。在IEEE计算机视觉和模式识别会议论文集，第3431-3440页，2015年。3[26] H. Noh，S. Hong和B.韩用于语义分割的学习反卷积网络在IEEE计算机视觉国际会议论文集，第1520- 1528页3[27] M.帕克，K.布罗克赫斯特河T. Collins和Y.刘某使用均值漂移置信传播的真实世界图像中的变形格点检测。IEEE Transactions on Pattern Analysis and MachineIntelligence，31（10）：1804-1816，2009。2[28] S. Ramalingam，P. Sturm和S. K.洛达中央摄像机的一般自校准。计算机视觉和图像理解，114（2）：210-219，2010。2[29] O.龙内贝格山口Fischer和T.布洛克斯U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234-241页。施普林格，2015年。3[30] D. 桑塔那-塞德湖Gomez，M. Ale man'n-Flores，A. Sal-gado，J. Esclar 'ın，L. Mazorra和L.阿尔瓦雷斯双参数多项式和除法透镜畸变模型的可逆性和估计SIAM Journalon Imaging Sciences，8（3）：1574-1606，2015。六、七4864[31] D. 桑塔那-塞德湖Gomez ，M. Ale man'n-Flores，A. Sal-gado，J. Esclar 'ın，L. Mazorra和L.阿尔瓦雷斯自动校正透视和光学失真。计算机视觉和图像理解，161：1-10，2017。一、二[32] J. - P. Tardif，P.斯特姆，M。Trudeau和S.罗伊具有径向对称畸变的摄像机标定。IEEE Transactions on PatternAnalysis and Machine Intelligence ， 31 （ 9 ） ： 1552-1566，2009。2[33] T. Thorm aühlen，H. 布罗西奥和我。 瓦瑟曼。基于直线的单视图镜头畸变校正. Mi-rage 2003，第105-112页，2003年。1[34] T.图廷遥感图像的几何处理：模型、算法和方法。国际遥感杂志，25（10）：1893-1924，2004。1[35] R.蔡使用现成的电视摄像机和镜头进行高精度3d机器视觉 测 量 IEEE Journal on Robotics and Automa- tion ， 3（4）：323-344，1987. 2[36] R. G. Von Gioi，J. Jakubowicz，J. M. Morel和G.兰朵。Lsd：一个快速线段检测器，带有错误检测控制。IEEEtransactionsonpatternanalysisandmachineintelligence，32（4）：722-732，2010。7[37] N. Wadhwa，T.Dekel，D.Wei，F.Durand和W.T. 弗里曼 。偏 差放 大 ：显 示 与理 想几 何 形状 的 偏差 ACMTransactions on Graphics（TOG），34（6）：226，2015。2[38] J. 沃克，A.Gupta，和M。赫伯特从静态图像进行密集光流预测在IEEE国际计算机视觉会议论文集，第24433[39] A. Wang，T.Qiu和L.邵一种简单的径向畸变校正方法数学成像与视觉杂志，35（3）：165-172，2009年。一、二[40] S. Workman，M. Zhai和N.雅各布斯野外的地平线。arXiv预印本arXiv：1604.02129，2016。2[41] L.杨玉C.谢培文Lawrence，D. Ne-hab，H. Hoppe，和C.L.威尔金斯基于图像的双向场景重投影。ACM事务处理图表，30（6）：150：15[42] F. Yu和V.Koltun.通过扩张卷积的多尺度上下文聚合。arXiv预印本arXiv：1511.07122，2015。3[43] M. Zhai，S. Workman和N.雅各布斯在非曼哈顿世界中使用整体影像背景侦测消失点。在计算机视觉和模式识别（CVPR），2016年IEEE会议上，第5657-5665页。IEEE，2016. 2[44] Z.张某通过从未知方向查看平面进行灵活的相机校准。计算机视觉，1999年。The Proceedings of the SeventhIEEE International Conference on，第1卷，第666-673页。Ieee，1999年。2