基于深度学习的鱼眼镜头校正方法及其应用

11643用于鱼眼图像校正的薛珠存，薛南，夏桂松，沈伟明武汉大学，武汉，430079{朱村.薛，薛楠，桂松.夏，沈雯}@ whu.edu.cn摘要提出了一种基于深度学习的鱼眼镜头内参数标定假设鱼眼投影产生的畸变线在校正后应该此外，考虑到鱼眼图像中失真分布的非线性，该网络充分利用多尺度感知来均衡整幅图像的校正效果。为了训练和评估所提出的模型，我们还创建了一个新的大规模数据集，该数据集标记有相应的失真参数和注释良好的失真线。与现有的方法相比，该模型在大量的合成和真实鱼眼图像上获得了最佳的校正质量和最准确的失真参数1. 介绍鱼眼相机由于其大视场（FOV）而被广泛用于许多计算机视觉任务[31，34，9，16，2]，然而，鱼眼相机拍摄的图像总是遭受严重的几何失真模拟。在对装有鱼眼镜头的几何视景系统进行处理时，校正畸变图像的第一步通常是标定内参数。1.1. 动机和目标早期的工作将鱼眼相机的校准视为通过拟合来自具有不同视点的图像的2D/3D校准图案之间的关系的优化问题[19，14，30，28]。但这些方法通常需要预先准备校准图案和额外的人工操作，甚至经常涉及大量的离线估计，这严重限制了它们在实际应用中的使用场景为了克服这些局限性，通讯作者：guisong. whu.edu.cn图1.学习鱼眼图像校正的直线校正第一行：原始鱼眼图像，被检测到的失真线覆盖，这些线在校准后应该是直的;第2行：纠正直线;第3行：校正图像。由于自校准解决方案，随后的研究被提出来检测几何对象（例如，二次曲线和直线），并进一步利用它们在3D世界中的对应性[13，36，4，22，12，1]。只有当鱼眼图像中指定的几何对象可以被准确检测时，这些方法才能在鱼眼相机校准上报告有希望的性能然而，值得注意的是，鱼眼图像中几何目标的检测本身就是计算机视觉中的另一个挑战最近，已经提出了基于深度卷积神经网络（CNN）的替代方法[27，35]。这些方法避免了直接检测几何对象的困难，试图用CNN学习更多有区别的视觉特征来校正失真的图像。虽然上述方法已经报道了鱼眼图像校正的最新性能，并避免了检测几何对象的困难，但鱼眼校准任务中的几何特征并未使用CNN充分利用。尽管在鱼眼图像中检测几何对象存在困难，但人们应该注意到，显式场景几何形状仍然是校正失真图像的强约束研究如何在针孔摄像机下应用基本几何性质具有重要意义11644模型，即，从空间到相机的直线投影应该是直线[13]，以鱼眼图像校准网络。如图1，我们提出了一种新的网络，进一步利用这种显式场景几何，旨在解决鱼眼相机校准和图像校正的挑战，通过深度神经网络模拟。1.2. 我们的方法概述上述挑战激发了以下两个问题：（1）如何设计强大的CNN来显式地描述鱼眼图像中的场景几何。(2)如何使用几何信息有效地训练深度网络。为了解决这些问题，我们提出首先训练一个神经网络来检测鱼眼图像中经过矫正后应该是直线的失真线条，然后将这些检测到的失真线条馈送到另一个深度子网络中，以恢复鱼眼相机的失真参数如图2、我们的网络包括以下三个主要模块：• 用于检测扭曲直线的模块。该模块被设计为在给定的输入鱼眼图像中提取失真的线条，这些线条应该是在预期的校正图像中是直的。图的第一行显示了检测到的畸变线的一些示例1.一、• 用于恢复失真参数的模块。喂着被发现的扭曲的线和原来的鱼-眼睛图像，该模块试图恢复鱼眼镜头的畸变参数。特别地，多尺度感知器被设计为通过结合局部和全局学习来消除鱼眼图像中失真分布的非线性• 校正模块。这种可微分整流模块作为失真之间的连接器参数和几何约束。如图所示，第二行。1时，显示从第一行中的畸变线校正的无畸变线地图。通过最小化由三项组成的损失函数来训练这三个模块：对失真参数的全局和局部感知的多尺度约束，以及对检测到的失真线的曲率约束。由于所有的校准和校正步骤都是用一个深度神经网络建模的，因此自然要以端到端的方式对其进行训练。为了获得更好的性能，建议的网络，以及失真的线条和失真参数的注释需要在训练阶段的每一个鱼眼图像。因此，我们通过将 线 框 数 据 集 [17] 转 换 为 扭 曲 的 线 框 集 合 （ D-Wireframe）并将3D模型存储库[29]转换为鱼眼SUNC集合（Fish-SUNC）来创建用于鱼眼镜头校准的新的合成数据集。详细地说，D线框集合是通过用随机生成的失真参数使透视图像Fish-SUNC系列是通过在3D虚拟场景中渲染真实鱼眼镜头的形成而构建的。1.3. 相关工作在过去的几十年里，许多研究致力于鱼眼标定和畸变校正的研究。早期的工作试图通过在特定校准场中将检测到的2D/3D特征相关联来估计畸变参数[19，14，30，28，3，5，32]。然而，这是昂贵的，以建立这样的大规模和高精度的校准领域，以及它通常变成费力和耗时的手动标记每个校准图案。相比之下，依赖于在失真图像中检测到的结构信息的自校准方法[13，36，5，22，12，1，25]需要更少的手动工作并且更有效。Devernay等人[13]提出了现实世界中的直线段即使经过鱼眼镜头的投影也应该保持其直线属性。沿着这条轴线，布哈里等人。[12]最近提出使用线的扩展Hough变换来校正径向畸变。在类似的假设下，然而，它们的校正效果受到地物探测结果精度的限制.我们在本文中的工作也遵循与[13]中建议的相同假设，同时我们提出了一个深度卷积神经网络来处理上述问题，并在鱼眼图像中生成更准确的扭曲线条提取结果。为了减轻在失真图像中检测几何对象的难度，提出了深度学习方法[27，35]，该方法将CNN学习的代表性 特 征 应 用 于 鱼 眼 校 准 和 图 像 校 正 过 程 其 中 ，FishEyeRecNet [35]提出了一种端到端CNN，将场景解析语义引入鱼眼图像的校正中。它已经报道了有希望的结果，但仍然不清楚哪种从他们的网络中学习到的高级几何信息对鱼眼图像校正是重要的。此外，作品[36，22，1]像“铅垂线”这样的显式几何另一个与我们的工作密切相关的课题是鱼眼图像中的畸变线提取。各种电弧检测方法和优化策略已被用于校准过程[11，7，12，1，36]，但它们对于检测电弧并不稳健，特别是在具有噪声或纹理缺失的环境中。尽管最近的基于深度学习的方法[33，21，8，18，26]在边缘检测方面显示出有希望的性能，但它们都不适合处理鱼眼图像中的畸变线1.4. 我们的贡献在本文中，我们提出了一种新的端到端网络来校准鱼眼镜头和纠正失真图像si。11645图2.整个系统的架构。整个网络架构由三部分组成：线引导参数估计模块（LPE）、失真线段感知模块（DLP）和校正层。DLP算法可以检测出矫正后图像中的曲线图，而这些曲线图应该是直线，并将DLP和RGB鱼眼图像的输出输入到LPE中，估计出全局和局部的鱼眼畸变参数。在矫正层中使用变形参数来实现曲率约束。通过进一步利用几何约束来进行多重化。具体而言，我们做出以下三项贡献：• 我们提出了一种端到端的CNN，对鱼眼镜头校准和失真图像校正过程施加明确的几何约束达到最先进的性能。• 多尺度感知旨在平衡非镜头无畸变。pd和p之间的对应关系可以表示为pd=r（θ）（cosθ，sinθ）T，其中θ= arctan（（yd-y）/（xd-x））表示连接投影点和图像中心的射线与图像坐标系的x假设像素坐标系是正交的，我们可以得到由图像坐标pd转换的像素坐标（u，v）为鱼眼图像中失真效应的线性分布，年龄并通过全局和局部学习得到更鲁棒的失真参数，从而达到更好的.Σ。u=vmu00mvΣ。Σ。Σxd+u0yd v0（二）整流效应• 我们构建了一个新的大规模鱼眼数据集来训练网络，并评估鱼眼图像校正方法的有效性和效率。2. 通用鱼眼相机模型给定一个焦距为f的普通针孔摄像机，透视投影模型可以写为r=ftanθ，其中r表示主点与图像中的点之间的投影距离，θ是入射光线与摄像机光轴之间的角度然而，鱼眼镜头违反了这种透视投影模型[23，6]，并且通常由一般多项式投影模型[19]来近似，即，Σn鱼眼图像的主点表示为（u0，v0），mu，mv分别描述了水平和垂直方向上单位距离的像素数通过使用Eq.（2）通过求取参数Kd=（k1，k2，k3，k4，k5，mu，mv，u0，v0），可以校正鱼眼图像的畸变效应。因此，我们去- ING的参数Kd为每一个给定的鱼眼图像，同时消除失真，在本文中。3. 深度校准和校正模型在这一部分中，我们主要利用CNN来研究畸变线条的场景几何形状与鱼眼图像的相应畸变参数之间的关系，并从原始输入鱼眼图像学习映射函数，r（θ）=i=1 kiθ2i−1， n=1，2，3，4，. . .（一）校正后的图像。通常，当n达到5时，该模型可以准确地近似鱼眼镜头的成像[19]。给定相机坐标系中的3D场景点Pc：=（xc，yc，zc）T∈R3，其将被投影到图像平面，其中pd：=（xd，yd）T∈R2被鱼眼透镜折射，且p：=（x，y）T ∈R2通过透视3.1. 网络架构如图2、我们的网络主要由解决畸变线提取问题的畸变线感知模块（DLP）、提供估计畸变参数Kd的线引导参数估计模块（LPE）以及11646loclocloc用作几何形状和畸变参数之间的连接器对于一幅H×W的RGB鱼眼图像I，从DLP中获取畸变的线条图h∈RH×W，然后将畸变的线条图h和原始鱼眼图像I一起送入LPE，通过多尺度感知学习全局和局部参数和校正模块通过分析校正后的畸变线图h′中的直线经Kd校正后是否为直线来验证学习参数Kd的准确性。此后，我们能够以端到端的方式学习失真参数和无失真的校正图像。我们的网络的每个训练数据样本包含：（1）鱼眼图像I，（2）地面真实失真参数Kgt，（3）图像I的失真线映射的地面真实值h，（4）相应的校正线映射的地面真实值h′和（5）相应的（校正）线段L={xi，x′}K，其中xi∈R2，x′∈模块，并考虑到鱼眼图像域中畸变分布的非线性，设计了一种分别具有全局流和局部流的分叉结构来实现多尺度感知全局流处理整个特征图以估计具有2个卷积层和3个全连接（FC）层的失真参数。在全局流的第一个FC层之前，我们使用全局平均池操作器从图像中提取抽象的全局信息。最后一个FC层输出表示由Kg表示的失真参数的9-D向量。由于失真分布的非线性，我们显式地 我们把这个sideoutput分成五个小块- 中心区大小为6×6×1024，5×5×1024个左上、左下、右上、右下的特征图，然后将这五组子2ii=1i特征分别映射到两个FC层和一个线性过滤器R是线段的两个端点。以预测局部参数，由{Kk5k=1. 的变形线感知模块。 其次是重-边缘和线段检测的100年进展[33，17]，我们使用金字塔残差模块（RPM）和堆叠沙漏网络[24]从输入图像中学习扭曲的线段映射h∈RH×W具体来说，我们这两个FC层的参数设置与在全局流中，同时它们的权重在这五组子特征图之间共享。由于参数mu、mv和u0、v0与整个图像相关，因此线性滤波器仅保留前五个失真参数首先使用两个RPM提取大小为k1，. . . ，k5在先前的输出中。每个输出Kk因此H×W×256，来自大小为H×W×3的输入图像。一个5D矢量。4 4然后，我们将特征图传递到5个堆叠的沙漏中在训练阶段，使用模块。然后通过使用两个反卷积层对所得到的特征进行放大，以获得尺寸为H×W×16的特征。最后，我们使用卷积层用1×1的核函数对变形线图h进行预测。除了预测层，批量归一化和ReLU用于每个卷积（去）层。线段地图的目标由下式定义：.作为一个约束，以正则化的预测的全球源源不断的DLP的输出是全局和局部参数的平均失真系数，记为Kd。整流模块。该模块以LPE模块预测的畸变参数Kd为输入，对输入的鱼眼图像和DLP模块输出的相应畸变线段假设校正图像和鱼眼图像中的像素坐标为h（p）=d（l） 如果p（几乎）在l∈L上，（三）p=（x，y）和pd=（xd，yd），它们的关系可以读出来否则，′p =T（p，K）=.Σu0r（θ）p+（四）其中函数d（li）读作d（li）=<$xi−xi<$2。的所得到的映射H不仅可以指示像素P是否被通过d dv0p通过线段，校正线段的预测长度还隐含地包含用于畸变参数的信息线引导参数估计模块。 该模块旨在从图像中估计失真参数。如上所述，预测的畸变线图可以在一定程度上表征鱼眼图像的畸变在此基础上，将DLP模块输出的扭曲线条图h作为向LPE提供高层次结构信息的几何指导，与Eq。（4）、变形线图和鱼眼图像可以通过使用双线性插值来校正。上述校正层的意义在于解释畸变参数与几何结构之间的关系。估计的畸变参数越精确，畸变线的纠正效果越好。3.2. 损失函数和训练方案在我们的网络中，我们可以端到端输出失真的线条图h，估计的失真参数Kg和将其与输入的鱼眼图像连同尺寸一起克洛克，k = 1，. . . ，5以及校正的线段图的H×W×4，作为LPE的输入来估计多个-比例失真参数 如 图2、我们采用ResNet-50的1到4级[15]作为LPE的骨干对于每个输入图像I. 受深度监督net [20]和HED [33]，我们对每个模块的输出进行监督。}K116472locGTlocKloc失去扭曲的线条地图学习。考虑到在2D图像中畸变线段是0-测度几何本原的事实，在等式（1）中定义了用于该目标的大部分像素。（3）将为0。换句话说，大多数像素不会通过任何扭曲的线段。 为了表示简单起见，不在任何失真线段上的像素被收集到负类−中，其余像素被收集到正类+中，其中+=− −。然后，我们对这两个损失函数中的类为L线=|Ω−||Ω|Σp∈n+D（p）+|Ω+||Ω|Σp∈−D（p），（5）其中D（p）定义为D（p）=<$h（p）−h<$ （p）<$2。失真损失参数估计。在LPE模块中，我们尝试学习具有分叉结构的失真参数，这导致参数Kg和图3.数据样本来自我们提出的数据集的扭曲线框（顶部）和每个数据样本垂直显示的原始图像和相应的鱼眼图像。培训计划。 网络培训程序包括：克洛克5k=1. 理想情况下，我们希望LPE模块分两个阶段。在第一阶段，我们训练扭曲的接近地面实况失真参数。对于外-我们把损失定义为1Σ9线 感 知 模 块 从 零 开 始 ， 损 失 函 数 定 义 在 方 程 。（五）、一旦DLP模块被训练，我们就固定它们的参数，然后在Lg= 9i=1wi（Kgt（i）−Kgt（i））2，（6）第二阶段。我们在这里使用的总损失定义为Σ5其中，Kg（i）和Kgt（i）是预测参数Kg的第i个分量，并且地面真值Kgt。重量L=λgLg+λlock=1克洛克+λcLc，（9）wi用于在不同的COM之间重新缩放幅度，畸变参数的分量在分叉的另一侧，由子特征映射估计的参数损失被定义为1Σ5其目的是拟合参数，模拟训练过程中鱼眼的畸变效应。公式中使用的λg、λloc和λc（9）是平衡不同项的权重参数。loc= 5i=1wi（Kk（i）−Kk（i））2，（7）4. 用于校准的培训教师仍然是一个关键问题。其中，K（i）是K k的第i个分量。建议的神经网络，需要真正的失真pa-全局曲率约束损失。Lg和Lloc使网络拟合失真参数，但仅仅优化它们是不够的，容易卡住在当地的最低点。同时，参数与畸变直线几何形状的关系为优化提供了更强如果畸变线没有完全校正为直线，则估计的畸变参数不够准确，反之亦然。因此，我们计算通过从LPE输出的估计参数Kd校正的线地图与线地图的真实值之间的像素误差作为全局曲率约束损失Lc：参数以及注释良好的扭曲和纠正线条地图然而，据我们所知，没有这样大规模的数据集，满足所有上述要求。由于最近发布的具有直线标记的线框数据集[16]和提供不同语义3D场景的3D场景的大规模数据集SUNC [29]，我们构建了一个具有良好注释的2D/3D线段L以及用于训练的相应失真参数Kgt的新数据集。我们的数据集的两个子集，来自线框数据集的扭曲3 .第三章。1Lc=NΣpd∈n+（F（pd，Kd）−F（pd，Kgt））2，（8）扭曲的线框集合（D-线框）。为线框数据库中的任何图像[16]它包含5462个正常的透视图像，其中，F是T的反函数，其在等式中描述N是属于畸变线段的像素数。利用直线段，随机产生四组不同的畸变参数Ki，将透视图像变换成不同畸变Fish-SUNGD-线框{K}LL11648′Npd∈图4. Fish-SUNC生成示意图。每台相机分别配备透视镜头和鱼眼镜头Eq的影响（一）. 因此，透视图像和对应的线段注释可以被变形为具有变形线段的鱼眼图像。总之，我们生成这个集合Dwf并将其分成训练集和测试集分别为20，000和1848个样本Fisheye SUNG Collection（Fish-SUNG）. D-线框集合可以在用于网络训练的鱼眼失真类型的多样性和灵活性然而，对透视相机拍摄的图像进行人工畸变处理，并不能完全表征真实场景中的鱼眼畸变我们通过从SUNC [29]的3D模型模拟透视和鱼眼相机在相同观察位置的图像形成来解决详细地说，我们使用Blender[10]通过指定相机姿势和成像形成模型来渲染图像。渲染协议如图所示4.第一章对于线段生成，我们去除了三维模型的纹理，得到三维物体的线框模型。之后，我们手动删除线框的边缘手动得到线段的边界上的由于我们能够在没有度量误差的情况下控制图像形成，因此数据样本可以用于训练我们的网络而不会丢失信息。最后，我们从1,000个场景中生成6,000个图像对进行训练，从125个场景中生成300个图像对进行训练。试验. 这个集合被表示为Dsun。5. 实验5.1. 实现细节我们遵循第3.2节所述的培训计划。第一步，我们使用畸变的鱼眼图像和畸变线框对应的线段图来训练DLP模块。 之后，我们固定DLP模块的权重，并通过同时使用Dwf和Dsun来训练网络的其余部分。大小我们的网络的输入图像设置为320×320，培训和测试阶段。方程中的权重参数 （9）为我们的实验设置如下：λc= 50 ，λloc=λg= 1 ，平衡参数设置如下：W={w1= 0. 1，w2= 0. 1，w3= 0. 5，w4= 1，w5= 1，w6= 0。1，w7= 0。1，w8=0的情况。1，w9= 0。1}。我们用于训练的优化方法是随机最速下降法（SGD）。初始学习率设置为0.01，然后降低它图5. DLP的失真线条检测结果。第一行是地面实况，手动标记准确的扭曲线信息。第二行是我们的检测。在100个时期之后增加0.1倍网络将在300个纪元后重新连接我们的网络是在PyTorch平台上实现的，只有一个Titan-X GPU设备。5.2. 评估指标利用本文提出的方法中的DLP模块，我们可以通过对校正模块得到的校正后的扭曲线图h′和地面真实图像h′进行比较，来比较消除扭曲的效果和恢复线几何的性能。此外，本文还重新定义了查准率和查全率，定量地评价了h_（n）和h_（n）之间的误差。此外，提出了重投影误差（RPE）来衡量整体矫正效果，通过测量矫正图像和鱼图像。另一方面，我们还遵循以前的作品[27，35]中使用的评估指标，这些指标利用峰值信噪比（PSNR）和结构相似性指数（SSIM）来评估校正后的图像。精密度与记得了线段地图预测的精确率和召回率定义为：Precision=|P∩G|/|P|，Recall=|P∩G|/|G|、（10）其中P是经校正的线段图上的边缘像素的集合，并且G是没有失真的线段图的地面实况中的边缘像素的集合。PSNR和SSIM。这两个度量分别被广泛用于描述像素模糊和结构失真的程度我们在这里使用它们来比较校正后的鱼眼图像。通常，PSNR和SSIM的值越大，校正质量越好。拒绝错误（RPE）。该度量通常用于量化2D/3D点的估计与其真实投影之间的距离。因此，我们利用真实的畸变参数Kgt和估计的畸变参数Kd对鱼眼图像的像素进行校正，得到投影F（Kgt）和F（Kd），其中F是函数表示，Eq. （八）、整个鱼眼图像中 的 RPE的均方误差（M∈SE）F（kd））2.检测GT11649D-线框表1.与现有技术相比，使用PSNR，SSIM和重投影误差（RPE）计算的校正结果由不同的方法获得。[27]第27话我的世界PSNR9.339110.2312.9227.61SSIM0.17820.25870.31540.8746RPE164.7125.4121.60.4761扭曲的线条布哈里[12]阿莱曼弗洛雷斯[1][27]第二十七话我们图6.把扭曲的线条矫正过来。第一列是DLP的检测结果。其他栏目是不同方法的整改结果。图7.不同纠正方法对线状图纠正的查全率-查准率曲线[12，1，27]。5.3. 与现有技术方法的我们的网络主要包括DLP中的失真线检测和DPE中的失真参数估计，旨在实现更好的校正效果。对于DLP而言，该模块输出的高精度畸变线检测是畸变参数精确学习的前提如图5、DLP图像的检测结果显示了良好的检测性能，在视觉效果上接近地面真实值。与现有的最先进的方法[12，1，27]相比，我们联合评估了失真线检测的性能和参数估计的准确性，而不是直接评估失真线检测的结果，详细内容将在下面讨论。对于DPE，几何约束的有效利用是保证矫正效果的关键。根据前面的分析，对纠正后的线段图进行评价，可以明确地说明纠正后的几何精度换句话说，如果校正后的失真线地图仍然存在弯曲的几何形状或与地面实况有偏差，则表明学习的失真参数不够准确。在视觉效果上，我们将校正模块输出的扭曲线地图的几何校正结果直观地显示在图中。6验证了我们的网络实际上具有恢复直线特性的能力。结果表明，经本网络校正后的线状图确实得到了拉直，而用其他方法校正后的线状图仍有一定程度的畸变，证明了几何约束的有效性输入布哈里语 AlemnFlores Rong Ours GT图8. D-Wireframe数据集和fish-SUNGCG数据集的定性校正比较。从左到右，输入鱼眼图像，地面实况，三种最先进方法的结果（Bukhari [12]，AlemnFlores [1]，Rong [27]），我们的结果。在我们的网络中。此外，我们还给出了查准率和查全率曲线.第七，定量比较。显然，我们的方法在线几何结构重新细化方面远远优于其他方法[12，1，27]，并取得了最佳结果（F值=.819）。我们还遵循评估指标PSNR，SSIM以及重投影误差（RPE），对我们测试集上的所有校正鱼眼图像进行定性评估，如表1所示。1.一、从评价结果来看，无论是在图像校正还是在结构保持方面，本文方法都明显优于其他方法，在PSNR、SSIM和RPE上都取得了最高的分数值得一提的是，我们的方法计算的整个图像的重投影误差在一个像素之内，而其他方法远远落后于我们。正是由于鱼眼畸变参数的估计值与真实参数高度一致，我们的重投影误差才能控制在如此小的范围内，从而获得最佳的校正视觉效果。对 于 视 觉 效 果 中 的 矫 正 效 果 ， 我 们 分 别 在 D-Wireframe和Fish-SUNC集合的测试集上通过我们的方法和最先进的方法[12，1，27]可视化矫正效果，如图所示8. 针对D-Wireframe，选取了典型的全帧鱼眼图像、全圆鱼眼图像和鼓形鱼眼图像等不同类型的鱼眼畸变图像对于Fish-SUNC，我们的网络还实现了Fish-SUNGCG11650[12]第十二话 阿莱曼弗洛雷斯[1] [12]第十二届中国国际纺织品展览会 阿莱曼弗洛雷斯[1] [27]第二十七话图9.真实鱼眼相机拍摄的鱼眼图像的定性校正比较输入不带CVC MSP不带CVC不带MSP仅限RGB线路我们的地面真实值图10.烧蚀实验验证了曲率约束（CVC）和鱼眼图像局部感知（LP）的有效性最佳的校正性能，并且校正后的鱼眼图像更接近地面实况。最后，我们增加了一组额外的比较实验，以纠正真实世界中的鱼眼图像，以提高所提出的网络的通用性能，如图所示。9.第九条。虽然我们没有拍摄这些鱼眼图像的内部相机参数，但从视觉效果上证明了我们的方法即使对真实的鱼眼图像也具有出色的校正性能，并证明了我们的网络具有更高的泛化能力。5.4. 消融研究在这一节中，我们主要分析了我们的网络结构涉及几何学习的有效性，包括连接输入图像和LPE中检测到的扭曲线映射的第四维输入，曲率约束（CVC），以及用于局部和全局估计失真参数的多尺度感知（MSP）。如图10、一旦缺少CVC或MSP，网络的校正效果就会变得不稳定，同时会出现过校正和欠校正的问题，而以RGB鱼眼图像和一维线图为输入的网络的校正性能最好。对于定性评估，我们根据PSNR、SSIM和RPE评估了校正图像的质量，如表10所示。二、它更直观地展示了校正能力水平的差异，并证明了CVC，MSP以及四维输入（RGB+Line）在我们的网络中确实起着关键作用。根据我们的分析，这是可能的-表2.消融研究，以评价PSNR、SSIM和重投影误差（RPE）的校正图像质量。方法PSNR SSIMRPE损失策略不带CVC MSP不含CVC，不含MSP13.0519.1719.780.42220.70740.699978.324.3263.175只有RGB21.35 0.71581.872输入只有线22.41 0.73691.568我们27.61 0.8746 0.4761网络从扭曲的线条中学习了高级结构信息，从而增强了效果。此外，本实验中的最差结果仍优于现有技术方法。同时也证明了本网络的科学性和合理性。6. 结论本文提出了一种基于线约束的鱼眼镜头自动校正网络，该网络能自动消除单幅图像的畸变效应为了训练网络，我们重用具有丰富的2D和3D几何信息的现有数据集来生成用于鱼眼校准的合成数据集。该方法利用几何感知的深度特征、曲率约束和多尺度感知块的优点，与最先进的方法相比，在定性和定量方面都获得鸣谢：本工作得到了国家自然科学基金项目的资助，项目编号为61771350和61842102。南雪是由国家留学基金管理委员会资助的感谢导师和学长们的支持和帮助。11651引用[1] M. 阿莱姆阿恩弗洛雷斯湖 阿瓦雷斯湖Gomez和D. 桑塔纳-雪松。使用单参数分割模型的自动镜头畸变校正IPOL，4：327-343，2014。 一、二、七、八[2] H. A. Alhaija， S. K. 马斯 蒂科 韦拉湖 Mescheder， A.Geiger和C.罗瑟增强现实与计算机视觉：城市驾驶场景的高效数据生成。IJCV，126（9）：961-972，2018。1[3] D. G.阿利亚加在房间大小的环境中进行实时姿态估计的精确折反射校准。载于ICCV，2001年。2[4] J. Barreto，J.罗凯特山口Sturm和F. 丰塞卡应用于医学内窥镜的自动摄像机标定。在BMVC，2009年。1[5] J.P.Barreto和H.阿劳霍中心折反射线像的几何性质及其在标定中的应用。PAMI，27（8）：1327-1333，2005. 2[6] A. Basu 和 S. 利 卡 迪 鱼 眼 镜 头 的 替 代 型 号 。 Patternrecognition letters，16（4）：433-441，1995. 3[7] J. - C. 巴赞岛昆角Demonceaux和P.瓦瑟尔折反射图像中的直角提取。2007. 2[8] G. Bertasius，J. Shi和L.托雷萨尼Deepedge：一个多尺度分叉深网络，用于自顶向下的轮廓检测。CVPR，2014。2[9] M. Bertozzi、A. Broggi和A. Fascioli基于视觉的智能车辆：最先进的技术和观点。RAS，32（1）：1-16，2000.1[10] Blender在线社区。Blender -一个3d建模和渲染软件包。Blender Foundation，Blender Institute Amsterdam，2014.6[11] C. Brauer-Burchardt和K.沃斯一种校正单幅图像中鱼眼和强广角镜头畸变载于ICIP，2001年。2[12] F. Bukhari和M. N.戴利从单个图像自动估计径向失真。JMIV，45（1）：31-45，2013. 一、二、七、八[13] F. Devernay和O.福格拉斯直线必须是直的。MVA，13（1）：14-24，2001. 一、二[14] M. D. Grossberg和S。K.纳亚尔一般成像模型及其参数求取方法载于ICCV，2001年。一、二[15] K.他，X。Zhang，S. Ren和J. Sun.用于图像识别的深度残差学习。在CVPR，2016年。4[16] J. Huang，Z.，中国地质大学出版社，2003; Chen，中国粘蝇D. Ceylan和H.晋6-使用单个360度摄像头的自由度VR视频。在VR中，2017年。一、五[17] K. Huang，Y.黄氏Y. Wang， Z. Zhou，T. Ding，S. Gao和Y. MA.学习解析人造环境图像中的线框。在CVPR，2018年。二、四[18] J.J.Hwang和T. L.刘某用于轮廓检测的像素级深度学习。2015年，国际会议。2[19] Kannala和S. S.布兰特一个通用的相机模型和校准方法的传统，广角，鱼眼镜头。PAMI，28（8）：1335-1340，2006. 一、二、三[20] C. 李，S。Xie，山核桃P.W. Gallagher，Z.zhang和Z.涂。深层监控网。在AISTATSZ，2015年。4[21] Y.刘，M.- M. Cheng，X. Hu，K. Wang和X.柏用于边缘检测的更丰富的卷积特征。在CVPR，2017年。2[22] R. Melo，M.作者：J. P.法尔考，以及N.贡萨尔维斯无监督的内在校准从一个单一的框架使用。InICCV，2013. 一、二[23]K.宫本鱼眼镜头。JOSA，54（8）：1060-1061，1964. 3[24] A. Newell，K. Yang和J.邓小平更用于人体姿态估计的堆叠沙漏网络。在ECCV，2016年。4[25] S. R. 彼得·斯特姆一般径向对称的自标定在ECCV，2006年。2[26] D. Piotr和Z.C劳伦斯。使用结构森林的快速边缘检测PAMI，37（8）：1558-1570，2015. 2[27] J. Rong，S.Huang，Z.Shang和X.英使用合成图像训练的卷积神经网络进行径向透镜在ACCV，第35一二六七八[28] D. Scaramuzza，A. Martinelli和R.西格沃特 一种灵活的技术，用于精确的全方位摄像机校准和运动结构。国际志愿服务中心，2006年。一、二[29] S. 宋，F. Yu，中国茶条A. Zeng，中国茶青冈A. X.张，M。 Savva，以及T. 放 克 豪 瑟 从 单 个 深 度 图 像 的 语 义 场 景 完 成 。 在CVPR，2017年。二、五、六[30] Sturm 和 S. Ramalingam 。 相 机 校 准 的 一 般 概 念 。 见ECCV，2004年。一、二[31] R. Szeliski和H. Y.沈创建全景图像马赛克和环境地图。在SIGGRAPH，1997中。1[32] C. Toepfer和T.埃尔根一种统一的全方位摄像机模型及其应用。载于ICCV，2007年。2[33] S. Xie和Z.涂。 整体嵌套边缘检测。 在ICCV，2015年。 二、四[34] Y. Xiong和K.特科夫斯基使用自校准鱼眼镜头创建基于图像的虚拟现实。载于CVPR，1997年。1[35] X.阴、X。Wang，J. Yu，M. Zhang，P. Fua，and D.涛.Fisheyerecnet：用于鱼眼图像校正的多上下文协作深度网络。ECCV，2018年。一、二、六[36] M. 张，J.Yao，M.Xia，K.Li，Y.Zhang和Y.刘某基于线的多标记能量优化鱼眼图像校正和校准。CVPR，2015。一、二