鱼眼图像校正：基于协同深度网络的方法

FishEyeRecNet：基于多上下文协同深度网络的鱼眼图像校正尹小青1，2，王新潮3，俞军4，张茂军2，傅福亚5，陶大成11UBTECH Sydney AI Center，SIT，FEIT，悉尼大学，澳大利亚，2国防科技大学、3史蒂文斯理工学院4杭州电子科技大学5EcolePolytechhniqueFederaleLausanne，{yinxiaoqing89，xinchao. w}@gmail.comzmjbar@163.com，www.example.comepfl.chpascal.fua@www.example.com，dacheng.sydney.edu.auyujun@hdu.edu.cnFisheye Image Bukhari[10]Rong[18]Zhang[15]Proposed Method图1.一、我们的模型进行整流给定一个鱼眼图像。抽象。 由鱼眼镜头捕获的图像违反针孔相机假设并且遭受失真。因此，鱼眼图像的校正是许多计算机视觉应用的关键预处理步骤在本文中，我们提出了一个端到端的多上下文协作深度网络，用于消除单个鱼眼图像的失真 与传统的方法相比，该方法侧重于从输入图像中提取手工制作的特征，我们的方法同时学习高级语义和低级外观特征来估计失真参数。为了便于训练，我们构建了一个综合数据集，涵盖各种场景和失真参数设置。在合成数据集和真实数据集上的实验表明，所提出的模型显著优于当前最先进的方法。我们的代码和合成数据集将公开提供。关键词：鱼眼图像校正，畸变参数估计，协同深度网络1介绍鱼眼相机已广泛用于各种计算机视觉任务，包括虚拟现实[1，2]，视频监控[3，4]，汽车应用2Yin等人[5，6]和深度估计[7]，由于它们的大视场。然而，由这样的相机捕获的图像遭受镜头失真，并且因此执行校正作为后续任务的基本预处理步骤是至关重要的。近年来，对鱼眼图像的自动校正进行了积极的研究工作。尽管取得了显着的进展，但大多数现有的纠正方法都集中在手工制作的功能[8据我们所知，我们设计了第一个端到端可训练的深度卷积神经网络（CNN）用于鱼眼图像校正。给定单个鱼眼图像作为输入，我们的方法输出具有失真校正的校正图像，如图所示1.一、我们的方法明确地建模鱼眼图像的形成，首先估计的失真参数，在此过程中的语义信息也被纳入。然后使用所获得的参数产生扭曲的图像。我们在图中示出了所提出的模型架构二、我们构建了一个深度CNN模型来提取图像特征，并将获得的特征馈送到场景解析网络和失真参数估计网络。前一个网络旨在学习场景的高级语义理解，然后将其提供给后一个网络，以提高估计性能。然后，将所获得的失真参数与输入鱼眼图像和对应的场景解析结果一起馈送到失真校正层，以产生最终的经校正的图像和经校正的场景解析结果。整个网络都是端到端训练的。我们将场景解析网络引入校正模型的动机是，学习的高级语义可以指导失真估计。先前的方法通常依赖于3D空间中的直线在校正之后必须是直的这一假设。然而，给定输入图像，难以确定3D空间中哪个曲线应该是直的。语义学可以帮助为这个问题提供补充信息。例如，在图1的情况5，语义分割可以潜在地提供这样的知识，即摩天大楼的边界在校正之后应该是直的，而树的边界不应该是直的，并且引导校正以产生图5的最后一列中所示的合理结果。5.然而，这种高级语义监督在用于提取低级特征的CNN中缺失通过将场景解析分支，我们的模型，因此可以利用低级别的功能和高级别的语义的整改过程。为了训练所提出的深度网络，我们使用ADE20K [16]数据集构建了一个视觉上高质量图像我们的数据集包括鱼眼图像和相应的场景解析标签，以及来自ADE 20K的校正图像和校正场景解析标签我们合成的鱼眼图像和相应的场景解析标签。通过调整失真参数以覆盖更高的分集来进一步增强样本。我们进行了广泛的实验，以评估所提出的模型的合成和现实世界的鱼眼图像。我们将我们的方法与基于多上下文协同深度网络的鱼眼图像校正3在我们的合成数据集上以及在真实世界的鱼眼图像上使用我们在合成数据集上训练的模型的最新方法我们提出的模型定量和定性优于最先进的方法和运行速度快。因此，我们的贡献是第一个用于单个鱼眼图像校正的端到端深度学习方法。这是通过使用学习的低级特征并在高级语义的指导下明确估计失真参数来实现的。 我们的模型产生的结果优于目前的最先进的。补充材料中提供了更多结果。我们的合成数据集和代码将公开提供。2相关工作我们首先简要回顾现有的鱼眼图像校正和其他失真校正方法，然后讨论最近的方法，低层次的视觉任务的语义指导，我们也依赖于这项工作。2.1畸变校正以前的工作集中在利用手工制作的功能，从扭曲的鱼眼图像进行纠正。最常用的策略是利用线[8-其核心思想是将畸变引起的曲线恢复为直线，以便应用针孔摄像机模型。同样，许多方法遵循所谓的铅垂线假设。布哈里等人[10]提出了一种使用具有一个径向畸变参数的图像行的扩展Hough变换进行径向透镜畸变校正的方法。Melo等人[11]，另一方面，使用非重叠圆弧进行径向估计。然而，在某些情况下，特别是对于广角镜头，这些方法产生了不令人满意的结果。Hughes等人[12]从畸变的棋盘格图像中提取然而，这不适合真实世界场景的图像。Rosten和Loveland [13]提出了一种方法，该方法将失真图像的边缘变换到1-D角度Hough空间，然后通过最小化相应归一化直方图的熵来优化然而，校正的结果受到硬件容量的限制Ying等人[14]介绍了一种校正鱼眼图像失真的通用算法在这种方法中，失真参数估计使用至少三个二次曲线提取的输入鱼眼图像。Brand等人[17]使用校准网格来计算失真参数。然而，在许多情况下，很难获得其世界坐标先验已知的特征点。Zhang等人[15]提出了一种多标记能量优化方法，用于合并共享相同或近似相同的圆参数的短圆弧和选定的长圆弧以进行相机校正。这些方法4Yin等人在第一步中依赖于线提取，允许误差传播到最终失真估计并损害结果。与我们的方法最相关的工作是[18]，其中CNN用于径向透镜畸变校正。然而，该网络的学习能力仅限于模拟一个简单的失真模型，只有一个参数，这是不适合更复杂的鱼眼图像失真模型。此外，该模型仅估计失真模型参数，并且不能以端到端的方式产生最终输出。所有上述方法在更精细的重建级别中缺乏语义信息。然而，这样的语义是准确纠正的重要线索。相比之下，我们的模型显式地联合学习高级语义和低级图像特征，并在鱼眼图像校正过程中结合了这两个信息流该模型直接输出校正后的图像，并且是端到端可训练的。2.2语义引导语义指导已被广泛采用在低层次的计算机视觉任务。Liu等人。[19]提出了一种用于图像去噪的深度CNN解决方案，将图像去噪模块和分割等高级任务集成到一个统一的框架中。因此，语义信息可以通过训练过程中的联合损失流入去噪网络的优化中。Tsai等人[20]采用联合训练方案来捕获图像上下文和图像协调的语义线索。在他们的方法中，语义指导被传播到图像协调解码器，使得最终的协调结果更加真实。Qu等人。[21]介绍了一种具有多上下文架构的端到端深度神经网络，用于从单个图像中去除阴影，其中探索了来自不同来源的信息在他们的模型中，一个网络用于从全局视图中提取阴影特征，而两个互补网络用于生成特征，以获得输入图像的精细局部细节和语义理解，从而实现最先进的性能。受这些工作的启发，我们建议整合语义信息，以提高鱼眼图像校正性能，据我们所知，这还有待探索。3方法在本节中，我们将详细描述我们提出的模型我们首先在第3.1节中简要回顾了鱼眼相机模型，在第3.2节中描述了我们的网络架构，最后在第3.3节中定义了我们的损失基于多上下文协同深度网络的鱼眼图像校正5--- -3.1通用鱼眼相机模型我们从针孔相机投影模型开始，给出为：r=f tan（θ），（1）其中θ表示入射光线与光轴之间的角度，f是焦距，并且r是像点与主点之间的距离。与针孔透视投影模型不同，由鱼眼镜头捕获的图像遵循各种投影，包括立体投影、等距投影、等立体投影和正交投影[12，22]。一般模型用于不同类型的鱼眼镜头[22]：r（θ）=k1θ+k2θ3，（2）其中ki（i= 1， 2）是系数。我们采用一般模型的简化版本。虽然Eq。(2)该方法参数少，能以较高的精度逼近所有的投影模型。给定针孔投影图像中的像素坐标（x，y），可以计算鱼眼图像中的对应图像坐标（x’，y’）：x’= r（θ）cos（θ），y’= r（θ）sin（θ），其中θ = arctan（（y y〇）/（x x〇）），并且（x〇，y〇）是针孔投影图像中的主点的坐标。然后将图像坐标（x′，y′）变换为像素坐标（xf，yf）：xf=x′+u0，yf=y′+v0，其中（u0，v0）是鱼眼图像中主点我们定义Pd=[k1，k2，u0，v0]作为待估计的参数，并如下描述所提出的模型3.2网络架构所提出的深度网络如图所示。2.其目的是以端到端的方式学习从输入鱼眼图像到校正图像的映射函数。我们的基本思想是利用局部图像特征和上下文语义的纠正过程。为此，我们通过构建一个由四个协作组件组成的复合体系结构来构建我们的模型，如图所示。图2：基础网络（绿框）、失真参数估计网络（灰框）、失真校正层（红框）和场景解析网络（黄框）。在这种统一的网络架构中，基础网络首先用于从输入图像中提取低级别的局部特征然后将所获得的特征馈送到场景解析网络和失真参数估计网络。场景解析网络对高级语义信息进行解码，以生成输入鱼眼图像的场景解析结果接下来，将所学习的语义传播到失真参数估计网络以产生所估计的参数。最后，将估计的参数与输入鱼眼图像和对应的场景解析结果一起馈送到失真校正层，以生成最终的校正图像和校正场景解析结果。整个网络都是端到端训练在下文中，我们将详细讨论每个组件。6Yin等人×图二、所提出的联合网络架构的概述该复合体系结构由四个协作组件组成：基础网络、失真估计网络、失真校正层和场景解析网络。失真参数估计网络将来自基础网络的多个特征图的级联作为输入，并生成对应的失真参数。同时，场景解析网络提取高层语义信息，进一步提高失真参数估计和校正的准确性然后，失真校正层使用所估计的参数来对输入鱼眼图像和对应的场景解析结果两者执行校正。基础网络基础网络被构建为提取低级和高级特征，用于后续的鱼眼图像校正和场景解析任务。最近的工作表明，用大量数据训练的CNN图像分类可推广到其他任务，如语义分割和深度预测。为此，我们采用VGG-net [23]模型作为我们的基础网络，该模型在ImageNet上进行对象识别任务的预训练，并在语义解析和纠正的监督下进行微调。失真参数估计网络我们的失真参数估计网络旨在估计第3.1节中讨论的失真参数Pd该网络将多个特征映射的级联作为输入：（1）基础网络中conv 3 -3层的输出注意，执行去卷积步骤以提高特征图的空间分辨率;（2）与3个可学习滤波器卷积的输入图像，其目的是保留原始图像信息;以及（3）场景解析网络的输出作为场景解析结果场景解析网络整流场景解析…输入图像……基础网络失真整流层Conv失真参数估计网络个经校正图像…失真参数Conv-Fc-D3Conv-Conv-ConvConv转化Conv去卷积ConvConvConvConvConv去卷积ConcatConv基于多上下文协同深度网络的鱼眼图像校正7××k θ- -x为ohxfX√如第4节所示，我们发现语义先验有助于消除失真参数中的错误在这个失真参数估计网络中，每个卷积层后面都有一个ReLU和一个批量归一化[24]。我们用3个3个可学习的滤波器构建8个卷积层，其中滤波器的数量分别设置为64，64，在每两次卷积之后采用核大小为2 2且步幅为2的池化层。在网络的末端添加具有1024个单元的全连接层以产生参数。为了减轻过度拟合，在最终卷积层之后采用drop-out[25]，丢弃概率为0.5。失真校正层失真校正层将估计的失真参数Pd、鱼眼图像以及场景解析结果作为输入。它计算相应的像素坐标并生成校正图像和校正场景解析结果。这使得网络端到端可训练。失真校正层的细节描述如下。在前向传播中，给定经校正的图像Ir中的像素位置（x，y），根据前述鱼眼图像模型计算输入鱼眼图像Iff=u0+2 2（ Σ2i=1i2i−1）yf=v0+√x+yyX2+y2Σ2（i=1 kiθ2i−1）。（三）然后，使用双线性插值来获得经校正的图像中的位置（x，yrx，y=ωxωyIf（xf，yf）+ωxωyIf（xf，yf）+ωxωyIf（xf，yf）+ωxωyIf（xf，yf），（四）其中系数计算为：ωx=xf−xf，ωy=yf−yf和ωx= 1ωx，ωy= 1 ωy。在反向传播中，我们需要计算整流的导数，图像相对于估计的失真参数。对于每个像素Ir，关于估计参数Pd的导数计算如下：∂Ir∂Ir∂x∂Ir∂yx，y=x，y·F+x，y·f，（5）Pi其中rx，y= −ωyIf（xf，yf）+ ωyIf（xf，yf）−ωyIf（xf，yf）+ωyIf（xf，yf），并且根据下式获得Δ xf/Δ Pi：（六）∂xf斯博克岛∂xfu0=xθ2i−1X2+y2=1时。（i=1，2）（七）√我8Yin等人x为oh××ר−类似地，我们可以计算Ir/yf和yf/Pi。场景解析网络场景解析网络将学习到的局部特征作为输入，并且提供有用于训练的场景解析标签我们引入该网络的动机是，在许多任务中，语义监督可能有利于低视力任务，如第2.2节所述。在我们的例子中，场景解析网络输出语义分割，以提供包括图像中的对象轮廓在内的高级线索。与直线相比，这样的分割提供了丰富得多的信息，直线在许多传统的失真校正方法中被视为唯一的线索。输出场景解析结果被馈送到失真参数估计网络和失真校正层两者以提供语义指导。在我们的实现中，我们构建了一个解码器结构的基础上的输出的VGG-Net。解码器网络由5个卷积-反卷积对组成，过滤器的数量设置为512、256、128、64和32。由于鱼眼图像的部分由于失真而被压缩，场景解析结果可能丢失一些局部细节。我们发现，添加一个细化网络可以进一步提高场景解析的准确性。该细化网络将鱼眼图像和初始场景解析结果作为输入，并根据输入图像中的细节细化网络中包含三个卷积层，滤波器的数量为32、32、16，内核大小为3 3。注意，场景解析模块的架构不限于所提出的架构。其他基于VGG的场景解析方法也可以应用到我们的方法中。正如我们将在第4节中展示的，事实上，即使没有场景解析网络，我们基于深度学习的鱼眼矫正方法也已经优于当前最先进的方法。打开场景分析网络，我们的语义感知校正产生甚至更高的准确性。由于我们向网络提供扭曲的分割以及纠正的分割，我们的网络可以利用这种显式的分段级监督，并可能学习分段到分段的映射，这有助于实现更好的纠正。3.3训练过程我们的目标是最小化输出整流图像Ir和地面实况图像Igt之间的L2重建损失Lr：Σ ΣGTr¨2Lr=X¨Ix，y Ix，y ¨2.（八）y除了该校正损失之外，我们还采用损失Lsp用于由[16]引入的场景解析任务，并且采用L2损失Lp用于失真参数估计。整个网络的最终综合损耗为：L=λ〇Lp+λlLr+λ2Lsp，（9）基于多上下文协同深度网络的鱼眼图像校正9其中λ0、λ1和λ2分别是用于平衡失真参数估计、鱼眼图像校正和场景解析的损失的权重我们在Caffe [26]中实现了我们的模型，并应用自适应梯度算法（ADAGRAD）[27]来优化整个网络。在训练过程中，我们首先使用失真参数的标签和场景解析来预训练我们的模型我们从ADE20K数据集的训练数据开始，以获得失真参数估计和场景解析任务的初始解决方案。然后，我们添加图像重建损失和微调网络中的端到端的方式，以实现最佳的解决方案，鱼眼图像校正。我们将初始学习率设置为1e-4到，并每100 K次迭代将其降低10倍。注意，场景解析模块将学习到的语义信息传播到失真参数估计网络。通过整合场景解析模型，所提出的网络学习高层次的上下文语义，如边界特征和语义类别布局，并提供这些知识的失真参数估计。4实验在本节中，我们讨论我们的实验设置和结果。我们首先在第4.1节中介绍我们的数据生成策略，然后将我们的整流结果与第4.2节中定量和第4.3节中定性的最先进方法的结果进行比较。我们在第4.4节中进一步展示了一些场景解析结果，并在第4.5节中比较了我们的方法和其他方法的运行时间。我们在补充材料中提供了更多结果。4.1数据生成为了训练所提出的用于鱼眼图像校正的深度网络，我们必须首先构建一个大规模数据集。每个训练样本应该由鱼眼图像、校正地面实况和场景解析标签组成为此，我们选择ADE20K数据集[16]的一个子集，并使用场景解析标签，然后按照第3.1节中的鱼眼图像模型创建鱼眼图像和相应的场景解析标签。在训练期间，通过随机调整失真参数来进一步增强训练样本因此，所提出的数据集涵盖各种场景和失真参数设置，提供了广泛的多样性，潜在地防止过拟合。我们的训练数据集包括19011个独特的模拟鱼眼图像生成的各种失真参数设置。我们的测试数据集包含使用类似策略生成的1000个样本。我们将公开我们的数据集。4.2定量评价我们构建的数据集使我们能够定量评估我们的方法。我们在我们的数据集上运行建议的模型和最先进的模型，并评估10Yin等人它们使用包括PSNR和SSIM的标准度量所有的基线模型都是根据相应论文中提供的实现细节实现的模型[18]是在我们的模拟数据集上训练的，就像我们的一样。我们在Tab中显示了定量比较。1.我们的方法显着优于现有的方法在PSNR和SSIM。为了进一步验证语义指导，我们为所提出的方法添加了两个实验1)移除场景解析网络和语义损失两者，表示为“建议的方法-SPN-SL”，以及2）移除语义损失，但保留场景解析网络，表示为“建议的方法-SL”。使用相同的设置训练网络。结果表明，外显语义监督确实起着重要的作用。鲁棒的特征提取和语义指导有助于更准确的校正结果。表1.在我们的测试数据集上，不同算法的PSNR和SSIM得分。方法PSNR SSIM布哈里[10]11.600.2492Rong [18]13.120.3378张[15]12.550.2984拟定方法-SPN-SL14.430.3912拟定方法-SL14.560.3965该方法15.02 0.41514.3定性评价通过我们的方法和其他方法获得的对我们的合成数据集的定性校正结果如图所示。3.我们的方法产生的结果总体上是最直观的，最相似的地面真相，证明了我们恢复弯曲的线直，其他方法做得不好。为了显示我们的方法在真实鱼眼图像上的有效性，我们检验了使用具有不同失真参数设置的多个鱼眼相机捕获的650个真实鱼眼图像的测试集收集了不同投影类型的样本，包括赤平投影、等距投影、等立体角投影和正交投影[22]。为了覆盖各种场景，我们从各种室内和室外场景中收集样本选择性的比较结果如图所示。4.我们的方法实现了最有前途的视觉性能，这表明我们在模拟数据集上训练的模型可以很好地推广到真实的鱼眼图像。[10，15]的结果对于手工特征提取是脆弱的。此外，[15]的校正对为Levenberg-Marquardt（LM）迭代过程提供的初始值非常敏感，使得难以在现实世界的应用中部署。[18]第18话：基于多上下文协同深度网络的鱼眼图像校正11鱼眼图像校正地面实况[15]第18话：我的世界，我的世界图3.第三章。我们的合成数据集的定性结果从左到右，我们显示了输入，地面实况，三种最先进方法的结果（[10，15，18]）以及我们提出的方法的结果。我们的方法实现了最好的整体视觉质量的所有比较的方法。但是，该方法局限于仅具有一个参数的简单失真模型，并且因此常常不能处理具有多种类型的参数的更复杂的鱼眼图像失真模型。相比之下，我们的方法是一种完全端到端的鱼眼图像校正可训练方法，它在语义监督的指导下学习鲁棒特征。来自合成数据集和真实鱼眼数据集的结果验证了我们的模型的有效性，该模型使用合成数据来学习如何在给定相应的地面真值校正图像的情况下执行鱼眼图像校正我们的网络学习了低级本地和高级语义特征进行校正，据我们所知，这是鱼眼失真校正的第一次尝试。12Yin等人Fisheye Image Bukhari[10]Rong[18]Zhang[15]Proposed Method见图4。真实鱼眼图像的定性结果。从左至右：输入图像、三种现有技术方法的结果（[10，15，18]）以及使用我们提出的方法的结果。4.4场景解析结果如表1所示，即使没有场景解析模块，我们的方法也优于其他方法。在语义的指导下，我们的方法在PSNR和SSIM方面产生了更好的结果，如表1所示。 为了提供对场景解析模块的更多了解，我们在图1中示出了由网络获得的解析结果。5.可以看出，所获得的解析结果在视觉上是合理的，这表明网络可以在失真图像上产生语义分割，这可以进一步由在稍后阶段发生的校正来利用。我们进一步显示在图中。图5是在没有语义指导和有语义指导的情况下由我们的模型产生的校正图像通过从整个架构中移除场景解析网络来生成没有语义的结果。我们的模型没有语义，尽管它已经优于其他国家的最先进的方法的性能，仍然产生错误的结果，如扭曲的摩天大楼和车辆的边界图。五、在显式语义监督的帮助下，我们的最终模型可以潜在地学习段到段的映射基于多上下文协同深度网络的鱼眼图像校正13×为每个语义类别，如摩天大楼或汽车，并更好地指导测试期间的纠正。关于分割质量的影响，尽管我们在实验中确实观察到一些错误的解析，但不完美的分割结果确实有助于改善90%以上的情况下的纠正。我们期望通过更好的分割，改进将更加显著。至于模型泛化，由于ADE20K基准测试[16]包括150个类的对象，并且涵盖了日常生活中的大多数语义类别，因此我们的模型能够处理大多数常见对象。处理看不见的类留待进一步的工作。4.5运行时我们的方法和其他方法的运行时间在Tab中进行了比较。2. [10，15]的方法依赖于最小化复杂目标函数和耗时的迭代优化。因此，这些方法是难以加速基于硬件的并行化，需要更长的处理时间上的256 - 256测试图像。相反，我们的方法可以受益于非迭代的前向过程中实现的GPU。例如，当在Intel i5- 4200 U CPU上运行实验时，[10，15]的方法需要60秒以上虽然我们的模型比[18]慢，但在PSNR和SSIM方面，整流性能要好得多。鱼眼图像场景解析结果无校正语义引导整改与语义引导图五.我们的模型得到的定性校正结果，没有和有se-mantic指导。通过语义监督，模型可以纠正没有语义的模型所忽略的失真例如，可以更好地恢复摩天大楼的直线14Yin等人表2.在我们的测试数据集上不同算法的运行时间。方法平均运行时间（秒）布哈里[10]62.53（Intel i5-4200UCPU）张[15]80.07（Intel i5-4200UCPU）Rong [18]0.87（K80 GPU）该方法1.26（K80 GPU）5结论我们设计了一个多上下文协作的深度网络，用于单个鱼眼图像的重建。与现有的方法，主要集中在提取手工制作的功能，从输入的失真图像，这具有有限的表达能力，往往是不可靠的，我们的方法学习高层次的语义和低层次的外观信息失真参数估计。我们的网络由三个协作子网络组成，并且是端到端可训练的。设计了一个畸变校正层，对输入的鱼眼图像和相应的场景解析结果进行畸变校正。为了训练，我们构建了一个覆盖广泛的场景和失真参数的合成数据集我们证明，我们的方法优于最先进的模型的合成和真实的鱼眼图像，定性和定量。在我们进一步的工作中，我们将扩展这个框架来处理其他畸变校正任务，如一般的径向镜头畸变校正。此外，我们将探索如何处理不可见的语义类进行纠正。6确认本 工 作 得 到 了 澳 大 利 亚 研 究 委 员 会 项 目 （ FL- 170100117 ， DP-180103424 和 LP-150100671 ） ， 国 家 自 然 科 学 基 金 （ 批 准 号 ：61405252）和国家奖学基金（批准号：201503170310）。.引用1. 熊亚林和Kenneth Turkowski。 使用自校准鱼眼镜头创建基于图像的虚拟现实。计算机视觉与模式识别，1997年。 程序设计， 1997IEEEC〇mputerS〇cietyC〇nfernce〇n，第237- 243页。 IEEE，1997.2. Jason Orlosky，Qifan Wu， Kiyoshi Kiyokawa，Haruo Takemura，and ChristianNitschke. 鱼眼视觉：用于改进视场的外围空间压缩在头戴式显示器中。 在Proceedings of the 2nd ACM symposium on Spatialusérinteraction中，第54- 61页。 ACM，2 0 14。基于多上下文协同深度网络的鱼眼图像校正153. Marius Drulea、Istvan Szakats、Andrei Vatavu和Sergiu Nedevschi。使用鱼眼镜头的 全 向 立 体 视 觉在 智 能 计 算 机 通 信 和 处 理 （ ICCP ） 中 ，2014IEEEInternatinalCon fernceon，第251- 258页。IEEE，2014。4. 菲利普·德坎普，乔治·肖，罗尼·库巴特，还有黛布·罗伊。沉浸式系统用于浏览和可视化监控视频。在Proceedings of the 18thACMInteRNATiNALConMultimedia，第371- 380页中。 ACM，2010年。5. C休斯，M格拉文，E琼斯和P丹尼。广角摄像技术AUTOMOTIVEAPPLICATONS：AREVIEW.IETlntelligengentTransportSystems，3（1）：19- 31，2009.6. 斯特凡·格里克用于汽车应用的大视场立体声系统 在proc 的2005年，全方位视觉、摄像机网络和非经典摄像机研讨会（OMNIVIS2005）7. Shishir Shah和JK Aggarwal。使用立体鱼眼镜头的深度估计。在图像处理，1994年。诉讼ICIP-94. IEEE国际会议，第2卷，第740- 744页。IEEE，1994年。8. 孙洁和朱金辉。全方位图像的标定与校正鱼眼镜头。自然计算，2008年。ICNC'08。FourthInternationalConferenceon，第6卷，第133- 137页。 2008年1月。9. Xiang Mei，Sen Yang，Jiangpeng Rong，Xianghua Ying，Shiyao Huang，and Hong-宾扎基于级联单参数分割模型的镜头径向畸变校正。 在图像处理（ICIP），2015 IEEE国际会议，第3615 - 3619页中。2015年，我在纽约。10. Faisal Bukhari和Matthew N Dailey。自动径向失真估计从一个人到一个人。 J〇urnalofmahemalimagingandvisin，45（1）：31-45，2013.11. RuiMelo，MichelAntunes，JoaoPedroBarrreto，GabrielFalcao，andNuno贡萨尔维斯使用.InPro-ceedingsoftheI-ceeI-nitre-nitre-nitre-nceonComputerVision，第537- 544页，2013年12. Ciaran Hughes，Patrick Denny，Martin Glavin，and Edward Jones.等距鱼-通 过 消 失 点 提 取 的 眼 睛 校 准 和 校 正 。 IEEE Transactions 〇nPatternAnalysandMachineInteligence，32（12）：2289- 2296，2010.13. 爱德华·罗斯滕和罗汉·洛夫兰。相机畸变自校准铅垂线约束和最小Hough熵。Machine Vision and Applica-10ns，22（1）：77- 85，2011.14. Xianghua Ying和Zhanyi Hu。我们可以考虑中央折反射摄像机和在统一的成像模型中的鱼眼相机。计算机视觉-ECCV 2004，第442- 455页，2004年。15. Mi Zhang，Jian Yao，Menghan Xia，Kai Li，Yi Zhang，and Yaping Liu. 基于行用于鱼眼图像校正和校准的多标记能量优化。在IEEE计算机视觉和模式识别会议论文集，第4137- 4145页，2015年。16. Bolei Zhou，Hang Zhao，Xavier Puig，Sanja Fidler，Aesthetic Barriuso，and Antonio托拉尔巴通过ade20k数据集对场景进行语义理解。arXiv预印本arXiv：1608.05442，2016。17. P Brand，R Mohr和P Bobet。 光学失真：在一个模式下的校正我的意思是。 9diecongr~sAFCETRFIA，第87- 98页，1993年。18. Jiangpeng Rong，Shiyao Huang，Zeyu Shang，and Xianghua Ying.使用用合成图 像 训 练 的 卷 积 神 经 网 络 的 径 向 透 镜 失 真 校 正 。 InAsian C onConferenConPuterVisin，第35- 49页。 Springger，2016.16Yin等人19. Ding Liu，Bihan Wen，Xianming Liu，and Thomas S Huang. 当图像去噪满足高级视觉任务时：深度学习方法。arXiv预印本arXiv：1706.04284，2017。20. Yi-Hsuan Tsai，Xiaohui Shen，Zhe Lin，Kalyan Sunkavalli，Xin Lu，and Ming-Hsuan Yang. 深层图像协调。arXiv预印本arXiv：1703.00069，2017。21. Liangqiong Qu，Jiandong Tian，Shengfeng He，Yandong Tang，and RynsonWH Lau. Deshadownet：一种用于阴影消除的多上下文嵌入深度网络。22. Juho Kannala和Sami Brandt。 一种通用的鱼眼镜头摄像机标定方法。 模式识别，2004年。2004年国际公民权利和政治权利委员会 Proceedings of the17thInternationalCon fernceon，第1卷，第10- 13页。 IEEE，2004年。23. Karen Simonyan和Andrew Zisserman用于大规模图像识别的深度卷积网络。arXiv预印本arXiv：1409.1556，2014。24. Sergey Ioffe和Christian Szegedy。批次标准化：通过减少内部协变量转移来加速深度网络训练。在国际机械工程会议上，第448 - 456页，2 0 15。25. Nitish Srivastava ， Geoffrey E Hinton ， Alex Krizhevsky ， Ilya Sutskever ， andRuslan Salakhutdinov. Dropout：防止神经网络过拟合的简单方法。J〇urnal〇fmachinelearngresearch，15（1）：1929- 1958，2014。26. 杨庆贾、埃文·谢尔哈默、杰夫·多纳休、谢尔盖·卡拉耶夫、乔纳森·朗、罗斯·吉希克、塞尔吉奥·瓜达拉马和特雷弗·达雷尔。Caffe：用于快速特征嵌入的卷积架构。在Proceedingsofthe22ndACMinternationalC0nféréncéonMultimedia，第675- 678页中。 ACM，2014年。27. John Duchi，Elad Hazan，and Yoram Singer.在线学习和随机优化的自适应次梯度 方 法 。 Journal of Machine Learning Research ， 12 （ Jul ） ： 2121-2159，2011.