基于EPI的深度卷积网络光场重建

1基于EPI的深度卷积网络光场重建吴高昌1、2人，赵满丹2人，王良勇1人，戴琼海2人，柴天佑1人，刘业斌2人1东北大学流程工业综合自动化国家重点实验室，沈阳2清华大学自动化系，北京，中国liuyebin@mail.tsinghua.edu.cn摘要本文利用光场数据中极平面图像（EPI）纹理结构清晰的特点，将稀疏视图下我们指出，稀疏采样光场重建的主要挑战之一是空间域和角域之间的信息不对称，其中角域中的细节部分被欠采样损坏。为了平衡空间和角度信息，在馈送到网络之前，使用EPI模糊去除EPI的空间高频分量。最后，使用非盲去模糊操作来恢复被EPI模糊抑制的空间细节我们评估我们的方法在几个数据集上，包括合成场景，现实世界的场景和具有挑战性的显微镜光场数据。我们证明了高性能和鲁棒性的建议框架相比，国家的最先进的算法。我们还展示了通过使用重建的光场进行深度增强的进一步应用。1. 介绍光场成像[20，13]是用于捕获场景的3D外观的最广泛使用的方法之一早期的光场相机，如多相机阵列和光 场 机 架 [33]， 需 要 昂 贵 的 定 制 硬 件 。 近 年 来 ，Lytro[1]和RayTrix[2]等商用和工业光场相机的推出将光场成像带入了一个新时代。不幸的是，由于有限的传感器分辨率，他们必须在空间和角度分辨率之间进行权衡。为了解决这个问题，许多研究都集中在新颖的视图合成或角度超分辨率使用的s-图 1. 使 用 3×3 输 入 视 图 的 Stan-ford 显 微 镜 光 场 数 据Neurons20×[21]的光场重建结果比较提出的基于学习的EPI重建在这种具有挑战性的情况下产生更好的结果。具有高空间分辨率的小视图集[25，26，28，35，37]最近，Kalantariet al.[16]提出了一种基于学习的方法来合成新颖的。来自稀疏视图集合的视图，其性能优于其他最先进的方法[14，27，29，31，36]。他们采用了两个连续的卷积神经网络（CNN）来估计场景的深度并预测每个像素的颜色。然后，他们通过直接最小化合成视图和地面实况图像之间的误差来训练网络。然而，由于他们引入的基于深度估计的方法，他们的网络仍然会导致诸如撕裂和重影之类的伪像，特别是在遮挡区域和非朗伯表面中。图1示出了Kalantari等人获得的重建结果。[16]和我们提出的方法对神经元20×情况下从斯坦福显微镜光场数据[21]。最后处置的方法Kalantari等人[16]导致遮挡区域- s模糊，而所提出的方法产生合理的结果63196320即使是在这个具有挑战性的案件中。在本文中，我们提出了一种新的基于学习的框架工作，重建高角度分辨率的光场从稀疏样本的意见。我们的一个关键见解是，光场重建可以建模为基于学习的角度细节恢复的2D EPI。由于EPI的特殊结构，基于学习的重建可以在其上有效地实现。与基于深度的视图合成方法不同，所提出的方法不需要深度估计。我们进一步指出（见第二节）。3)稀疏采样光场重构中的主要问题是空间域和角度域之间的信息不对称当光场在角域中直接未采样或超分辨时，这种信息不对称将导致重影效应[24]。为了抑制这种信息不对称引起的重影效应，同时利用空间和角度信息，我们提出了EPI上的我们首先通过去除EPI的空间高频信息来平衡该步骤通过将EPI与已知的模糊核卷积来实现。然后，我们应用CNN来恢复由欠采样损坏的EPI的角度细节。最后，使用非盲去模糊操作来恢复由EPI模糊抑制的空间细节。对合成场景和真实场景以及显微镜光场数据的大量实验验证了所提出的框架显着改善了遮挡区域、非朗伯表面和透明区域的重建，并且与其他最先进的方法相比，它产生了具有更高数值质量（高4dB）的新颖视图。此外，我们证明，重建的光场可以用来大大增强深度估计。我们工作的源代码将被公开。2. 相关工作光场成像的主要障碍是由于有限的传感器分辨率而导致的空间分辨率和角分辨率之间的折衷。许多研究者对提高空间分辨率和角分辨率的超分辨率技术进行了研究[5，6，31，35，12]。在本文中，我们主要集中在提高光场的角分辨率的方法。相关工作分为两类：那些使用深度估计的和那些不使用深度估计的。2.1. 基于深度图像的视图合成Wanner和Goldluecke[31]通过利用估计的深度图将输入图像变形为新颖的视图，引入了变分光场空间和角度超分辨率框架。他们采用了十种结构-排序以获得快速且鲁棒局部视差估计。基于Wanner和Goldluecke的工作，在[22]中提出了一种确定性图，以在初始估计的深度图上实施可见性约束。Zhang等人[37]提出了一种用于深度估计和视图合成的基于相位的方法。然而，他们的方法是专门为微基线立体对设计的Zhang等人[36]描述了用于各种光场编辑任务的基于补丁的方法。在他们的工作中，输入的深度图被分解成不同的深度层，并呈现给用户，以实现编辑的目标。然而，这些基于深度图像的视图合成方法在面对被遮挡和无纹理区域时会受到影响。此外，他们的注意力集中在深度估计的质量上，而不是合成视图。近年来，已经提出了一些基于CNN的最大化合成视图质量的研究。Flynn等人[11]提出了一种深度学习方法，使用具有宽基线的图像序列来合成新视图。Kalantari等人[16]使用两个顺序卷积神经网络通过最小化合成视图和地面实况图像之间的误差来同时对深度和颜色然而，在该研究中，网络使用固定的采样模式进行训练此外，该方法在遮挡区域中产生重影伪影，并且无法处理一些具有挑战性的情况。通常，基于深度图像的视图合成方法[22，31，36，37]使用估计的深度图将输入图像扭曲到新视图。相比之下，基于学习的方法[11，16]旨在最小化合成视图与地面实况图像之间的误差，而不是优化深度图，从而获得更好的重建结果。然而，这些方法仍然依赖于深度估计;因此，它们总是在遮挡区域、非朗伯表面和透明区域中失败。2.2. 无深度光场重建对于稀疏采样的光场，在傅里叶域中的重建已经在一些研究中进行了研究Shi等人[26]认为光场重建是连续傅立叶维数中稀疏性的优化。他们的工作对由一个盒子和2个对角线形成的少量1D视点轨迹进行了采样，以恢复完整的光场。然而，这种方法需要以特定的 模 式 捕 获 光 场 ， 这 限 制 了 其 实 际 用 途 。Vagharshakyan等人[28]利用自适应离散剪切波变换从EPI空间中的s-稀疏采样光场重建光场。然而，他们假设密集采样的EPI是方形图像，因此需要大量的输入视图。此外，本发明还提供了一种方法，6321重建在边缘区域表现出较差的质量，导致角度范围的减小。最近，基于学习的技术也被探索用于无深度的重建。Cho等人[8]采用了基于稀疏编码（SC）的方法来使用原始数据重建光场。它们使用重心插值生成图像对。Yoon等人[35]训练了一个空间和角度超分辨率的神经网络。然而，该网络使用每两个图像在它们之间生成一个新的视图，因此它没有充分利用全光场的潜力。Wang等人[30]提出了几种CNN架构，其中一种是为EPI切片开发的;然而，该网络是为材料识别而设计的，这与EPI恢复任务不同。3. 问题分析和表述对于4D光场L（x，y，s，t），其中x和y是空间维度，s和t是角度维度，可以通过沿着恒定的相机坐标t（表示为Ey，t（x，s））收集具有固定y的水平线来获取2D切片。该2D切片被称为对极平面图像（EPI）。然后，低角分辨率EPIEL是高角分辨率EPIEH的下采样版本：EL=EH↓，（1）其中↓表示下采样操作。我们的任务是找到一个逆运算F，可以最小化重建EPI和原始高角度EPI分辨率min||EH− F（EL）||.（二）F对于密集采样的光场，其中相邻视图之间的视差不超过1个像素，角度采样率满足奈奎斯特采样标准（该推导的细节可以在[24]中找到）。可以基于全光函数重建这样的光场;然而，对于在角域中以奈奎斯特采样率采样的光场，视差总是大于1个像素（参见图1B）。第2（a）段）。光场的这种欠采样破坏了角域中的高频 细 节 如 果 角 分 辨 率 被 直 接 上 采 样 （ 参 见 图 2（b）），则角信息和空间信息之间的这种信息不对称导致重构光场中的重影效应。黑线在地面真理EPI（图。2（e））是继续，而上采样EPI（图。2（b））不能重建具有大视差的线。注意，当相邻视图之间的视差大于1个像素时，将总是发生这种信息不对称。为了确保EPI的空间和角度信息之间的信息对称性，可以将光场的空间分辨率降低到适当的水平。然而，很难恢复小说的观点，图2. EPI上采样结果的图示。(a)输入低角分辨率EPI，其中d是相邻视图之间的视差（4个像素）;（b）直接使用角超分辨率的上采样结果不能重建具有视觉相干性的EPI;（c）使用EPI模糊（在空间维度上）和双三次插值（在角度维度上）之后的结果;(d)最终的高角分辨率EPI所提出的算法产生;和（e）地面实况EPI。原始的空间质量，特别是当一个大的降采样率必须在图中所示的情况下使用。第2段（a）分段。而不是降低光场的空间分辨率，我们提取的低频信息卷积的EPI与1D模糊内核在空间域中。由于空间域和角度域之间的耦合关系[24]，该步骤相当于角度域中的抗混叠处理。由于内核是预先设计的，因此可以通过使用非盲去模糊操作轻松恢复空间细节。图2（c）示出了图1中稀疏采样EPI的模糊和上采样结果。第2段（a）分段。我们现在重新定义EPIEL的重建如下：min||EH− D κ f（（EL<$κ）↑）||、（3）F其中，k是卷积算子，κ是模糊核，↑是对EPI进行f表示恢复角域中的高频细节的操作，并且Dκ是使用核κ来恢复由EPI模糊抑制的EPI的空间细节的非盲解模糊算子。在我们的论文中，我们用CNN对操作f进行建模，以学习模糊的低角分辨率EPI和模糊的高角分辨率EPI之间的映射。4. 拟议框架4.1. 概述EPI是包含角度和空间信息的光场的构建块我们利用这一特性，将稀疏采样光场的重建（3）第三章。我们提出的框架的概述3.第三章。6322L图3. 提出了基于学习的EPI光场重建框架。我们首先使用EPI模糊提取EPI的空间低频信息然后，我们在角度域中使用双三次插值将其上采样到所需的角度分辨率（见图2）。3（a））。然后，我们应用CNN来恢复角域中EPI的细节（见图11）。第3（b）段）。网络架构与[9]中的网络架构类似。主要的区别是，我们应用残差学习方法来预测EPI的角度细节。网络细节在第二节中介绍。4.3.最后，通过非盲解模糊操作恢复EPI的空间细节[18]图4. 建议的细节恢复网络由三层组成。第一层和第二层之后是整流线性单元（ReLU）。网络的最终输出是预测残差（细节）和输入的总和。该整数坐标并限于有限窗口，即，x∈[−4σ，4σ]. 核大小由最大视差确定对于具有4个像素的最大视差的光场，形状参数σ=1。5，内核大小为13）。尺度参数用于归一化核。我们基于以下两个原则来评估这三个内核：最终去模糊结果必须显示可见在一些实施例中，模糊的低角分辨率EPI与地面真实EPI之间的均方误差（MSE）尽可能小，并且模糊的低角分辨率EPI与模糊的地面真实EPI之间的均方误差（MSE）尽可能小：1Σn(see图3（c）），并将输出EPI应用于重建。构造最终的高角分辨率光场。应该注意的是，CNN被训练来恢复角位移。minκni=1||第二条，第（五）项||2,(5)尾部是由光场的欠采样损坏的，而不是由EPI模糊抑制的空间细节另一种方法是将去模糊操作建模到CNN中;然而，使用这种方法，网络将不可避免地需要更深，收敛速度也会更慢，从而更难以产生良好的结果。相比之下，非盲去模糊更适合于该任务，因为内核是已知的。为了使用稀疏采样的光场来重建全光场，应用来自输入视图的EPIEy，t，（x，s）和Ex，s，（y，t）然后，来自新视图的EPI用于生成最终光场。4.2. 基于EPI模糊的低频提取为了仅从空间域提取EPI的低频，我们在1D空间中定义模糊核，而不是定义2D图像模糊核。在提取EPI的低频部分时，考虑以下候选数据：sinc函数、2阶Butterworth低通滤波器的空间表示和高斯函数。滤波器的空间表示如下：κ s（x）= c1 sinc（x/（2 |σ|））的情况下，其中i是EPI的索引，n是EPI的数量EL是低角分辨率EPI，并且E是地面真实高角分辨率EPI。我们在Stanford Light Field Acheive [4]上评估内核- s，并且经处理（模糊和上采样）的EPI与模糊的地面真实EPI之间的误差为0。153，0。089和0。061的sinc，Butterworth和高斯内核。sinc函数表示空间域中的理想低通滤波器，并且低频可以无失真地通过滤波器。然而，这种理想的低通滤波器会导致EPI中的振铃伪影。Butterworth内核会产生难以察觉的振铃伪影，而高斯内核则确保不存在振铃伪影。基于这种观察和数值评估，高斯函数被选择为EPI模糊的内核。4.3. 基于CNN的细节恢复对于基于CNN的图像恢复，Donget al. [9]提出了一种名为SRCNN的单图像超分辨率网络，其中从给定的低分辨率图像预测高分辨率图像Kim等人[17]通过使用具有更深结构的残差网络改进了该工作。受这些先驱者的启发，我们设计了一个具有三个卷积层的残差网络来恢复EPI的角度细节。κb（x）=c2e−|x/σ|（cos（|x/σ|）+sin（|x/σ|））的情况下，2 2κg（x）=c3e−x/（2σ），（四）4.3.1CNN架构其中c1、c2和c3是尺度参数，σ是形状参数。在我们的论文中，核被离散化为详细的恢复网络的架构概述图。4.第一章考虑一个与模糊卷积的EPI6323LLLLLLLLLLL LL内核并上采样到期望的角分辨率，通过因子4去上采样实际上，我们提取的记作E′简而言之，则期望输出EPIf（E′）为8×106个样本，足以用于训练。我们-输入E′的和以及预测残差R（E′）：选择大小为64的小批处理，f（E′）=E′+ R（E′）.（六）用于残差预测的网络包括三个卷积层。第一层包含64个大小为1×9×9的滤波器，其中每个滤波器在64个通道（特征图）上的9×9空间区域上操作并用于特征提取。第二层包含32个过滤器，尺寸为64×5×5，用于非线性映射。最后一层包含1个尺寸为32×5×5的滤波器，用于细节重建。 第一层和第二层都遵循ReLU（Rectified Linear Unit由于用作训练数据集的光场的角度信息有限，我们在每次卷积操作之前用零填充数据，以保持输入和输出的大小相同。我们应用这种剩余学习方法的原因如下。首先，角度域中的欠采样损害了EPI的高频部分（细节）;因此，只需要恢复该细节。其次，提取这个细节可以防止网络必须考虑低频部分，这将浪费时间并导致准确性降低。4.3.2培训详情期望的残差为R=E′-E′，其中E′是模糊的真实EPI，E′是模糊的和插值的低角分辨率EPI。我们的目标是缩小-mizethe mean squared error（均方误差）||E′− f（E′）||二、然而，在这方面，和收敛。在本文中，我们遵循传统的图像超分辨率方法将EPI转换为YCbCr空间：仅Y通道（即，亮度通道）被应用于网络。 这是因为其他两个通道比Y通道更模糊，因此在恢复中用处较小[9]。为了提高收敛速度，我们调整学习率与训练迭代次数的增加相一致。训练迭代次数为8×105次。学习率最初设置为0.01，然后减少每0个因子为10。25×105次迭代。当训练迭代次数为5次时。0×105时，学习率经过两步降阶降为0.0 0 0 1我们初始化过滤器权重使用具有零均值和标准d e1e−3的高斯分布来计算每层的平均值。动量参数设置为0.9。培训大约需要12个小时的G- PUGTX 960（英特尔CPU E3-1231运行在3. 40 GHz与32GB的内存）。训练模型使用Caffe包实现[15]。5. 实验结果及应用在本节中，我们评估所提出的[16]以及典型的基于深度的方法，包括真实世界场景，显微镜光场数据和合成2L场景。对于典型的基于深度的方法，我们首先使用由于我们使用的剩余网络，损失函数现在是公式如下：1Σn目前最先进的方法（Wanget al.[29]，Jeonet al.[14]）估计深度，然后扭曲输入图像，L= ni=1||第二条第七款||2,(7)通过对变形图像进行[7]的文件。我们还评估框架中的每个步骤，包括：没有“模糊-去模糊”步骤的性能;其中n是训练EPI的数量。 的输出网络R（E′）表示恢复的细节，其必须被加回到输入EPI E′以获得最终的高角分辨率EPIf（E′）。我们使用斯坦福光场档案[4]作为训练数据。模糊的地面真实EPI被分解为大小为17×17的子EPI，步长为14。为了避免过拟合，我们采用了数据增强技术[10，19]，包括翻转，下采样的空间分辨率光场以及添加高斯噪声。为了避免固定角度上采样因子的限制，我们使用尺度增强技术。具体来说，我们将一些具有小角度范围的EPI降采样为4倍，将所需的输出EPI降采样为2倍，然后将它们升采样为原始分辨率。通过使用因子2和因子4下采样我们使用网络的级联用于需要的EPI，在细节恢复部分，通过用SRCNN[9]和基于稀疏编码的方法（SC）[34]替换网络来实现剩余学习网络合成视图的质量通过与地面实况图像的PSNR来测量。此外，我们演示了如何重建光场可以应用于增强深度估计1。5.1. 真实世界场景我们评估所提出的方法使用Kalantari等人提供的30个测试场景。[16]这是用Lytro Illum相机拍摄的（斯坦福Lytro光场实现[3]。我们用3 ×3重建7×7光场。1更多重建光场（图形和SSIM评估）和深度增强的结果可以在补充文件中找到。6324图5.所提出的方法与其他方法在现实世界的场景比较结果显示地面实况图像、Y通道中合成结果的误差图、蓝色和黄色框中图像部分的特写版本以及地面实况视图中显示的位于红线处的EPI。EPI在角度域中被上采样到适当的尺度以用于更好地观看。每个区块中最下方的图像显示红色框中的部分EPI的特写。表1列出了真实世界数据集的数值结果。PSNR值在30个场景上平均Kalantariet al. [16]被设计为最小化合成视图和地面实况视图之间的误差。因此，在这些常见的场景中，他们取得了更好的性能比其他基于深度的方法。然而，他们的网络是专门针对朗伯区域进行训练的，因此在Reflective29的情况下往往在反射表面上失败。在这些现实世界的场景中，我们提出的框架是显着优于其他方法。此外，由于信息不对称性，我们提出的没有“模糊-去模糊”框架的方法图图5描绘了一些结果，例如Stanford Lytro LightField Achieve中的30个场景的叶子，以及反射29和遮挡16个场景树叶案例包括街道前的一些具有复杂结构的树叶。 这个案子很有挑战性，天空的轮廓和蓝色方框中树叶周围的遮挡。Wanget al. [29]和Jeonet al. [14]显示树叶周围的模糊伪影，30个场景反射29闭塞16Wang等人[29日]33.0328.9725.94Jeon等人[14个]34.4240.2732.10卡兰塔里[16]37.7837.7032.24Ours/CNN37.1544.8435.89我们提出的41.0246.1038.86表1. 在真实世界场景中重建光场的定量结果（PSNR）[16，3]。Kalantariet al. [16]包含重影工件。反射29案件是一个挑战的场景，因为锅和水壶的反射表面。Wang的结果显示 锅 和 kettle 周 围 的 模 糊 伪 影 。Jeonet al. [14] 和Kalantariet al. [16]产生更好的结果，但重建的光场显示出EPI方面的不连续性。Oc- clusion 16例包含复杂的遮挡，对视图合成具有挑战性;因此，它们的结果在诸如树枝和树叶的被遮挡区域周围是相当模糊的。如结果的误差图和特写图像所示，所提出的方法在视觉相干性方面实现了高性能6325图6.在显微镜光场数据集上比较所提出的方法与其他方法结果显示地面实况或参考图像、合成结果、蓝色和黄色框中的特写版本以及位于地面实况视图中显示的红线处的EPI。神经元20×神经元40×Wang等人[29日]17.4513.21Jeon等人[14个]23.0223.07Kalantari等人[16个]20.9419.02我们提出的29.3432.47表2. 显微镜光场数据集上重建光场的定量结果（PSNR）[21]。综合视图和EPI的cy。5.2. 显微镜光场数据集在本小节中，斯坦福光场显微镜数据集[21]和Lin等人提供的基于相机阵列的光场显微镜数据集。”[23]他们都是经过考验的。这些数据集包括挑战性的光场，例如复杂的遮挡关系和不透明性。数值结果在表2中列出，并且重建的视图是示于图六、我们在Neurons40×情况下使用3×3视图重建7×7光场，在Neurons40×情况下使用3×3视图重建5×5光场对于Worm情况，使用5×5视图来产生9×9光场2。Neurons40×案例显示了高尔基染色的大鼠切片大脑，其中包含复杂的闭塞。 该结果Wang等人[29]由于错误的原因，这是非常模糊的2由于所有的真实视图都被用作输入，因此不对Worm案例进行定量评估在图中，我们示出了最近的视图作为重建视图的参考。估计深度。虽然Jeonet al. [14]具有更高的PSNR值，它无法估计场景的深度，这在EPI中可见。Kalantariet al.[16]在视觉相干性方面具有更高的质量。然而，结果在被遮挡区域中包含模糊和撕裂伪影。此外，所提出的方法显示出去噪效果，这可以在特写版本中看到蠕虫的情况下是更简单的struc- tured，但包含透明的对象，如头部的蠕虫。基于深度的方法不能估计这些区域中的准确深度图，这导致撕裂和重影伪影。在这些具有挑战性的情况下，我们的方法在遮挡和半透明区域都产生了合理的结果。5.3. 合成场景我们使用来自HCI数据集[32]的合成光场数据，其中空间分辨率与原始输入（768×768）。输出光场的角分辨率设置为9×9，以便与地面实况图像进行比较，尽管我们能够产生光更密集的视野我们使用具有不同稀疏度（3×3和5×5）的输入光场来评估所提出的框架在不同上采样尺度因子下的表3显示了所提出的方法在合成数据集上的定量评估，用其他方法。 Kalantariet al. [16个]6326佛Mona输入3 ×35 ×53 ×35 ×5Wang等人[29日]33.4144.1530.7443.69Jeon等人[14个]41.1944.0640.9542.67Kalantari等人[16个]34.0534.5132.5332.59[34]第三十四话41.6741.7942.3944.40Ours/SRCNN[9]41.5042.4542.6443.86我们提出的43.2046.4244.3751.07表3. HCI数据集的合成场景上重建光场的定量结果（PSNR）[32]。SC[34]和SRCNN[9]通过替换所提出的残差学习方法应用于所提出的框架，并分别表示为ours/SC和ours/SRCNN比其他基于深度的方法产生更低的质量，因为它们的CNN是专门针对真实世界场景进行训练的。与基于深度的方法相比，所提出的方法实现了最高的PSNR值此外，在相同的框架下，残差学习方法比SC和SRCNN方法产生更好的结果5.4. 深度增强应用在本节中，我们证明了所提出的光场重建框架可以用于增强深度估计。表4给出了使用3×3输入的深度估计结果的RMSE值，Kalantari等产生的9×9光场的al. [16]，我们在HCI数据集上重建的9 ×9光场和地面实况9×9光场[32]。 图图7示出了在Cars、Reflective29、Oc上的深度估计结果。结论16例，花卉12例。我们使用的方法由王等人。[29]以估计场景的深度。结果表明，我们重建的光场能够产 生 更 准 确 的 深 度 图 ， 更 好 地 保 留 边 缘 信 息 比Kalantari等人产生的深度图。[16]例如，反光板29中的红色平底锅反光面和汽车中左车前的树枝。此外，增强的深度图接近于通过使用地面实况光场产生的深度图。6. 局限与讨论所提出的框架使用EPI模糊来在空间域中提取EPI的当k核尺寸太大时，非盲解模糊不能恢复高质量的EPI，并且我们可以处理的最大视差是5个像素。对于空间混叠输入，我们的方法不能消除这样的文物，但可以给新的意见，类似的质量输入。此外，在每个角度维度上至少应使用3个视图，以提供足够的信息用于双三次插值。图7. 深度估计结果使用重建的光场。第三行中的箭头标记由重构光场的伪影引起的深度误差。佛Mona马输入3×3视图0.29260.25410.3757Kalantari等人[16个]0.15760.08290.1212我们0.04010.05170.0426GT光场0.03930.05290.0383表4. 使用Wang等人的方法估计深度的RMSE值。[29]在HCI数据集上。7. 结论我们提出了一种新的基于学习的EPI光场重建框架。为了避免信息不对称引起的重影效应，通过EPI模糊提取EPI的空间低频信息，并将其作为网络的输入来恢复角度细节。非盲去模糊操作用于恢复被EPI模糊抑制的空间细节。实验结果表明，所提出的框架工作优于国家的最先进的方法在闭塞和透明的区域和非朗伯表面，如具有挑战性的显微镜光场数据集。致谢本工作得到了国家探索科学仪器重点基金（编号：2013YQ140517 ） 、 国 家 自 然 科 学 基 金 （ 编 号 ：61522111 ） 、 （ 编 号 ： 61531014 ） 和 （ 编 号 ：61673095）的资助。6327引用[1] Lytro 网址：http：//www.lytro.com/[2] RayTrix 3D光场相机技术。http://www.raytrix.de/的网站。[3] 斯坦福大学Lytro光场档案馆。http://lightfields.stanford.edu/。[4] 斯坦福大学（新）光场档案。http://lightfield.stanford.edu/lfs.html的网站。[5] T. E. Bishop和P.法瓦罗光场相机：扩展景深、锯齿和超分辨率。IEEE TPAMI，34（5）：972[6] 诉Boominathan，K.Mitra和A.维拉加万使用混合成像系统改进光场相机的分辨率和景深。见ICCP，第1-10页。IEEE，2014。[7] G. Chaurasia、S. Duch eQuarne，O. Sorkine-Hornung，G.讨厌鬼深度合成和局部扭曲的合理图像为基础的导航。ACM TOG，32，2013.[8] D.周，M。李，S。Kim和Y W.泰为高质量的光场图像重建建立了Lytro相机校准管道的模型。InICCV，2013.[9] C.东角，澳-地C. Loy，K.他，还有X。唐学习用于图像超 分 辨 率 的 深 度 卷 积 网 络 见 ECCV ， 第 184-199 页Springer，2014.[10] D.艾根角Puhrsch和R.费格斯。使用多尺度深度网络从单个图像进行深度图预测。神经信息处理系统进展，第2366-2374页，2014年[11] J. 弗林岛Neulander，J.Philbin和N.很聪明Deepstere- o：学习从世界的图像中预测新的观点。CVPR，2015。[12] X. Guo，Z.Yu，S.B. 康，H.Lin和J.Yu. 通过光线空间拼接增强光场IEEE TVCG，22（7）：1852[13] I. Ihrke，J. F. Restrepo和L.米格纳德-迪比斯光场成像原理：简要回顾25年的研究。IEEE信号处理。麦格，33（5）：59[14] H. G. Jeon，J.帕克湾，澳-地Choe，J.帕克湾，澳-地Bok，Y.W. 泰以及I. S.奎恩来自小透镜光场相机的精确深度图估计。在CVPR，第1547-1555页[15] Y. Jia、E.Shelhamer，J.多纳休S.Karayev，J.隆河，西-地Gir- shick，S. Guadarrama和T.达雷尔。Caffe：用于快速特征嵌入的卷积架构。在ACM MM中，第675-678页。ACM，2014年。[16] N. K. Kalantari，T.- C. Wang和R. Ramamoorthi基于学习的光场相机视图合成。ACM Transactions on Graphics（TOG），35（6），2016.[17] J. Kim，J. K. Lee和K. M.李你使用非常深的卷积网络实现精确的图像超分辨率CVPR，2015。[18] D. Krishnan和R.费格斯。使用超拉普拉斯先验的快速图像去卷积。神经信息处理系统的进展，第1033-1041页，2009年[19] A.克里热夫斯基岛Sutskever和G. E.辛顿Imagenet分类与深度卷积神经网络。在神经信息处理系统的进展，第1097-1105页[20] M. Levoy和P.汉拉汉光场渲染。在Sig-graph，第31-42页[21] M.勒沃伊河Ng、黑冠草A.亚当斯，M。Footer和M.霍洛维 茨 光 场 显 微 镜 。 ACM Transactions on Graphics（TOG），25（3）：924[22] J. Li，M.卢和Z-N. 李来自光场的连续深度图再现IEEETIP，24（11）：3257[23] X. Lin，J. Wu，G. Zheng和Q. 戴. 基于相机阵列的光场显微镜。Biomedical Optics Express，6（9）：3179[24] Z.林和H Y.沈 光的几何分析现场渲染。InternationalJournal of Computer Vision，58（2）：121[25] S. Pujades，F. Devernay，和B.戈德卢克贝叶斯视图合成和基于图像的绘制原理。在CVPR，第3906-3913页[26] L. Shi，H. Hassanieh，A. Davis、D. Katabi和F.杜兰德利用连续傅立叶域中的稀疏性重建光场。ACM TOG，34（1）：12，2014.[27] M. W. Tao，S. Hadap，J. Malik，and R. Ramamoorthi 使用光场相机结合散焦和对应的深度。在ICCV，第673-680页[28] S.瓦加尔沙基扬河Bregovic和A.戈切夫基于剪切波域稀疏 表 示 的 图 像 绘 制 技 术 见 ICIP ， 第 1379-1383 页 。IEEE，2015年。[29] T.- C. Wang，中国山核桃A. A. Efros和R. Ramamoorthi使用光场相机的遮挡感知深度估计。在ICCV，第3487-3495页[30] T.- C.王建- Y. Zhu，E. Hiroaki，M. Chandraker，A. A.Efros和R.Ramamoorthi 用于材料识别的4d光场数据集和在《欧洲共同体刑法典》第121- 129138.施普林格，2016年。[31] S. Wanner和B.戈德卢克用于视差估计和超分辨率的变分光场IEEE TPAMI，36（3）：606[32] S. Wanne r，S. Meiste r和B. 黄金卢克。密集采样4d光场的数据集和在Vision，Modeling Visualization，第225-226页[33] B. Wilburn，N.Joshi，V.Vaish，E.诉Talvala，E.安图内斯，A. Barth，A.亚当斯，M。Horowitz和M.勒沃使用大型相 机 阵 列 的 高 性 能 成 像 。 在 ACM Transactions onGraphics（TOG），第24卷，第765- 776页中ACM，2005年。[34] J. Yang，J. Wright，T. Huang和Y. MA.图像超分辨率作为原始图像块的稀疏表示。第1-8页[35] Y.尹惠G.全角，澳-地你，J Y.李，我。所以奎恩。学习用于光场图像超分辨率的深度卷积网络。在CVPRW，第24-32页[36] F.- L. Zhang，J. Wang，E. Shechtman，Z. Y.周杰- X.Shi和S.-M. 胡Plenopatch：基于贴片的全光图像处理。IEEE TVCG。[37] Z. Zhang，Y.Liu和Q.戴. 来自微基线图像对的光场在CVPR，第3800-3809页