无透镜相机中的深度估计与可编程掩模的优化

2603一个简单的框架，用于3D无透镜成像与可编程掩模Yucheng Zheng†，Yi Hua‡，Aswin C.Sankaranarayanan，M.萨尔曼·阿西夫<$加州大学河滨分校<$、卡内基梅隆大学<$yzhen069@ucr.edu，huayi@cmu.edu，saswin@andrew.cmu.edu，sasif@ece.ucr.edu摘要无透镜相机提供了一种框架，通过用传感器附近的振幅或相位掩模替换传统相机中的透镜来构建薄成像系统。现有的无透镜成像方法可以恢复场景的深度和强度，但它们需要解决计算昂贵的逆问题。此外，现有方法难以恢复具有大深度变化的密集场景在本文中，我们提出了一种无透镜成像系统，捕获少量的测量使用不同的模式上的可编程掩模。在这方面，我们作出三点贡献。首先，我们提出了一种快速恢复算法来恢复纹理上的一个固定数量的深度平面在场景中。其次，我们考虑了可编程无透镜相机的掩模设计问题，并提供了一个设计模板，用于优化掩模图案，以提高深度估计的目标。第三，我们使用细化网络作为后处理步骤来识别和去除重建中的伪影。这些修改进行了广泛的评估与无透镜相机原型上的实验结果，以展示性能的优化掩模和恢复算法的优势，在国家的最先进的。1. 介绍无透镜相机传统上已经被开发并用于对诸如X射线和伽马射线的高能辐射进行成像，其中制造透镜是极其昂贵的或物理上不可实现的[8，9，12]。 在过去几年中，已经提出了这种无透镜相机用于可见和红外波段中的成像;这里，透镜的缺失提供了薄形状因子成像的优点[5，6]，显微镜中更好的景深折衷[1，2]，红外/多光谱成像的成本降低[20，24]，并且提供了从编码测量进行推断的能力[24，29]。深度估计是无透镜成像的组成部分。无透镜相机的基本原理是传感器记录与以下相关联的测量的总和：图1：使用SweepCam [ 16 ]和我们提出的方法从八个传感器测量结果在不同深度平面重建的两个3D场景的示例。场景点。每个场景点根据其三维（3D）空间位置和辐射投射其自己的唯一因此，3D场景信息被编码在传感器测量中，但是其恢复需要我们解决非线性逆问题。此外，重要的是在测量中对这种深度依赖性进行建模，特别是因为忽略它会导致重建质量的显著降低。用于3D无透镜成像的现有方法可以分为两类。一类方法利用单个图像测量来估计3D场景[1，2，4，7，33]。这些方法通过使用迭代技术解决优化问题来联合估计3D场景的图像和深度图。由于要估计的变量的数量比测量的数量大得多，因此恢复问题严重欠确定，并且该方法依赖于关于3D场景的一些先验知识例如，[2]假设3D体积是稀疏的，并解决基于1范数的优化问题来估计3D图像。这些基于优化的方法的另一个缺点第二类方法捕获多个测量，每个测量具有不同的掩模，这使得密集场景的3D恢复成为可能[16，32]。与设计用于多次测量的掩模图案相关的最相关的工作是SweepCam[16]，其使用可编程的移动掩模捕获同一场景的多次测量，单个平面的恢复比整个3D场景的联合恢复快得多，但是实现单个深度平面的无伪影重建所需的掩模图案的数量可能很大（在100- 200的范围27.3mm100.0mm91.3mm311.1mm扫一扫我们2604400）。我们提出的方法属于第二类，但不是估计一个单一的平面，我们恢复的3D场景在多个深度平面联合从一个较小的数量，伯的测量，使用一个简单的算法。我们的方法和SweepCam的比较如图1所示，用于使用八个传感器测量恢复两个3D场景。所提出的算法利用了众所周知的事实，即卷积系统在傅立叶域中对角化。考虑到与每个场景深度相关联的测量算子被很好地近似为卷积，我们表明，当我们在空间频率域中对场景强度进行建模时，联合深度和图像恢复问题可以被显著简化因此，不是针对所有深度平面上的图像强度求解单个大线性系统，而是并行地求解若干小线性系统，其中每个系统与不同的频率系数相关联为了进一步提高估计的图像平面的质量，我们将前向成像操作和恢复算法实现为可微分网络，并优化掩模图案以最小化重建损失。我们在真实的实验中验证，与其他常用的掩模模式相比，所学习的掩模模式为各种场景提供了更好的图像平面估计。最后，我们训练一个神经网络来去除估计平面中的任何伪影，并将它们转换为全聚焦图像和连续值深度图。捐款. 本文的主要贡献如下。• 本文提出了一种快速算法，从傅立叶域的无透镜测量中恢复三维场景的多平面图像。• 我们实现了一个多平面无透镜相机和傅立叶域恢复算法作为一个可微网络，以优化掩模图案的无透镜相机。• 我们训练神经网络以将估计的多平面图像映射成全聚焦图像和连续值深度图。• 我们建立了一个原型无透镜相机与可编程的掩模和报告几个实验来验证我们提出的方法和现有的方法进行比较局限性。尽管有上面列出的优点，我们在这里提出的基于掩模的无透镜相机有一些限制。许多无透镜相机共有的一个主要限制是光通量和传感器的有限动态范围。第二组限制源于卷积模型的假设，这是3D无透镜成像工作中的常见假设卷积模型无法考虑裁剪测量的小传感器区域非朗伯场景和传感器在我们的实验中，我们在那些场景中观察到一些伪影，但它们通常是局部的;例如，来自传感器裁剪的伪像仅影响图像边界，而镜面反射仅在局部区域中产生伪像，而不影响图像的其它部分。最后，我们假设场景在捕获多个测量的持续时间内是静态的然而，与先前的方法[16]相比，这项工作显著减少了所需的测量次数，并因此减少了场景需要静态的持续时间2. 相关工作针孔照相机是无透镜成像的经典示例FlatCam [5]是针孔摄像机时代的扩展版本，它使用具有多个针孔的掩模。传感器捕获场景的线性测量，并且系统需要仔细的校准和计算算法来重建目标场景。FlatCam底层的无透镜成像系统已用于面部检测[29]，隐私保护[23]和荧光显微镜[1]。最近，基于深度学习的恢复方法也在[17]中为FlatCam引入。与使用振幅掩模的FlatCam不同，DiffuserCam [2]在传感器顶部放置相位掩模。成像系统利用PSF的平移不变特性，并将测量建模为场景和相应PSF之间的卷积。DiffuerCam也被用于恢复其他类型的高维信号，如视频[3]和高光谱图像[20]。在[21]中介绍了基于学习的方法。使用基于单个掩模的FlatCam和DiffuserCam进行深度估计或3D图像再现的算法一种方法解决了基于3D网格的稀疏恢复问题[1，2]。这些方法通常用于恢复荧光显微镜中的稀疏图像，其中视场中的所有光点源可以由传感器检测到这些迭代3D重建算法的主要另一种方法联合估计图像中每个点/角度的图像强度和深度[4，33]。这些方法假设3D场景的角度采样，其中在每个角度处仅存在一个光源，以及贪婪或非线性优化算法来估计3D场景的强度和深度图。SweepCam [16]是FlatCam的扩展，其使用通过移动掩模图案捕获的多个传感器测量结果来重建图像纹理和深度图。移位掩模图案为每个测量实例提供3D场景中的不同平面的深度相关视差，这使得可以恢复聚焦图像。2605Σzzzzzz图2：所提出方法的概述无透镜相机使用可编程掩模捕获多个测量值我们通过并行求解多个小方程组（每个频率分量一个）来重建使用的恢复算法作为一个可微函数，我们学习的掩模模式，以提高估计的图像平面。我们进一步细化估计的图像平面，并使用经过训练的细化网络将它们转换为全聚焦图像和深度图。具体深度平面的年龄。SweepCam一次重建一个深度，并使用重建的深度平面的局部对比度信息生成深度图SweepCam的主要缺点是其需要非常大量的传感器测量（通常为数百个）来恢复深度平面而没有伪影。在本文中，我们使用与SweepCam [16]类似的成像设置，但仅使用八到十个传感器测量来联合恢复深度平面最近在[7，10，19，27，28，30，31]中提出了几种用于光学和重构算法的联合设计的方法。主要设计原理是将传感器测量值表示为场景图像和作为可微的平面传感器阵列让我们进一步假设传感器被放置在由（u，v，z）表示的笛卡尔坐标系的原点处，其中（u，v）表示水平和垂直坐标，并且z表示深度。在基于掩模的无透镜相机中，每个传感器像素记录来自3D场景中的所有点的光让我们假设源自场景点（u，v，z）的光线相对于每个传感器像素具有相同的有效亮度I（u，v，z）。假设我们使用振幅掩模，其在掩模平面中的（u，v）处的衰减表示为φ（u，v）。在这些假设下，在像素（u，v）处记录的传感器测量被给出为神经网络，在此之后，可以在一个实施例中共同学习光学元件和神经网络的参数。y（u，v）=zΣ∫u0，v0l（u0，v0，z）φ（u~，v~）du0dv0Σdz，（1）以端到端的方式。在我们提出的框架中，我们恢复3D场景作为正则化最小二乘问题，具有其中u=z−du+du0，v~=z−dv+dv0。 一个简单封闭解使用简单的求解器而不是训练深度网络进行重构的主要动机是构建能够推广到任意场景的良好调节的系统。然后我们训练一个单独的精化推导表明，对于固定的z，（1）中的内积分可以表示为两个函数的卷积[2，16]：y（u，v）=l（u，v）φ（u−u，v−v）dudvdz网络，其将所估计的多平面图像映射到全聚焦图像和连续值深度图。z00zz u0，v 00 0 0 03. 方法=∫[lz∪φz]（u，v）dz，（2）z其中lz（u，v）=l（d-zu，d-zv）表示在3.1. 多平面无透镜成像模型我们介绍了我们的无透镜成像仪，其中3D场景使用多平面图像表示的模型。在场景和传感器尺寸的一些温和条件下，我们可以将传感器测量值表示为每个场景平面与其各自的场景平面卷积φ z（u，v）= φ（z−du，z−dv）表示深度z处任何点的PSF。让我们假设传感器阵列具有M个像素。均匀网格。 通过沿着（u，v，z）离散（2）中的系统，我们可以将传感器测量结果写为2D线性卷积的总和：深度相关点扩散函数（PSF）。PSF取决于掩模图案，我们可以改变掩模图案以捕获多个传感器测量并恢复3D场景。y=φzzlz+e，（3）让我们假设我们的无透镜相机由一个可编程振幅掩模组成，该掩模放置在距离a其中y表示具有M个传感器测量的阵列y（u，v），Lz表示图像平面强度值Lz（u，v），∫2606×Σ22Σ⊙F·×Σy=φ∠lzΣF−→Y=Φ⊙L。 （5）ZL1，…LDzFFΦK（ωm）. . .ΦK（ωm）Φz表示深度z的PSF，并且e表示传感器噪声。为了便于说明，我们忽略了下面等式中的加性噪声项，但我们在实验中包括了噪声。如果传感器尺寸足够大，使得场景中的每个光源的响应完全相同，则可以使用相同的传感器。Yωm 是长度为K的复向量，Φωm 是K D复矩阵，Lωm是长度的未知向量D.原始优化问题可以被写为M个独立优化问题的总和为如果由传感器记录，则我们可以将（3）中的线性卷积处理为循环卷积。我们可以对角化minL ω 1，.，LωMYωmωm-Φωm LωmF+τ1996年（九）系统在（3）中，使用卷积定理，作为任何ωm可以写成封闭形式，F（y）=F（φz）⊙ F（lz）⇒Y=Φz⊙Lz，（4）zL~ωm=（Φ*ωΦωm +τI）−1ΦωYωm、（10）其中（）表示2D傅里叶变换算子，Y、Φz和Lz分别表示y、Φz和Lz（4）中的所有数组都有M个条目。由于我们使用可编程掩模，我们可以使用不同的掩模模式捕获让我们将使用第k个掩模图案捕获的传感器测量表示为k k k kz zz z3.2. 多平面重建的快速算法在本节中，我们讨论使用（5）中的多个无透镜测量来恢复3D场景的傅立叶域算法该方法是经典频域多通道去卷积方法[13]对无透镜成像设置的适应 让我们假 设我 们 被 给予 K 个 传感 器 测 量值 作 为yk， 其中k=1，. . .、K.让我们进一步假设3D场景由表示为l1，. . . ，lD. 为了简化符号，我们将使用φ1，。. . ，φD来表示不同深度的PSF。为了恢复傅立叶域中的图像平面，我们可以解决以下正则化最小二乘问题：minΣYk−ΣΦz⊙Lz2+τΣLz2，（6）Kzz我们可以通过直接求逆D D矩阵或使用诸如共轭梯度的迭代方法来计算[15]。由于所有ωm的计算彼此独立，因此我们可以并行求解（10），这提供了快速恢复算法。为了恢复3D图像平面，我们可以对重构的频域深度平面应用逆傅立叶变换在实践中，我们根据相应系统矩阵的Frobenius范数来调整每个ωm的τ。我们的方法恢复多个图像平面从多个测量使用一个封闭的形式的解决方案。事实上，如果K=D=1，则我们的方法等价于标准维纳反卷积。实际考虑。为了确保任意3D场景的稳定恢复，我们希望（10）中的矩阵对于所有频率ωm都是可逆的。在实践中，我们可以通过两种方式解决这个问题首先，自然图像的傅立叶系数的能量主要集中在少数频率上;因此，只要对应于有效频率的矩阵是良好条件的，我们就可以可靠地恢复节中3.3中，我们讨论了一种通过优化掩模图案来改善系统的调节和图像平面的估计的方法。第二，即使可逆性条件要求深度平面的数量（D）为其涉及使用MK测量来求解MD未知数，并且对于求解大的M、K和D值而言可能是计算昂贵的。幸运的是，我们可以通过将（6）中的优化问题分成M个独立问题来简化恢复问题，每个独立问题在所有深度平面中的单个频率系数上定义。注意，由于傅立叶域中的对角结构，我们可以将频率系数ωm的测量值分离为Y1（ω m）. .Φ1（ω m）L1（ω m）....选择要恢复的深度平面的能力。我们可以根据场景调整深度平面的位置或选择提供最佳恢复性能的深度平面。在我们的实验中，我们观察到取样在α=1−d参数中均匀的深度平面提供了最佳重建，其中α∈[0，1]映射到z∈[d，∞]。与现有方法的关系。在我们提出的方法中，我们使用多个掩模图案来恢复3D场景中的多个使用单个掩模图案（K=1）来恢复3D场景是可能的，但这仍然是一个挑战。好吧1=.. . .D.D.好吧（七）lenging问题。用于3D无透镜成像的现有方法从单个传感器图像，或者假设稀疏先验我们可以将这个系统以紧凑的形式重写为Yωm=ΦωmLωm，（8）3D场景，并解决了一个3D上的正则化问题卷[2，6]或解决非线性逆问题，以联合恢复场景的强度和深度[4，33]。两MM最多的掩模图案的数量（K），我们有柔性-YK（ωm）1LD（ωm）2607z××××××Φk（ωm）*Φk（ωm）+τ）Σ这在计算上是昂贵的。SweepCam [16]使用“聚焦”操作重新覆盖单个深度平面我们可以表明，在SweepCam中针对移位掩模图案的聚焦操作等效于在频域中一次针对一个深度求解（7）中的系统在数学上，其等效于估计深度z处的平面的单个频率ωm，其可以被写为以下标量方程：作为连续值优化变量的以零为中心的S形函数，其在优化期间将掩码值保持在范围[-1，1]中。我们在每个时期增加sigmoid函数的斜率，这将使掩码值更接近-1或1，并最终在优化结束时将其设置为-1/1。3.4. 精化网络和后处理进一步提升图像质量和深度精度Lz（ωm）=Φk（ωm）*Yk（ωm）ΣKzz.（十一）的估计飞机，我们训练一个神经网络使用U-Net架构[25]，其映射估计的多平面在实验部分，我们详细比较了我们提出的方法，[4]中的深度追踪和SweepCam [16]的性能;我们的结果表明，我们的方法优于现有方法。3.3.学习掩码模式为了提高估计的图像平面的质量，我们优化的掩模模式，通过实现多平面图像恢复算法作为一个可微的网络。我们构建了实现（5）中的成像模型和快速恢复算法的计算图，如图2所示。优化变量是具有K个掩模图案的K个Pu Pv张量，每个掩模图案的大小为Pu Pv（我们在实验中使用Pu=Pv=63）。我们通过反向传播最小化输入和重建图像平面之间相对于掩模图案的均方误差（MSE）。我们使用来自NYU [22]数据集的50个场景作为训练数据来优化掩模。为了实现（5）中的成像模型，我们首先执行线性内插以计算D个预定义深度平面的每个掩模的PSF，所述D个预定义深度平面沿着（5）均匀采样。α=1−d。这给我们提供了一个K×D×Mu×Mv张量，图像转换为全聚焦图像和连续值深度图。 U-Net接受所有颜色通道多平面图像堆栈并生成RGBD张量[10，31]。为了训练U-Net参数，我们使用NYU深度数据集生成了合成多平面图像[22]。我们首先在35mm到200mm范围内线性缩放NYU数据集中的场景深度，然后量化场景以创建100个深度平面。然后，我们使用（5）中的成像模型来模拟传感器测量，并通过解决（9）中的问题来重建D=8个深度平面处的图像。重建的图像平面作为具有D个RGB平面的单个张量被馈送到U-Net中，并且U-Net提供输出RGBD张量。U-Net损失函数被定义为地面实况和输出RGBD张量之间的均方误差。我们使用了380个场景来训练网络 200个epoch。在我们的实验中，我们将U-Net结果与基于模型的方法进行比较，在该方法中，我们首先使用BM3D [11]在每个深度处对估计图像进行降噪，然后为每个像素分配深度值，该深度值在所选深度平面中提供最大局部对比度z其中Mu×Mv是传感器的尺寸（即， M = M u Mv）。4. 仿真结果然后，我们使用（5）中的卷积模型生成给定训练图像平面的传感器测量。我们在掩模优化期间在传感器测量中添加独立的高斯噪声实例。重建算子通过解决（9）中的问题从模拟测量提供D个估计的图像平面。如第3.2节所述，我们可以解决所有频率的独立最小二乘问题，然后用逆傅里叶变换重建我们使用Adam优化器[18]以0.01的学习率优化了300个epoch的掩码。我们使用硅基液晶（LCoS）空间光调制器（SLM）作为可编程掩模，并在训练期间将掩模图案限制为二进制。LCoS中的相位延迟具有很强的光谱依赖性，这使得难以在波长跨度上一致地实现期望的连续值这对于二进制图案不是问题，因为我们可以使所有波长上的我们代表面具模拟设置。为了验证所提出的算法并学习掩模模式，我们模拟了第2节中讨论的相机原型五、我们使用了256 256传感器阵列，其中掩模放置在10.51mm外。每个掩模图案中的特征数量为63 63，每个特征尺寸为36μm。我们评估算法从Middlebury数据集中选择的五个场景（圆锥体，书籍，钢琴，游戏室和游戏桌）[26]。每幅图像的空间分辨率为128128. 我们重新调整深度值在每一个场景中将深度量化到35-我们在40dB SNR下将高斯噪声在我们使用所提出的算法重建3D场景的图像平面之后，我们使用局部对比度生成全聚焦图像和深度图，其中我们为我们使用结构相似性指数（SSIM）来评估恢复的全聚焦图像的质量我们使用深度精度（定义为（K2608--×××××±×z最小zmax- -(a) 针对K= 8的锥体的重建全聚焦图像和深度图。(b) （c）估计深度的准确度图3：不同类型和数量的面罩的比较。(a)针对具有K= 8个测量值的锥体重建全聚焦图像和深度图。（b，c）五个测试场景的恢复的全聚焦图像的平均SSIM和估计深度的准确度。随着掩模数量的增加，重建质量提高，并且学习的掩模图案优于其他掩模图案。被分配正确深度的像素与被分配不正确深度的像素的比率。掩模图案的数量和类型。我们评估我们所提出的方法的不同类型和数量的掩模图案（K）的性能。 我们测试四种不同类型的掩模图案：随机二进制掩模、可分离MLS掩模[14]、如在SweepCam [16]中使用的移位MLS掩模，以及根据在第2节中讨论的方法优化的学习掩模图案。三点三 我们针对具有五个场景的每个掩模图案测试K = 4、6、8、10，每个场景具有D=8个深度平面。我们的测试包括欠定（KD）和超定（K> D）系统的情况。我们使用具有八个掩模的传感器测量来重建如（10）中所述的多平面图像堆栈然后，我们将图像平面转换为全聚焦图像和使用局部对比度的深度图我们在图3中的SSIM和深度精度方面呈现了五个测试场景的重建图像和平均性能曲线的示例。图像和深度的重建质量随着K的增加而改善。我们观察到，与MLS，随机和移位MLS相比，学习的掩模提供了显著更好不正确的深度估计导致模型失配，这进而导致重建的强度图像中的伪影，其可以在图3（a）中看到。补充材料中提供了重建的全聚焦图像和深度图的其他示例。5. 相机原型5.1. 摄像头原型为了评估我们提出的算法和掩模模式的性能，我们构建了一个相机原型（如图2和补充材料所示）。 该相机由一个图像传感器和一个LCoS显示器组成，该显示器用作可编程振幅掩模。我们的LCoS是HOLOEYELC 2012透射式空间光调制器;像素间距为36 µm，填充因子为58%;并且它夹在一对交叉偏振器之间。LCoS与传感器之间的距离为10.51mm。 我们在板级Blackfly S上使用Sony IMX183传感器，该传感器具有5472 3648像素，间距为2.4 µm，传感器面积为1.31cm 0.88cm。在我们的实验中，我们使用了228 342个传感器测量值，对16 16个相邻像素进行了合并，得到了一个大小为38.4 µm的有效传感器像素。重建的图像平面有148274像素，因为我们裁剪剩余的像素。我们捕获多个场景的测量值，不同的深度范围从30mm到600mm。我们校准的PSF的相机在不同的深度。对于每个场景，我们使用具有+1/-1条目的八个掩模图案来捕获八个测量。我们分别捕获掩模的正和负部分的测量值，并从测量值积极的一面 每个掩模有63 63像素。 在我们的实验中，我们在四种类型的掩码上测试算法：移位的 MLS掩码：单个MLS掩码的移位版本。可分离MLS掩模[16]。移位距离是从0到48个LCoS像素。MLS掩码是从不同的随机种子生成的可分离的MLS掩码。随机掩码是不可分离的随机1掩码。学习掩码是从第二节中讨论的数据驱动方法生成的优化掩码。三点三为了呈现具有相同动态范围的图像，我们对所有图像应用相同的亮度和颜色对比度调整。5.2. 使用学习掩码的我们首先提出了一些示例场景和重建的图像平面，使用我们提出的方法。对于每个场景，我们使用八个学习的掩模模式捕获传感器测量。然后，我们恢复八个深度平面使用所提出的算法在第二节。3.2.我们在[1d，1d]中均匀地对深度平面进行采样，其中我们为每个场景输入zmin，zmax的图4呈现了每个场景的三个估计平面第一个场景有一个距离相机近30毫米的网，网后近100毫米的橡胶鸭子。近深度平面图像聚焦在网上并且鸭子是模糊的，而远深度平面聚焦在橡胶鸭子上并且网几乎消失。第三个场景由2张牌组成，红牌（左）放置在35mm处，黄牌（上）放置在35mm处。原始MLS学习的随机移位MLS深度图像2609图4：使用我们提出的具有学习掩模的快速恢复算法重建不同场景的深度平面。恢复的平面外的物体几乎消失。我们还示出了在将估计的多平面图像通过训练的基于U-网的细化网络之后创建的全聚焦图像和深度图（以mm为单位）三点四分。具有低强度的像素的深度值（例如，第一行中的网格）通常是不可靠的，因此被移除。附加深度平面和场景的结果在补充材料中可用。27.3毫米42.9毫米100.0毫米图5：我们的方法无法恢复的镜面反射场景的重建。右）放置在200mm处。近平面聚焦左卡，远平面聚焦右卡。最后一个场景有3个玩具，蓝色玩具放置在80mm，黄色玩具放置在200mm，白色玩具放置在600mm。我们观察到蓝色、黄色和白色的玩具分别在近、中和远平面上显示最清晰在无透镜成像系统中，对较远和较暗物体的深度估计不如对较近和较亮物体的深度估计准确;因此，我们从所显示的深度图中去除了低强度像素的深度值。图5中所示的场景由一个叉子和一个盘子组成，展示了我们的成像系统的局限性。这两个对象都具有非朗伯表面并且包括镜面反射，这违反了我们的卷积假设。由于这个原因，重建的图像显示伪影。5.3. 掩模图案我们展示了不同的面具模式和学习面具之间的比较 。 我 们 在 图 6 中 呈 现 了 重 建 结 果 。 我 们 比 较 了SweepCam方法与移位MLS掩码[16]以及我们使用移位MLS掩码、MLS掩码、随机掩码和学习掩码的方法图6显示SweepCam无法准确地恢复深度的图6：使用SweepCam [16]和我们提出的使用移位MLS掩模、MLS掩模、随机掩模和学习掩模的方法对恢复的深度平面的深度平面的重建。我们观察到学习的面具优于所有其他面具。使用我们的方法从学习的掩模重建提供了所有掩模类型中的最佳质量;深水平面将网与鸭清晰分开。与学习的掩模相比，所有其他掩模图案在其重建中携带伪影（移位的MLS和MLS掩模在100mm处给出差的图像重建，并且随机掩模重建表现出雾度伪影）。补充材料中提供了其他实验。相机视图近平面中间平面远平面全聚焦像深度图相机视图近平面中间平面远平面扫一扫随机了解到移位MLSMLS2610××O×全聚焦图像深度图图7：深度追踪算法[4]、SweepCam [16]和我们提出的方法的比较。从我们提出的方法的结果中的细节比其他方法的结果更清晰，更锐利。局部对比度U-Net全聚焦图像深度图图8：由基于局部对比度的方法和训练的U-Net生成的全聚焦图像和深度图。局部对比法47.85秒，U-Net平均使用0.0043秒。5.4. 与现有方法的我们将我们提出的方法的性能与[4]中的贪婪深度追踪算法和[16]中的在我们的实验中，深度追踪算法使用单个MLS掩模，SweepCam方法使用8个移位的MLS掩模，并且我们提出的方法使用8个学习的掩模。我们在图7中呈现了来自三种方法的估计的全聚焦图像和深度图，这表明与其他方法相比，我们的方法提供了更好的全聚焦图像和深度图。5.5. 优化和后处理我们在图8中示出了用于将估计的图像平面转换为全聚焦图像和连续值深度图的两种后处理方法之间的比较。在第一种方法中，我们在每个估计平面上应用BM 3D去噪器[11];然后，我们执行局部对比度分析以选择具有最大局部对比度的每个像素的深度。在第二种方法中，我们使用经过训练的U- Net [25]，遵循第2节中概述的方法。三点四分。图8示出了U-Net结果具有较少的伪影，但是全聚焦图像看起来模糊。基于局部对比度的方法的结果有更多的伪影，但图像看起来很清晰。5.6. 计算复杂性和时间为了用K个掩模图案重建Mu Mv D体积，我们求解M=Mu Mv最小二乘问题，每个的大小为如（10）中的KD每个最小二乘问题的计算复杂度为（D3+KD2）[15]。由于所有的最小二乘问题都可以相互独立地求解，因此我们可以并行求解它们以加速算法。在实践中，使用贪婪深度追踪算法[4]用单个掩模重建八个深度平面的平均运行时间为138.16秒。 使用八个可编程掩模重建八个深度平面的平均运行时间对于SweepCam [16]为0.82秒，对于我们的方法为0.33秒。 在将图像平面转换为全聚焦图像和深度图的后处理步骤中，BM 3D之后的局部对比方法需要平均47.85秒，而训练的U-Net需要0.0043秒。6. 结论在本文中，我们提出了一个新的框架来恢复3D场景，使用一个可编程掩模的无透镜相机。我们提出的方法可以恢复多个深度平面的3D场景中使用的计算效率高的算法，解决了多个小的线性系统在频域中并行。为了进一步提高3D场景恢复的质量，我们优化了掩模模式，并训练了一个U-网络，将估计的图像平面转换为全聚焦图像和连续值深度图。我们的实验结果表明，该方法可以可靠地恢复密集的三维场景与少量的传感器测量和优于现有的方法。我们所提出的方法的重建质量，像其他无透镜成像系统，下降的场景与镜面反射和大的闭塞。补 充 材 料 可 通 过 以 下 链 接 获 得 ：https://github.com/CSIPlab/Programmable3Dcam.git致谢。 这项工作得到了NSF资助CCF-2046293、CCF-1652569和IIS- 1730147以及ONR 资助N 00014 -19-1-2264的部分支持。深度追击扫一扫我们2611引用[1] 杰西·K放大图片作者：Benjamin W. 丹尼尔·阿万特放大图片作者：Richard G. Jacob Baraniuk Robinson和AshokVeeraraghavan。超小型无透镜平面镜单帧三维荧光显微镜Science Advances，3（12），2017. 一、二[2] Nick Antipa 、 Grace Kuo 、 Reinhard Heckel 、 BenMildenhall、Emrah Bostan、Ren Ng和Laura Waller。漫射器摄像头：无透镜单次曝光3D成像。Optica，5（1）：1-9，Jan 2018. 一、二、三、四[3] Nick Antipa、Patrick Oare、Emrah Bostan、Ren Ng和Laura Waller。视频来自stills：无镜头成像与滚动快门。在IEEE计算摄影国际会议（ICCP），第1-8页美国加利福尼亚州，2019年5月。IEEE计算机协会。2[4] M.萨尔曼·阿西夫使用基于掩模的相机的无透镜3d成像 。 在 IEEE 声 学 、 语 音 和 信 号 处 理 国 际 会 议（ICASSP）中，第6498IEEE，2018年4月。一、二、四、五、八[5] M. 放 大 图 片 作 者 ： J.Sankaranarayanan ， AshokVeeraraghavan，and Richard Baraniuk.平面摄影机：使用 编 码 光 圈 和 计 算 器 的 薄 型 无 镜 头 摄 影 机 . IEEETransactions on Computational Imaging，3（3）：384-397，2017年9月。一、二[6] 放大图片作者：Jesse K.亚当斯，M。放大图片作者：Ben W.雅各布·阿万特作者：Richard G.作者：Bara-niuk ， Aswin C. Sankaranarayanan 和 Ashok Veeraragha-van 。 无 透 镜 成 像 ： 计 算 机 的 复 兴 。 IEEE SignalProcessing Magazine，33（5）：23-35，2016。1、4[7] 放 大图 片作 者： Jesse K. 作 者： Jacob T. Robinson和Ashok Veeraraghavan。Phlatcam：设计基于相位掩模的薄型无透镜相机。IEEE Transactions on Pattern Analysisand Machine Intelligence，42（7）：1618第1、3条[8] Axel Busboom、Harald Elders-Boll和Hans D.太好了。均匀冗余阵列。Experimental Astronomy，8（2）：97-123，Jun 1998. 1[9] Thomas M.作者声明：Edward E.费尼莫尔编码孔径成像：洞多，工作轻松。光学工程，19：283，1980年6月。1[10] Julie Chang和Gordon Wetzstein用于单目深度估计和3d物体检测的深度光学。在IEEE/CVF计算机视觉国际会议（ICCV），第10193-10202页三、五[11] Kostadin Dabov、Alessandro Foi、Vladimir Katkovnik和Karen Egiazarian。稀疏三维变换域协同滤波图像去噪IEEE Transactions on Image Processing ， 16 （ 8 ） ：2080-2095，2007. 五、八[12] Edward E. Fenimore和Thomas M.炮采用均匀冗余阵列的编码孔径成像。Applied Optics，17（3）：337-347，Feb 1978. 1[13] Nikolas P. Galatsanos，Aggelos K.罗兰？卡察格洛斯Chin和Allen D Hillery。多通道图像的最小二乘复原IEEE Transactions on Signal Processing ， 39 （ 10 ） ：2222-2236，1991. 4[14] 所罗门·W·哥伦布。 移位寄存器序列：安全和有限访问代码生成器，效率代码生成器-2612代理人，规定的属性生成器，数学模型。世界科学，2017年。6[15] 吉恩·H Golub和Charles F.范·洛恩矩阵计算约翰霍普金斯大学出版社，第三版，1996年。四、八[16] 作者：Yi Hua，Shigeki Nakamura，M. Salman Asif和Aswin C.桑卡拉纳拉亚南Sweepcam -使用可编程掩模的深度感知无透镜成像。IEEE Transactions on PatternAnalysis and Machine Intelligence ， 42 （ 7 ） ： 1606-1617，2020。一二三五六七八[17] 萨 尔 曼 Khan ， V.R. Adarsh ， Vivek Boominathan ，Jasper Tan，Ashok Veeraraghavan，and Kaushik Mitra.高度多路复用无透镜图像的真实感重建。在IEEE/CVF计算机视觉国际会议（ICCV），第7859-7868页，2019年10月。2[18] 迪德里克山口金玛和吉米·巴。 Adam：随机最佳化的方法。国际学习代表大会（ICLR），2015年。5[19] Christopher A.Metzler，Hayato Ikoma，Yifan Peng，and Gor- don Wetzstein.用于单次高动态范围成像的深层光学器件。在IEEE/CVF计算机视觉和模式识别会议（CVPR），2020年。3[20] KristinaMonakhova ， KyrollosYanny ， NeerjaAggarwal和Laura Waller。光谱漫射器摄像头：具有光谱滤波器阵列的无透镜快照超光谱成像。Optica，7（10）：1298-1307，2020。一、二[21] Kristina Monakhova、Joshua Yurtsever、Grace Kuo、Nick Antipa、Kyrollos Yanny和Laura Waller。用于实际的基于掩模的无透镜成像的学习重构。选购配件Express，27（20）：28075-28090，Sep 2019. 2[22] Pushmeet Kohli Nathan Silberman，Derek Hoiem和RobFergus。室内分割和支持从rgbd图像推断。2012年欧洲计算机视觉会议（ECCV）。5[23] Thuong Nguyen Canh和Hajime Nagahara。用于平板摄像机成像中视觉隐私保护的深度压缩传感在IEEE/CVF国际计算机视觉会议（ICCV）研讨会上，2019年10月。2[24] IlyaReshetouski、 HidekiOyaizu、KenichiroNakamura 、 Ryuta Satoh 、 Suguru Ushiki 、 RyuichiTadano、Atsushi Ito和Jun Murayama。长波红外稀疏掩模聚焦无透镜成像及其在人体探测中的应用。在欧洲计算机视觉会议，第237-253页1[25] Olaf Ronneberger ， Philipp Fischer ， and ThomasBrox.U-网：用于生物医学图像分割的卷积网络医学图像计算和计算机辅助干预国际会议（MICCAI），第234- 241页，2015年。五、八[26] Daniel Scharstein，Richard Szeliski，and Ramin Zabih.密集两帧立体声对应算法的分类和评价。在IEEEWorkshop on Stereo and Multi-Baseline Vision，第131-140页，2001年12月。5[27] Vincent Sitzmann ， Steven Diamond ， Yifan Peng ，Xiong Dun，Stephen Boyd，Wo