单次高动态范围成像的联合优化深度光学成像方法

11375用于单次高动态范围成像的Christopher A.Metzler Hayato Ikoma Peng YifanGordon Wetzstein斯坦福大学{cmetzler，hikoma，evanpeng，gordon.wetzstein}@ stanford.edu摘要高动态范围（HDR）成像对于许多应用至关重要。然而，单次拍摄获取HDR图像仍然是一个具有挑战性的问题 。 尽 管 现 代 深 度 学 习 方 法 在 从 单 个 低 动 态 范 围（LDR）图像中半透明化似然HDR内容方面是成功的，但是饱和场景细节通常不能被忠实地恢复。受最近的深度光学成像方法的启发，我们将这个问题解释为联合训练光学编码器和电子解码器，其中编码器由透镜的点扩散函数（PSF）参数化，瓶颈是具有有限动态范围的传感器，并且解码器是卷积神经网络（CNN）。 然后在训练阶段与CNN联合优化镜头表面;我们制造这种优化的光学元件，并在推理期间将其作为硬件附加到传统相机上。在广泛的模拟和物理原型中，我们证明了这种用于单次HDR成像的端到端深度光学成像方法优于纯粹基于CNN的方法和其他PSF工程方法。1. 介绍高动态范围（HDR）成像是具有大量应用的最广泛使用的计算摄影技术之一，例如在基于图像的照明[15]、HDR显示[59]和图像处理[55，5]中。然而，相机传感器的动态范围当产生的光电子的数量超过全阱容量时，这通常是在以高对比度成像场景时的情况，强度信息由于饱和而不可逆地丢失。不断缩小的像素尺寸，例如在移动设备中，加剧了这个问题，因为满阱容量与像素尺寸成比例。已经开发了几种不同的策略来克服可用传感器的有限动态范围。一类技术捕获多个低动态范围（LDR）传感器图像，其中固定[26]或图1：传统传感器捕获高动态范围（HDR）场景的能力有限细节在较亮的部分，如灯泡，是饱和 的 图 像 在 低 动 态 范 围 （ LDR ） 照 片 （ 左上）。我们的端到端（E2E）方法联合优化了衍射光学元件（右上）和神经网络，以实现单次HDR成像。该深度光学成像系统记录包含光学 编 码 的 HDR 信 息 的 单 个 传 感 器 图 像 （ 左下），其帮助网络恢复HDR图像（右下）。改变[40，16，46]曝光设置。不幸的是，当用这种方法捕获动态场景时，运动可能是有问题的。另一类技术使用多个光学对准的传感器[45，66]来同时捕获这些曝光，但是校准、成本和设备形状因子对于这种专用相机来说可能是具有挑战性的。单次拍摄方法是一种有吸引力的解决方案，但传统上需要在传感器上复用自定义曝光模式[49，24，61]。最近，提出了单次拍摄HDR成像方法，其从单个饱和LDR图像中产生HDR图像（HDR-CNN，例如[18]）。虽然在许多情况下是成功的，但饱和的场景细节通常不能通过幻觉忠实地恢复。LDR图像，0 EV光学设置E2 E测量，0 EV E2 E重建，0 EV-2.3EVLDRRecGT11376在这项工作中，而不是幻觉丢失的像素值，我们的目标是保留有关饱和像素值的信息，通过编码的最亮的像素值的信息到附近的像素，通 过 一 个 光 学 滤 波 器 与 优 化 的 点 扩 散 函 数（PSF）。与先前尝试使用光学滤波器对HDR像素信息进行编码不同[58]，我们转向机器学习来自动设计端到端的光学元件和重建算法，以便最大化从HDR场景传递到低动态范围（LDR）测量的信息。从本质上讲，我们构建了一个自动编码器，其中编码是光学执行和解码是计算执行。编码器和解码器都是以端到端的方式进行训练的，优化的光学元件在推理过程中被制造并保持固定。在优化编码器和解码器时，我们的系统必须同时解决三个具有挑战性的逆问题(1) 将PSF映射到可制造的光学滤波器隐含地是相位恢复问题。(2)使用光学编码的信息来填充饱和区域是一个修复问题。（3）从非饱和区域去除所述光学我们的工作是第一个探索和成功地解决这个独特的和具有挑战性的组合反问题。使用广泛的模拟，我们证明，深光学通常实现更好的结果比alternative单次拍摄HDR成像方法。这是直观的，因为与HDR-CNN方法相比，我们优化的PSF具有更多的自由度来编码传感器图像中的场景信息，并且与其他光学编码技术相一致，我们使用与重建算法联合优化的光学元件，而不是选择性地我们证明了所提出的相机系统的概念验证原型制造的衍射光学元件，可以简单地作为一个硬件附加到一个传统的相机镜头。具体来说，我们做出以下贡献• 我们介绍了一种用于单次HDR成像的光学编码器和基于CNN的解码器流水线。• 我们提出了一种新的“多分辨率”HDR成像方法;学习的光栅状衍射光学元件（DOE）产生移位以及用于重建场景的最亮区域的图像的缩放副本。• 我 们 分 析 了 所 提 出 的 系 统 和 demon-strate，它优于现有的单次拍摄HDR方法。• 我们制作了优化的衍射光学元件，并验证了所提出的系统实验。精神上2. 相关工作HDR成像旨在利用计算摄影技术克服传统图像传感器的有限动态范围许多方法依赖于捕获具有不同曝光的几个LDR图像并将它们融合成单个HDR图像[40，16，46，26，25]。尽管LDR图像之间的运动可能是一个问题，但是已经引入了许多建议来处理这个问题[36，20，22，30，32]，甚至允许从节奏变化的曝光记录HDR视频[34，60，33]。尽管这些多次激发方法中的许多方法在某些情况下是成功的，但是它们可能因快速运动而失败为了缓解这些限制，可以将多个传感器进行光学组合，以同时捕获这些暴露然而，这是昂贵且庞大的，并且系统校准可能是具有挑战性的。受这些缺点的启发，已经提出了几种单次激发HDR成像的方法。反向色调映射方法旨在解决不适定问题[6，47，56]。使用计算摄影方法，可以使最近，卷积神经网络（CNN）已被用于从单个LDR图像中产生逼真的HDR图像[18，19，37]。我们的工作还使用CNN从单个LDR图像中恢复HDR图像，但我们使用优化的PSF来编码传感器图像中尽可能多的HDR图像内容，而Rouf etal.[58]也使用光学滤波器来瞄准相同的目标，他们的选择是严格的，并且在恢复高质量HDR图像的能力方面受到限制我们用可优化的光学滤波器训练CNN端到端，实现了更高的图像质量。我们使用灰度光刻制造这种优化的镜头，并证明其能够用原型相机系统捕获在并行工作中，Alghamdi et al.[2]从空间编码的LDR测量中探索了基于CNN的图像重建方法，但他们没有使用端到端的方法来优化光学编码策略。他们的算法需要一个自定义的neu-tral密度过滤器阵列的传感器。同样在当前的工作中，Martel et al.[43]最近提出了一种用于可编程“神经元”系统的空间变化pixexpos的端到端学习策略，11377+XyHDR训练数据集PSF传感器模型U-NetCNN损失表面轮廓64 64646464646464646464646464646464 64 3图2：建议的端到端优化框架的图示。训练集的HDR图像与由透镜表面轮廓φ创建的PSF卷积。这些模拟的测量值由函数f（·）裁剪，以在最小值和最小值处进行多个采样。所述确定RGB图像y由卷积神经网络（CNN）实现，并且使用损失函数L将其输出与地面真实HDR图像进行比较。在学习阶段，这种损失被反向传播到CNN参数中，也被传播到镜头的高度值φ中。在推断期间，被光学PSF模糊的捕获的LDR图像被直接馈送到预先训练的CNN中以重建HDR图像。HDR成像。计算光学和图像处理的共同设计有着悠久的历史。在计算摄影中，该主题的研究集中在各种应用上，例如扩展景深成像[17，14，13]，运动或散焦去模糊，环[54，75，74]，深度估计[38，39]，多光谱，tral成像[69，11，31]，光场成像[51，68，44]，消色差成像[53]、千兆像素成像[12，7]和无透镜成像[3，4]。在计算显微镜中，类似的概念被称为点扩散函数（PSF）工程，并已用于优化单分子定位显微镜的能力[52，62]。在所有这些例子中，一些opti-被缩放，使得非饱和值映射到范围x i∈[0，1]。此外，η对与信号无关的读取噪声进行建模，h是由相机镜头创建的光学点扩散函数（PSF）， f表示2-D相机的光学特性，并且f（·）是相机的响应函数。该图像形成模型假定PSF是平移不变的，但是该模型可以被推广以描述稍后或随深度变化的PSF。我们假设相机具有线性相机响应函数，这是使用原始传感器数据时的典型情况0,ifxi 0,为PSF定义了质量标准，然后优化PSF，使其对于特定的算法选择工作良好。这可以解释为协同设计，而f（xi）=f≠xi，if0≤xi≤1，1，如果xi> 1。(2)我们的方法建立在端到端设计的新兴概念上，其中光学和图像处理以端到端的方式联合优化。深度光学和图像处理的端到端优化理念最近备受关注。这一概念已被证明为彩色成像和去马赛克[8]、扩展景深和超分辨率成像[64]、单目深度成像[27，23，71，10]、图像分类[9]、飞行成像[42，65]，计算显微镜[29，28，50，35]，并通过散射介质聚焦光据我们所知，这项工作是第一次探索单次HDR成像的深层光学。3. 端到端HDR成像相机将场景x映射到二维传感器图像y，y =f（hx+η），（1）其中x∈Rnx×ny是具有n×n个像素的离散图像，每个像素包含与入射到传感器上的辐照度辐照度可以校准和反转非线性相机响应函数我们忽略量子化的影响。我们在这项工作中的目标是联合优化PSFh和重新计算算法hmG：y→x，以便在x <∞ ≤ 1时从y恢复x。为此，我们转向可微光学系统和算法，我们在下面描述。3.1. 光学点扩散函数的建模如图1所示，我们的光学系统是一个传统的单镜 头 反 光 相 机 镜 头 与 定 制 的 衍 射 光 学 元 件（DOE）的附加。与照相滤镜类似，DOE直接安装在镜头上。为了对从场景通过这些光学元件到传感器的光传输进行建模，我们建立在可微分傅立叶光学模型[21]上，这是一种与最近的端到端相机设计工作密切相关的方法[64，9，71，10]。具体地，我们的目标是找到DOE的微观表面轮廓φ，其产生最适合于HDR图像重建算法的PSF h。假设场景在光学无限远，位于光学无限远上的点的复值波场可以是11378λ10210010-210- 410- 410-2100相对亮度102104(a) 星型PSF(b) E2E PSF(c) E2E PSF（无约束）图3：我们的训练数据集由HDR图像数据组成，其中在1和2%的光轴在DOE之前立即变为平面波，即，u in= exp（ikz），其中k =2 π是波数，λ是波长。该波的相位受DOE以空间变化的方式通过复值相位延迟tφ的影响，该复值相位延迟直接从表面轮廓φ计算为tφ （ u ， v ，λ）=Aφ （ u ， v ） ·exp（ ik （ n（λ）−1）φ（u，v））。（三）这里，u、v是DOE表面上的横向坐标，n（λ）是制成DOE的材料的波长相关折射率，并且Aφ（u，v）是具有直径Dφ的二元圆形掩模，其将DOE的孔径建模为图4：模拟的传感器图像，来自我们的评估集和点扩散函数（PSF）的几种不同的光学编码方法：（a）Rouf等人。’(c)我们的端到端优化PSF，无限制。PSF的所有三个颜色通道在对数域中单独显示。尽管星形PSF沿着几个径向条纹连续地模糊图像（a），但是深光学方法产生具有几个不同峰值的PSF，这导致图像内容以不同的色度距离和不同的强度尺度被复制不受约束的PSF模糊绿色通道，同时聚焦红色和蓝色通道。包括一个附加卷积层;每个卷积层之后是整流线性单元Aφ（u，v）=2001年，如果u2+v2≤0，否则。.Σ2Dφ2（四）（ReLU）。BatchNorm层在每个上采样层和最终卷积层之后 该算法由Eil letsen的w or k [ 18]提供，但稍微精简，这导致了波场继续传播一段距离dφ到焦距为g的相机镜头。该透镜引起以下相位延迟：这是你的脸。如图2中所示，每个网络层具有64个特征图。.tl（u′，v′）=Al（u′，v′）·exp−i2gΣ. u′2+v ′2.（ 五）3.3. 端到端培训详细信息我们通过图2所示的端到端（E2E）框架虽然物理复合镜头包含许多校正光学像差的光学元件，简化的薄透镜模型（Eq.5）充分描述了透镜的数学行为。最后，波场传播距离为ds到s或s，其中s为h=|我们是我们的朋 友|2、记录。把所有这些放在一起，特别地，使用数千个HDR训练图像，我们模拟（1）使HDR图像通过我们的光学系统，（2）用传感器捕获噪声和饱和的LDR图像，以及（3）用CNN重建HDR图像。我们将计算有关日志的相应值，并使用Ten或Flow的自动区分能力来反向传播错误并更新.h φ（x，y）=. Pds.Σ。t l·Pdφ {t φ·exp（ikz）}。、（6）CNN的参数θ和DOE高度φ。Kalantari和Ramamoor之后的损失函数其中，Pd{u}模拟波的自由空间传播距离为d的区域u。3.2. 基于CNN的图像重建为了从y中恢复x，我们使用基于著名的U-Net架构的卷积神经网络[57]。具体来说，我们的U-Net使用跳过连接，并具有5个尺度，其中具有4个连续的下采样操作（maxpool）和4个连续的上采样操作（用双线性滤波器权重初始化的转置卷积）。在U-Net的每个尺度上，我们在[32]中，我们最初实验最小化色调映射重建和地面实况HDR图像之间的均方误差（MSE）。虽然成功地训练了CNN，但这种异常敏感的损失函数导致网络将精力集中在训练数据中曝光最过度和最具挑战性的使用这种方法，一个典型的狄拉克δ型被发现作为一个局部最优解的PSF。为了鼓励开发更强大的PSF，我们反而最小化了所有百分比的像素、2K11379¨¨2批次，每批次，γ-校正，Δ2-损失：L数据Σ=B批次¨（xB）+<$）γ−（x<$B¨+）γ，（7）2其中，xB表示由在chB处 的所有图像组成的向量，xBdet也就是说，我们有效地最小化了批次的均方根误差（RMSE），而不是典型的MSE损失。在回归的上下文中，群上的2在我们的上下文中，2-范数的和使网络对离群值更鲁棒，即。它允许网络对于最具挑战性的重建失败，只要误差的范数对于大多数批次来说是小的。简化制造约束为了确保优化的高度图可以制造，我们在训练期间将其值裁剪到最大范围，并在φ上添加额外的平滑度项，以防止生成的表面轮廓包含许多不连续性。具体来说，我们把损失LReg=vDφ2，（8）表1：测试集的定量评价。使用由HDR-VDP- 2计算的感知差异以及在线性域（L）和γ校正域中计算的峰值信噪比（PSNR）来比较几种单次激发HDR成像方法4. 分析与评价在本节中，我们将在模拟中评估所提出的方法，并将其与其他各种单次HDR成像方法进行比较。图4示出了在重建之前对传感器图像进行光学编码的若干选项用上一节中提出的方法优化的PSF如（b）和图6所示。该PSF包含几个峰值，每个峰值创建叠加在其自身上的传感器图像的移位和缩放副本。通过这种方式，PSF用于将不同的前其中D是拉普拉斯滤波器，ν= 109是加权参数。Eilertsen et al.[18]，我们使用的训练和验证数据集由2837个HDR图像组成，这些图像来自多个来源的视频和图像组合。我们通过裁剪、缩放和调整色调和饱和度来进行数据最终的训练集包含60，000张分辨率为320× 320像素的不同HDR图像我们的测试集由223个HDR图像组成，其中83个是静止图像，其余帧从四个单独的视频序列的每第10帧中提取（未用于训练）。为了生成LDR/HDR图像对，我们模拟捕获LDR帧，其中我们设置曝光，使得1和2%之间的像素饱和。我们训练数据中像素值的直方图如图3所示。其他训练细节我们使用Adam优化器训练了端到端模型，小批量大小为8。我们应用了指数学习率衰减，初始速率为0。0001.我们在Pascal Titan X图形处理单元上训练了100个epoch，大约花了3天时间。源代码，训练模型 和 我 们 捕 获 的 数 据 可 在 https://github.com/computational-imaging/DeepOpticsHDR上获得。图像的位置。各个颜色通道的副本出现在略微不同的位置，这导致传感器图像中的可见色差我们还使用所提出的优化方法来优化PSF，但没有通过物理上可实现的光学元件对其进行因此，该PSF的颜色通道彼此完全独立，并且各个像素值可以是任意的，只要在范围[0， 1]内并且每个通道的总和为1。我们还展示了Rouf [58]提出的星形PSF。我们在图5中比较了几种重建方法。这些包括常规的LDR图像，Eiletsenetal。 的C NN应用于该LDR图像（HDR-CNN），所提出的应用于该LDR图像的较小的U-Net，应用于用星形PSF捕获的图像的U-Net，以及我们的具有物理可实现的约束的端到端深度光学方法。我们使用了U型网络而不是[58]中的算法，因为CNN在反卷积方面大大优于传统算法[72]。为了公平比较，每个示例中的U网都是针对各自的PSF训练的。我们在插图中显示了感兴趣的区域以及由HDR-VDP-2预测的可见差异[41]。在所有情况下，所提出的深层光学方法都能达到最佳效果。LDR51.439.838.9HDR-VDP PSNR-L PSNR-γHDR-CNN [18]58.642.142.9U-Net56.441.842.3[58]第58话56.742.142.3E2E PSF+U-Net60.645.644.3E2E PSF+U-Net（不受约束）67.146.840.711380参考HDR LDRHDR-CNNU-NetStar-PSF + U-net E2E PSF + U-netPSNR 46.2，Q43.5PSNR 47.9，Q49.1PSNR 47.7，Q43.7PSNR 48.0，Q44.8PSNR50.7，Q53.7PSNR 51.5，Q 51.7 PSNR 53.4，Q 57.5 PSNR 55.0，Q 61.1 PSNR 55.2，Q 62.3 PSNR57.7，Q65.7图5：单次拍摄HDR成像方法的比较在所有示例中，图像显示在-1\f25 stop-1（停止）处，感兴趣区域显示在-3\f25 stop-3（停止）处。在列中，我们显示了地面真实HDR图像，相应的LDR图像，应用于LDR图像的基于CNN的重建（HDR-CNN）[18]，应用于LDR图像的稍微简单的U-Net，具有U-Net重建的星形PSF [58]以及我们的端到端方法（E2 E）。颜色编码的插图示出了感知重建和地面实况HDR图像之间的差异的概率，如由HDR-VDP-2可见差异预测器计算的。在所有情况下，E2 E方法定性和定量（用峰值信噪比（PSNR）和HDR-VDP Q值评估）优于其他方法。最后，我们在表1中显示了所有这些方法的定量比较。在这里，我们报告了由HDR-VDP-2计算的平均感知差异以及线性和γ校正域中的整个测试集上的峰值信噪比（PSNR）。我们观察到，端到端（E2E）方法实现了最佳图像质量。无约束的E2E方法通常比物理上可实现的版本更好，因为它具有更多的自由度。然而，无约束PSF的PSNR-γ略低于可实现方法的PSNR-γ.这可能是由于网络是使用异常鲁棒损失训练的，它过度拟合。回想一下，优化PSNR直接导致PSF的次优收敛（参见第2节）。3.3）。5. 制作和实施透镜的制作一旦相位轮廓被优化，我们就使用聚二甲基硅氧烷（PDMS）通过复制成型来制作相应的衍射光学元件（DOE）。 Figure 6 showsthe optimized height profile (left) along with a 3Drendering of pro- filometer measurements of thefabricated DOE (cen- ter), which has a diameter of 5mm. Qualitatively, the shapes are similar.我们还显示了模拟的（右上）和捕获的PSF（右下）。这些PSF很好地匹配，并且都在对于三个颜色通道，中心和较低幅度的卫星峰值在稍微不同的位置。该PSF由类似于光栅状结构的透镜表面轮廓创建捕获的PSF比模拟略模糊，并且存在额外的眩光，这两者都可能是由于轻微的制造误差和镜头元件之间的相互反射。系统集成我们安装制造的DOE作为一个附加到传统的单镜头反光相机时代（佳能反叛T5）配备了一个标准的复合镜头（尼康尼克尔35毫米）。DOE固定在Thorlabs镜头管中，带有旋转光学调节（SM1M05），通过光学机械适配器（Thorlabs SM1A2）与SLR镜头耦合图1（右）显示了DOE和SLR镜头。在此设置中，DOE物理地安装在与复合相机镜头的微小距离这些光学元件之间的确切距离是未知的，因为我们将主相机镜头建模为具有单个折射表面。虽然这是最简单的方法，但可能需要复合透镜的更详细的光学模型，尽管为了对其进行适当建模，必须知道来自透镜制造商的专有信息此外，DOE上缺乏抗反射涂层可能会增加相互反射和眩光，并可能导致11381优化的高度轮廓模拟PSF捕获PSF来修补这些区域修复导致超过LDR传感器图像的动态范围但不类似于这些示例中的实际内容的平滑区域。7. 讨论总之，我们提出了一种端到端的方法来联合训练光学编码器，即。点扩散图6：衍射光学元件（DOE，左）的优化高度轮廓以及制造DOE的轮廓DOE结构部分类似于光栅，其在点扩散函数（PSF，右）中产生直观地说，这个PSF创建了输入图像的虽然测量的PSF比模拟的PSF稍微模糊，可能是由于制造过程中的缺陷和我们的图像形成模型的近似值，但它们的一般形状是可比的。模拟和捕获的PSF。为了校准我们的相机系统，我们在一个75微米大小的针孔后面拍摄了几次不同曝光的白光源。这些照片被合并成一张HDR图像[16]。我们的光学系统的这个捕获点扩散函数用于通过优化其参数来优化预训练的CNN，以获得固定的捕获PSF，如第3.3节所述。使用固定的PSF优化CNN比从头开始训练端到端系统要快得多，只需要几个小时。6. 实验结果使用在前面章节中描述的原型相机，我们捕获了几个HDR示例场景（见图11）。（七）.其中包括在实验室环境中记录的两个场景（顶行和中间行）和在夜间捕获的一个户外场景（底行）。在图7中，示出了捕获的测量值以及由我们的CNN计算的参考值以及参考LDR和HDR图像以及HDR-CNN [18]的结果地面实况HDR场景通过合并具有不同曝光的多个图像来计算[16]。在所有这些示例中，所捕获的LDR图像包括饱和区域，该饱和区域包含在测量中丢失的细节，诸如灯泡的灯丝（顶行）或发光体的结构。墙上的光源（底行）。我们以不同的曝光值（EV）显示这些图像以及放大的特写（右栏），以最好地应该注意的是，这些都是我们预计HDR-CNN方法失败的例子，因为网络根本没有关于饱和部分细节的信息-它能做的最好的是由自定义光学元件创建的功能，以及电子解码器，即卷积神经网络，用于单次高动态范围成像。与直接在传统LDR图像上操作的基于CNN的方法相反，我们的深度光学方法能够将来自场景明亮部分的细节光学编码到LDR测量中。特别地，我们的方法对HDR成像使用独特的多路复用解决方案，其自动解扩，其中PSF将多个移位曝光叠加在彼此之上。所提出的框架建立在光学和图像处理的端到端优化的新兴思想的基础上，但据我们所知，它是第一个探索这种用于单次拍摄HDR成像的通用方法的框架。从概念上讲，直接对传统LDR图像进行操作的HDR-CNN方法解决了修复问题。因此，与我们的深度光学方法不同，HDR-CNN的最坏情况解决方案是传统的LDR图像，其被直接记录并且可能不总是需要额外的后处理来开始。我们的方法改变了光学成像，因此后处理成为成像管道的必要部分。我们的实验结果中存在轻微的重建伪影（图由于需要处理整个LDR图像，而不仅仅是其饱和部分，因此可以在图像的非饱和和饱和部分中找到主要由于PSF校准中的缺陷而引起的非饱和和饱和部分。本质上，我们的方法中的逆问题与去卷积问题比与修复问题更密切相关，尽管对于即使传感器图像的较低强度副本也饱和的因此，训练集的精心策划是至关重要的，因为它需要包括HDR图像，这些图像的值充分表示在推理期间观察到的那些图像。一个网络很可能无法在没有经过训练的条件下产生高质量的结果。与多次拍摄方法不同，我们的单次拍摄HDR成像技术不会遭受重影伪影。然而，在暗成像条件下，可能导致运动模糊的长时间曝光可能是不安全的。加工表面的轮廓仪测量9.75微米06.224.673.116.474.851.563.231.62 mm11382LDR0 EVHDR-CNN-2 EVE2E测量0 EVE2E重建-2 EV基准HDR-2 EV-2.3 EV0 EV-2.3 EV 0 EV-2.3 EV-2.3 EV-3.3 EV0 EV-1.6 EV 0 EV-1.6 EV-1.6 EV-4.9 EV图7：两个室内场景（顶行）和一个室外场景（底行）的实验结果。与参考HDR图像（第五列）相比，传感器的有限动态范围丢失了捕获的LDR图像（第一列）的较亮部分中的细节直接在LDR图像上操作的CNN在这些饱和部分中产生了更明亮的内容，但它缺少细节（第二列）。用我们的原型相机捕获的测量结果通过将图像的几个缩放和移位副本叠加在自身上（第三列）来对图像中的这个细节进行光学编码。我们的CNN使用这些信息来恢复场景中丢失的部分，同时以数字方式删除图像副本（第四列）。显示E2 E测量、HDR-CNN、E2 E重建和地面真实HDR的特写展示了深度光学在恢复HDR场景的明亮细节方面比其他单次拍摄HDR成像方法更成功（右列）。必要所制造的衍射光学元件产生与模拟PSF非常相似的PSF。然而，可能由于光学元件之间的相互反射而引起的模糊和眩光是有问题的。光学模糊使去卷积问题变得更加困难，眩光导致PSF发生移位变化（参见补充），这限制了我们捕获数据的有效视场（景深不受影响）。因此，尽管将DOE安装在SLR相机镜头前面的附加方法是方便和灵活的，但将DOE集成到主镜头的孔径平面中可能会产生更好的结果，因为它更接近于我们的近轴成像模型。另外，图像形成模型可以推广到非傍轴模型。最后，抗反射涂层可以帮助减轻光学器件中的眩光。未来的工作端到端的方法使设计光学为特定的任务量身定制，而不仅仅是捕捉最清晰的图像。评估效益用于其它应用（包括多光谱、光场和无透镜成像或计算显微镜）的光学器件和图像处理的端到端优化是未来工作的有趣途径。致谢C.M.由ORISE情报社区博士后奖学金支持。G.W. 得 到 了 NSFCAREERAward （ IIS1553333）、Sloan Fellowship、KAUST Office ofSponsored Research（通过视觉计算中心CCF拨款）和ARL的PECASE的支持。该工作的一部分在斯坦福纳米共享设施（SNSF）/斯坦福纳米实验室设施（SNF）进行，由国家科学基金会在奖励ECCS-1542152下支持。引用[1] Manoj Aggarwal和Narendra Ahuja。高动态范围的分裂孔径成像International Journal11383计算机视觉，58（1）：7[2] M. Alghamdi，Q. Fu，中国茶条A. Thabet和W.海德里希使用编码掩码和初始网络的可重配置快照HDR成像。在视觉，建模和可视化国际研讨会，2019年。[3] N. Antipa，S.内库拉河Ng和L.沃勒单次激发扩散器用户编码光场成像。在Proc. IEEE ICCP，第1-11页[4] M. S. Asif，A. Ayremlou，A. Sankaranarayanan，A.Veeraraghavan和R. G.巴拉纽克平面摄影机：使用编码光圈和计算的薄型无镜头摄影机。 IEEE Trans. 计算成像，3（3）：384 - 397，2017。[5] F. Banterle、A. Artusi、K. Debattista和A.查默斯高级高 动 态 范 围 成 像 ： 理 论 与 实 践 。 AK Peters （ CRCPress），2011.[6] FrancescoBanterle，PatrickLedda，KurtDebattista，and Alan Chalmers.逆色调映射。在澳大利亚和东南亚的第四届计算机图形和交互技术国际会议论文集，第349-356页，2006年[7] D. J. Brady，M. E.格姆河A. Stack，D. L. 马克D. S. Kittle，D. R. Golish，E. M. Vera和S. D.费勒多尺度千兆像素摄影。Nature，486：386[8] 艾扬·查克拉巴蒂通过反向传播学习传感器复用设计。神经信息处理系统进展，第3081-3089页，2016年[9] 张朱莉，文森特·西茨曼，熊盾，沃尔夫-冈·海德里希，戈登·韦茨斯坦。用于图像分类的具有优化的衍射光学的混合光电卷积神经网 络。科学报告，8 （1）：12324，2018。[10]Julie Chang和Gordon Wetzstein用于单目深度估计和3d物体检测的深度光学。InProc. ICCV，2019.[11]作者：Daniel S. Jeon、Giljoo Nam、Diego Gutierrez和Min H. Kim.使用光谱先验的高质量超光谱重建。ACM事务处理图表（SIGGRAPH Asia），36（6）：218：1 -218 ：13 ，2017 .[12]O.科塞尔特D. Miau和S.K.纳亚尔千兆像素的计算成像。InProc. ICCP，2011.[13]奥利弗·科赛特和什里·纳亚尔光谱焦点扫描：从色差扩展景深。在Proc. ICCP，第1-8页[14]Oliver Cossairt，Changyin Zhou，and Shree Nayar.为扩大景深而进行的扩散编码摄影。ACM事务处理图表（SIGGRAPH），29（4）：31：1-31：10，2010年。[15]德贝维克基于图像的照明。IEEE Computer Graphicsand Applications，22（2）：26[16]Paul E.德贝维克和吉坦德拉·马利克从照片中恢复高动态范围辐射图。在Proc. SIGGRAPH，第369-378页[17]Edward R. Dowski和W.托马斯·凯西。通过波前编码扩展景深。OSA应用选项，34（11）：1859[18]加布里埃尔·艾勒特森，乔尔·克罗南德，捷尔吉·丹尼斯，拉法尔- K·曼蒂乌克和乔纳斯·昂格尔。利用深cnn从 单 次 曝 光 重 构 Hdr 图 像 ACM Transactions onGraphics（TOG），36（6）：178，2017。[19]Yuki Endo、Yoshihiro Kanamori和Jun Mitani。深反向色调映射。ACM事务处理图表，36（6）：177：1[20] Orazio Gallo，Natasha Gelfandz，Wei-Chao Chen，Marius Tico，and Kari Pulli.无伪影高动态范围成像。InProc. ICCP，pages 1[21]约 瑟 夫 · 古 德 曼 。 傅 立 叶 光 学 简 介 。 Roberts andCompany Publishers，2005.[22] Miguel Granados，Kwang In Kim，James Tompkin，and Christian Theobalt.无重影hdr重建的自动噪声建模ACM Trans. Graph. ，32（6）：201：1[23] H. Haim，S.埃尔马伦河Giryes，A. M. Bronstein和E.马罗姆使用深度学习的相位编码掩模从单个图像进行深度估 计。IEEE Trans. Computational Imaging ，4（3）：298[24] Saghi Hajisharif，Joel Kronander，and Jonas Unger.自 适 应 dualiso hdr 重 建 。 EURASIP Jour- nal onImage and Video Processing，2015，2015.[25] S. W. Hasino，F. Durand和W. T.弗里曼。噪声-高动态范围摄影的最佳捕捉。在Proc. CVPR，第553-560页[26] 塞缪尔·哈西诺、狄龙·夏莱特、瑞安·盖斯、安德鲁·亚当斯、乔纳森·T·巴伦、弗洛里安·凯恩茨、陈智文和马克·莱沃伊。用于移动相机的高动态范围和低光照成像的 连 拍 摄 影 。 ACM Transactions on Graphics（TOG），35（6）：192，2016.[27]Lei He，Guanghui Wang，and Zhanyi Hu.使用深度神经 网 络 嵌 入 焦 距 从 单 幅 图 像 学 习 深 度 。 IEEETransactions on Image Processing，27（9）：4676[28] 放 大 图 片 作 者 ： Elan Hershko. Weiss ， TomerMichaeli，and Yoav Shechtman.多色定位显微镜和深度学习的点扩散函数工程。OSA Opt. Express，27（5）：6158[29] Roarke Horstmeyer ， Richard Y Chen ， BarbaraKappes，and Benjamin Judkewitz.卷积神经网络教会显微镜如何成像。arXiv预印本arXiv：1709.07223，2017。[30] J. Hu，O. Gallo，K. Pulli和X.太阳HDR去重影：如何应对饱和？ 在proc CVPR，2013年。[31]Daniel S Jeon，Seung-Hwan Baek，Shinyoung Yi，Qiang Fu，Xiong Dun，Wolfgang Heidrich，and MinH Kim.具有定向旋转的紧凑快照高光谱成像。ACMTransactions on Graphics （ TOG ） ， 38 （ 4 ） ：117，2019。[32] Nima Khademi Kalantari和Ravi Ramamoorthi。动态场景的 深度高动 态范围成 像。ACM事务处 理图表（SIGGRAPH），36（4），2017年。[33] Nima Khademi Kalantari，Eli Shechtman，ConnellyBarnes ， Soheil Darabi ， Dan B Goldman ， andPradeep Sen.基于补丁的高动态范围视频ACM事务处理图表（SIGGRAPH Asia），32（6），2013.11384[34] Sing Bing Kang ， Matthew Uyttendaele ， SimonWinder，and Richard Szeliski.高动态范围视频。ACM事 务 处 理 图 表 （ SIGGRAPH ） ， 22 （ 3 ） ： 319 -325，2003年。[35] Michael Kellman ， Emrah Bostan ，Michael Chen，and Laura Waller.傅立叶重叠成像显微术的数据驱动设计。在2019年IEEE国际计算摄影会议（ICCP）上，第1-8页IEEE，2019。[36] E. A.汗，A. O. Akyuz和E.莱因哈德高动态范围图像中的重影消除。载于Proc. ICIP，第2005-2008、2006页[37]李世英，安权焕，康锡柱。深度递归hdri：使用生成对抗网络的逆色调映射。在Proc. ECCV，第596-611页，2018年。[38] Anat 我在里面，Rob 各位，佛雷杜 你好，和William