神经形态摄像机引导的高动态范围成像

1730神经形态摄像机引导的高动态范围成像金汉1楚周1段培琦2汤业辉1常旭3徐朝1黄铁军2施伯欣2张1机器感知教育部重点实验室（MoE）视频技术国家工程实验室，北京大学机器智能研究所;北京大学计算机科学学院3悉尼摘要从传统的帧基相机拍摄的低动态范围图像中重建高动态范围图像相比之下，最近的neu-romorphic相机能够以强度图的形式记录高动态范围场景，具有低得多的空间分辨率，并且没有颜色。本文提出了一种神经形态摄像机引导的高动态范围成像流水线，并根据流水线中的每一步设计了一个由专门模块组成的网络，它弥补了分辨率、动态范围LDR图像强度图传统相机强度图引导的HDR网络神经形态照相机HDR图像范围和两种类型的传感器和图像之间的颜色表示。一个混合相机系统已经建立，以验证所提出的方法是能够定量和定性地重建高质量的高动态范围的图像，成功地融合图像和强度地图的各种现实世界的情况。1. 介绍高动态范围（HDR）成像是一种广泛使用的技术，其扩展了图像所覆盖的亮度范围。如Sen和Aguerrebere[48]所总结的，近几十年来，计算机视觉和图形界开发了一批HDR成像技术。传统方法包括在不同曝光下拍摄多个低动态范围（LDR）图像，然后将它们与不同权重合并以再现HDR图像[6]。另一种方法是从单个LDR图像中产生纹理细节，这被称为逆色调映射[3]。逆色调映射显然是一个不适定问题，它依赖于从相邻区域[54]或通过深度神经网络学习的先验知识[7]预测暴露严重的区域。近年来，一些专门设计的神经形态摄像机，如DAVIS [4]，吸引了越来越多的人。通讯作者：shiboxin@pku.edu.cn.图1.提出了一种强度图引导的HDR网络，用于融合来自传统相机的LDR图像和由神经形态相机捕获的引起研究人员的注意。神经形态摄像机具有不同于传统帧式摄像机的独特功能，它们特别擅长感知非常快速的运动和高动态范围场景（DAVIS 240为1µs和130后一个特性可以用于形成强度图，其对由于过度曝光和/或曝光不足而在动态范围封顶的相机的常规成像中丢失的有用信息进行编码。尽管有着独特的由于神经形态相机在动态范围方面的优势，神经形态相 机 通 常 具 有 较 低 的 空 间 分 辨 率 （ DAVIS 240 为180×240），并且不记录颜色信息，导致强度图不如现代相机拍摄的LDR照片美观因此，研究福-LDR图像和强度图的融合，结合了高质量HDR成像的共同在本文中，我们提出了一种神经形态相机引导的HDR成像方法。由于两种传感器的灰度图和LDR图像在空间分辨率、动态范围、颜色表现等方面存在较大的差异，直接拼接会导致HDR重建效果较差。为了解决这些问题，我们提出了强度图引导的HDR网络，为每种类型的间隙设计了特定的模块。如示于图1号1731所提出的网络成功地将两种类型的图像作为输入，并重建高质量的HDR图像。本文的主要贡献可以概括如下：1) 我们提出了一种信息融合管道，通过联合拍摄单个LDR图像和强度图来重建HDR图像。该管道展示了弥合两种类型传感器和图像之间分辨率、动态范围和颜色表示差距第3.1节）。2) 根据拟议的管道，强度图构造了引导式HDR网络，实现了真实感重建。我们在网络中设计了特定的模块，以更有效和更强大 的方 式解 决 每种 类型 的 差距 （第 二 节） 。3.2）。3) 我们建立了一个混合摄像系统来证明，所提出的方法适用于真实的摄像机和场景（第二节）。4.2）。对合成数据和我们的混合摄像机捕获的真实数据进行的广泛实验验证了所提出的网络与最先进的逆色调映射方法相比能够重建视觉上令人印象深刻的HDR图像2. 相关工作基于图像的HDR重建。经典的HDR成像方法由Debevec和Malik [6]提出，通过合并不同曝光下的几张照片。然而，对准不同的LDR图像可能由于由相机移动或场景中的变化引起的未对准而导致重建的HDR结果中的重影。这个问题引发了大量关于HDR图像中去重影的研究[26，38，49，56]。Banterle等人提出了逆色调映射方法来代替多幅图像的合并。[3]其目的是从单个LDR图像重建视觉上令人信服的HDR图像试图通过几种优化方法解决这个不适定问题[30，34，43]。近年来，卷积神经网络（CNN）已被应用于许多HDR图像重建任务。Kalantari和Ramamoorthi [25]首先使用光流在不同曝光下对齐图像，然后将它们馈送到神经网络，该神经网络合并LDR图像以重建HDR图像。Eilertsen等人[7]使用U-Net [44]类网络预测LDR图像中的饱和区域，并应用掩码保留LDR图像中的非饱和像素，然后将掩码图像与预测图像融合Endo等人[8]一开始把曝光不好的像素剪掉它预测多次曝光下的LDR图像，然后使用经典方法合并这些LDR图像[6]。ExpandNet [33]采用了三个分支的编码器，集中于不同级别的特征，然后将特征连接并融合以获得HDR图像.特立尼达等[52]提出PixelFusionNet融合不同曝光下的多视角错位图像，以扩展动态范围。计算HDR成像。HDR 成像 通过使用计算方法或甚至非传统的照相机（其隐含地或明确地编码场景的扩展动态范围），问题将变得不那么不适定。Nayar等人[36]在传统的照相机传感器上增加了一个光学掩模，以获得空间变化的像素曝光。Tocci等人[51]实现了HDR视频系统，该系统使用分束器同时捕获具有不同曝光水平的三个Hirakawa和Simon [18]在传统相机传感器上的镜头和彩色滤光片阵列上放置了摄影滤光片的组合，以实现单次拍摄HDR成像。Zhao等人[58]使用能够周期性地包裹动态范围场景的高辐射度并保存模信息的模相机，然后使用马尔可夫随机场逐像素地解包裹和预测HDR场景辐射度。受人类视网膜机制的启发，诸如DAVIS [4]（动态和有源像素视觉传感器）、ATIS [40]（异步基于时间的图像传感器）、FSM [59]（视网膜启发的小凹样采样模型）和CeleX [20]的神经形态传感器异步地这一系列非传统传感器在多个方面超越了传统的基于帧的相机[10]，包括高动态范围。从原始事件/尖峰数据进行重构已经显示出在恢复场景的非常高的动态范围方面的巨大潜力[21，41，42，46，59]。但是很少有人尝试将它们与传统成像结合起来，以产生具有更高分辨率和逼真色彩外观的视觉上更令人愉悦的HDR照片。3. 该方法3.1. LDR图像和强度图融合流水线如示于图1，我们的目标是在给定LDR图像I和强度图X的输入的情况下重建HDR图像。这样的融合流水线可以使用图1在概念上示出2，其中包括四个关键步骤：色彩空间转换。大多数传统的相机记录RGB格式的彩色图像，每个通道包含由8位整数表示的像素值。在场景辐射和相机流水线中的像素值之间存在非线性映射，因此我们必须首先通过逆相机响应函数（CRF）f−1将LDR图像映射到线性域。 为了与单通道强度图融合，然后将LDR图像的颜色空间从RGB转换为YUV。Y通道IY指示I的LU，其在X和U，V的相同域1732颜色空间转换BGVRUY企业简介VULDR图像YY色度补偿HDR结果强度图KKR空间上采样亮度融合加权平均���- ���图2.强度图引导的HDR成像的概念流程包括四个步骤：LDR图像的颜色空间转换，强度图的空间上采样，亮度融合以产生亮度域中的HDR图像，以及重新填充颜色信息以获得彩色HDR结果的色度补偿。通道包含颜色信息。我们使用IY与强度图融合，并保留U，V通道作为稍后添加的色度信息。空间上采样。为了弥合X和IY之间的分辨率差距，我们需要进行上采样操作权重值1.0���−���1.0级像素值1.00.50.0使其大小与IY相同。上采样操作S（·）定义如下：XHR=S（X），（1）LDR图像处理加权函数权重图其中XHR是上采样强度图。S（·）可以是任何上采样算子，诸如最近邻或双三次插值，或者用于超采样的预训练神经网络。分辨率上采样采样融合结果亮度融合。为了使用XHR扩展IY的动态范围，直观的解决方案是定义加权函数，该加权函数指示应该保留用于融合的像素和应该丢弃的像素。这可以通过采用Debevec和Malik [6]提出的类似合并策略来HY的融合值计算如下：图3.使用线性斜坡作为加权函数融合强度图和LDR图像的示例。这种直接融合策略导致各种令人不快的伪影（红色框中的颜色失真和绿色框中的模糊伪影）。这与[7]中的逐像素混合类似。这样的加权函数可以表示为HY=W（IY，XHR）=wIIY+wXXHR 、（二）w=0。05- 05 - 05（|Ii−0. 5|，τ− 0. （五）。（三）i1 −τwI+wX其中，wI和wX∈[0，1]指示不同类型的输入信号的对应权重。 确定权值的直接方式是设置阈值τ（例如，τ >0。（5）手动。像素值（归一化为[0，1]）位于有效范围[1−τ，τ]内的，赋予较大的权重以保留信息，而超出范围的值太暗（曝光不足）或太亮（曝光过度），因此给出较小的权重以丢弃这样的信息。可以基于阈值计算二进制掩码，这是获得权重图的最简单方法。另一种选择是将权重设置为线性渐变，加权函数和计算的权重图在图1的第一行中示出。3.第三章。色度补偿。HY现在包含高分辨率的HDR信息，但仅在亮度域中。可以从I，i的U，V通道补偿颜色信息。例如， IU和IV。将C（·）表示为颜色补偿运算符，此过程可以表示为作为H=C（HY，IU，IV），⑷它将HY与IU、IV组合，并将其转换回RGB颜色空间。17331995年简体中文企业简介F×5输入FYUV到RGB上采样亮度融合网络输入7×7转换3×3Conv2×2转换1×1转换色度补偿网络7×7DeConv4×4DeConv3×3DeConvSkip连接输出ConcatFusion注意掩码ResNet块图4.强度图引导的HDR网络架构概述。它包含&用于在亮度域中进行HDR重建的上采样亮度融合网络，该网络是具有I Y和X输入的双编码器网络，随后是以HRGB作为输入以细化颜色信息的色度补偿网络。由于HY和IU（IV）之间的动态范围间隙，直接组合它们会导致不自然的颜色出现，例如图1的颜色补偿块中所示的H RGB。2.可以使用一些颜色校正方法重新覆盖真实的颜色外观，例如颜色直方图自适应均衡[5]或色调曲线调整[31]。图中的合成实例3演示了简单地应用图中的概念管道2可能无法实现令人满意的HDR图像。从绿色框中，我们可以很容易地观察到由I和X之间的未对准引起的模糊伪影（我们在合成数据中添加I和X之间的位移以模拟真实设置），以及由于动态范围间隙而导致的红色框中的不切实际的颜色恢复为了解决这些问题，我们将图中的管道2作为端到端网络F（·）：利用双编码器（I、Y和X的编码器）和一个解码器，X的编码器引导解码器以多个表示尺度重建HDR图像。使用反卷积进行上采样。我们在解码器中利用解卷积滤波器来执行上采样操作.解码器的目的是从融合的潜在表示中重建HY反卷积具有将信息从小尺度特征图扩散到具有可学习参数的较大特征图来自X的多个尺度的特征 相比简单的上采样操作S（·），解码层从图像卷积学习综合表示。文本通过端到端反向传播来实现上采样操作，而不是简单地依赖于来自附近像素的插值。.H=C W.− 1FΣ（IY）、S（X）Σ，IU，IV=F（I，X;θ），（5）亮度融合与注意面具。亮度域的信息融合是动态图像融合的关键步骤其中θ表示网络的参数。 我们接下来介绍使用深度神经网络实现四个步骤中的每一个步骤的具体问题3.2. 强度图引导的HDR网络在本节中，我们将详细介绍所提出的网络，其架构如图所示。4.首先，逆CRF和颜色空间转换作为输入的预处理离线进行。然后，对于输入Y中的每个像素，所提出的网络学习用X中编码的信息扩展位宽。我们按照第二节中描述的其余三个步骤设计网络中的特定模块3.1.上采样和亮度融合可以分别通过网络中的解卷积层和跳跃连接来实现。因此，我们使用U-Net [44]架构设计网络范围扩展所提出的架构采用跳跃连接，在编码器和解码器之间传输特征映射，以在IY中结合丰富的纹理信息和在X中结合高动态范围信息。更深的网络已经被证明在各种任务中受益于跳跃连接[16，19]。然而，简单地连接来自两个编码器的特征图预计会受到两个输入图像之间的动态范围间隙的影响所以我们在每个解卷积层之前通过1×1卷积融合级联张量。如第12节的亮度融合部分所述。3.1中，增加加权函数W（·）以确定要保留的区域，以及要合并的区域。由另一个输入完成。加权函数可以通过在网络中引入注意力机制[23]来实现，以便为图像的不同部分分配不同的我们选择使用自我注意门[47]1734φH1.0[25]在归一化为[0，1]后提出的问题：0.5T（HY）=log（1+µHY），（6）log（1+µ）A$$@µ$joµmp3k0.0LDR公司简介R@coµ3$y c$joµ焦乌德$y $h其中T（·）是色调映射运算符，µ（设置为5000）表示压缩量。色调映射算子在计算上是有效的并且不同-图5.注意力掩模的一个例子，从自我计算-在LDR图像上增加了注意力模块，滤除曝光不良区域，保留有用信息用于重建。作为添加在IY上的掩码以保存相关信息。X上没有添加掩码，我们使用它易，故易为逆。我们通过最小化损失函数来训练网络，损失函数有两个部分：像素损失和感知损失[24]。像素损失计算T（HY）之间的x1和T（HY）：只是为了补充我所缺乏的信息at--张力掩码通过1×1卷积计算，然后由Attention U-Net[39]中实现的非线性函数激活。然后，将atten的元素相乘，I-Y中的特征模板和输入特征图能够滤除曝光不良的像素，保留具有有效信息的区域与直观地分配权重（如Eq.（2），我们的注意力掩模是从两个输入图像的特征图计算的，并且可学习的参数可以端到端地训练。图5展示了注意力面具的有效性。Lpixel=<$T（HY）−T（HY）<$1。（七）由于LDR图像和强度图取自不同的相机，因此输入对中的未对准是不可避免的。我们试图通过添加感知损失来解决这个问题，感知损失是基于从ImageNet [45]上预训练的VGG-16网络[50]中提取的特征图为色调映射图像定义的：Σ。¨ ¨2Lperc=<$φh（T（HY））−φh（T（HY））<$2色度补偿网络。鉴于HDRH ¨+？G（T（H））−Gφ（T（Hφ¨2Σ）） 、（8）在亮度域HY中成像， 我们将其与从LDR图像中提取色度信息IU和IV，然后将其转换到RGB颜色空间以恢复颜色出现。hYhY2其中φh表示从第h个卷积的特征图ance.直接转化的HRGB 可能会受到颜色VGG-16的层，Gφ是特征图HY和IU（IV）之间的动态范围间隙导致的失真。因为Y通道的亮度值是以高精度格式存储的（例如，float），而直接从I继承的UV值仍然是8位整数，用于-mat。因此，转换后的HRGB往往是暗淡的，色彩较少的色调映射后，如图所示。4.第一章为此，我们提出了一种色度补偿网络来实现HRGB的色彩校正. 该网络是具有残差块[16]的自动编码器[17]架构，因为残差块中的跳过连接学习补偿输入和输出图像之间的差异。 它恢复每个像素上的色度信息，并学习重建HDR图像中的真实色彩外观，如图的输出H所示。4.第一章3.3. 损失函数所提出的网络在线性亮度域中重建图像，该域覆盖了广泛的值。计算输出图像HY和地面真理HY 直接导致损失函数为domi-大的HY值，而小的值的影响，往往被忽略。因此，计算色调映射后HY和HY之间的损失函数是合理的。像素值的范围由以下函数压缩两个输入图像的φh这两个部分是COM-由2002年的标准。在我们的实验中，我们使用VGG-16网络的层总而言之，我们的总损失写为：Ltotal=α1Lpixel+α 2Lperc，（9）其中α1和α2是损失函数不同部分的权重 设α1= 100。0，α2= 3。0的情况。对于色度补偿网络，我们还应用像素损失和感知损失，略有不同的是感知损失α 2的权重为5。0的情况。3.4. 获取强度图的方法强度图可以通过各种类型的神经形态照相机来获取。间接方法。对于神经形态摄像机（如DAVIS [4]），输出是一系列事件数据，包含场景中对数强度变化高动态范围的场景辐射率记录在一个差分的方式由事件相机。在从事件重建强度图的许多方法中，我们选择1735E2VID [41]网络来1736累积事件流作为用于重建的空间-时间体素网格，因为它根据我们的实验重建最一致的直接接近。强度图也可以从基于尖峰的神经形态相机（如FSM）中获取[59]。FSM的每个像素作为时间异步尖峰独立地响应于亮度变化。该accu- mulator在每个像素积累的亮度强度数字化的A/D转换器。一旦累积的强度达到预定义的阈值，则在该时间戳处激发尖峰，然后重置对应的累加器，其中所有电荷被排出。为了获得强度图，我们应用移动时间窗口来整合特定周期内的尖峰，并且可以通过逐像素地计数这些尖峰来计算强度图FSM每秒生成40000个时间戳。我们发现，在我们的实验中，将窗口大小设置为1000个时间戳（1/40秒）重建有效的HDR强度图。3.5. 实现细节数据集准备。基于学习的方法严重依赖于训练数据。然而，没有足够大规模的真实HDR图像数据集。因此，我们从各种图像源[1，2，11，12，37，57]和视频源[9，29]收集HDR图像。由于所提出的网络有两种不同类型的图像作为输入，我们从HDR图像合成LDR图像，就像用虚拟相机拍照一样[7]。HDR图像的辐照度值通过随机曝光时间进行缩放，然后通过DoRF的不同非线性响应曲线进行失真[15]。至于强度图，我们模拟他们根据从neuromorphic相机获得的。事件摄像机估计场景的梯度，并使用事件数据重建强度图。因此，我们首先计算色调映射的HDR图像的梯度，并使用泊松求解器[27]重建强度图来模拟这样的过程。在训练过程中，我们应用数据增强来得到一组增加的成对数据。我们调整原始HDR图像的大小，然后在随机位置将其裁剪为512×512，然后随机翻转。我们选择视点，图像覆盖的场景区域与HDR信息。使用相同的操作来增强强度图，除了裁剪为256×256的大小作为低分辨率输入。培训战略。所提出的网络由PyTorch实现，我们在训练过程中使用ADAM优化器[28]，批量大小为2。600次训练使网络能够收敛。初始学习率为10−5，在前400个epoch中它是固定的，在接下来的200个epoch中，它以线性策略衰减到0IY的编码器是VGG-16网络[50]。我们将I从RGB转换为YUV颜色空间，并将IY复制两次，形成3通道张量，因为VGG-16网络的输入通道大小应该是3。 网络 用Xavier初始化初始化[13]。我们在解码器中的每个去卷积层之后使用实例归一化（IN）[53]而不是批归一化（BN）[22]。网络的输出由Sigmoid函数激活，该函数将像素值映射到[0，1]的范围。4. 实验4.1. 使用综合数据进行定量评价图6示出了所提出的方法和其他比较方法的重建结果。据我们所知，该框架是第一个结合LDR图像与强度图来实现HDR图像再现的框架因此，我们比较了三种最先进的基于深度学习的逆色调映射方法：DrTMO[8]，ExpandNet [33]，HDRCNN [7];以及传统方法[6]以50：1的曝光比合并曝光过度和曝光不足的图像。为了公平起见，我们省略了合并三个或更多个具有不同曝光的LDR图像的比较由于强度图提供的互补动态范围信息，所提出的方法能够恢复图像中丰富的纹理细节，如云或强光源的轮廓例如，在图1的顶行中。6、路灯周围的树叶（绿框）和树干（红框）在我们的结果中清晰可见，这与地面真实情况相似，而其他逆色调映射方法则不是这样。虽然合并两个LDR图像扩展了动态范围（比单个图像解决方案更可靠），但由于两个LDR图像覆盖的动态范围有限，因此无法恢复场景的丰富细节。除了视觉比较， 我们进行定量分析，使用广泛采用的HDR-VDP-2.2标准[35]进行评估，该标准计算视觉差异并预测两个HDR图像之间的可见性和质量。它为每个HDR图像生成质量图和Q分数，以指示重建的质量。图7示出了不同方法的质量图和Q分数。质量图示出了预测的HDR图像和地面实况之间的差异概率实验结果表明，与其他方法相比，该方法在HDR图像重建中获得了更高的Q-Score和更接近地面真实值的4.2. 使用真实世界数据进行定性评估为了证明所提出的方法在现实世界场景中的有效性，我们构建了一个混合摄像机系统[55]，该系统由传统摄像机（Point Grey Chameleon 3）和具有相同F/1.4镜头的神经形态摄像机（DAVIS 240 [4]或FSM[59]）组成，如图所示。8.在两个传感器的前面有一个分束器，它将入射光分开并发送出去173754.8141.1341.5842.5246.0454.2141.7636.3136.9745.6956.1743.8643.6243.7948.0952.2841.6143.2942.2640.5147.1241.0342.9141.1648.87LDR jmpg@ Gyo%µd $y%$h O%y3DyTMOEχppµdN@$HDRCNNM@yg@2 LDR3图6.所提出的方法与最先进的基于深度学习的逆色调映射方法之间的视觉比较：DrTMO [8]，ExpandNet [33]，HDRCNN [7];以及合并两个LDR图像的常规方法[6]。在每个图像中标记Q分数。请放大电子版以获取更详细的信息。LDR jmpg@q评分O y351.68DyTMO EχppµdN@$HDRCNN M@yg@2 LDR344.4943.1844.6151.20强度图引导HDR网络分离器束HDR图像传统相机神经形态传感器场景辐射图7.根据HDR-VDP-2.2评估指标计算的质量图和Q分数的比较[35]。从蓝色到红色的视觉差异增加。Q分数是整个测试数据集中所有图像的平均值。不同的传感器。我们进行几何校准，并从两个摄像机视图中裁剪中心部分，以提取对齐良好的区域作为I和X。我们拍摄了室内和室外高动态范围场景的照片，并使用我们的方法重建HDR图像图在图9中，输入图像首先在亮度域（第三列）中融合，然后通过色度信息（最后一列）进行补偿。实验结果表明，该方法能够融合输入的I和X，重建出高质量的HDR图像。例如，车顶（第一排）的轮廓由于强烈的反射光而过度曝光，但细节纹理可以图8.我们的混合HDR成像系统的原型由传统相机和神经形态相机组成。被神经形态相机捕获，并使用我们的方法在融合结果中恢复在我们的结果中可以观察到一些伪影，例如在第二行的玻璃窗口中。这是由使用堆叠事件[41]的图像重建期间的强度图带来的，因为我们需要摇动DAVIS以触发事件，其中可能发生模糊和噪声。4.3. 消融研究为了验证所提出的架构和每个特定模块的有效性，我们对以下三种变体进行了消融研究。不同变体的视觉比较如图所示。10个。1738I X（DAVIS）H$HI X（密克罗尼西亚联邦）H$H图9.实际数据的结果重建所提出的网络。LDR图像由常规相机捕获，强度图由DAVIS（上两行）和FSM（下两行）获取。来自不同领域的数据直接组合。如图10(c)示出了尽管过度曝光区域被恢复，但是在曝光不足区域中可以观察到明显的伪影。增加对抗性损失。我们研究将对抗损失[14]Ladv添加到总损失函数中。通过将所提出的网络视为生成器，我们训练了一个判别式-图像处理器可以同时识别真实或伪HDR图像。图中的示例。图10（d）示出了对抗性损失可能导致过度曝光和曝光不足区域中的不期望的镶嵌。我们还对不同的模型进行了HDR-VDP-2.2度量，并计算了平均Q分数以进行评估，结果如下所示。没有注意面具：四十五55、单编码器：四十九74，加入ad-对抗损失：四十五22、完整型号：51岁68岁这些结果证明我们的完整模型达到了最佳性能-与这些专门设计的战略。5. 结论我们提出了一种神经形态摄像机引导的HDR成像方法，该方法将LDR图像和强度图融合，以重建视觉上令人满意的HDR图像。一个混合相机系统已经建成，以捕捉图像在现实世界的情况下。在人工数据和真实数据上的大量实验表明，该方法优于最先进的比较方法。讨论考虑到GPU内存的限制，我们使用512×512LDR图像和256×256强度图来训练网络。但是，我们的模型可以-（一）（d）其他事项（b）第（1）款（e）（c）第（1）款（f）第（1）款一旦我们将强度图上采样到与LDR图像对应的标度水平，就可以获得更高分辨率的LDR图像。1除此之外，提高输出图像的分辨率也可以通过预先训练的超分辨率网络来实现[32]。局限性和今后的工作。由于摄像机镜头的畸变和两个传感器的不同视场，图10.所提出的方法的不同变体的视觉比较（a）输入LDR图像，（b）没有注意掩模，（c）单编码器架构，（d）添加对抗性损失，（e）强度图引导的HDR网络，以及（f）地面实况。没有注意面具。我们调查的有效性注意掩模模块。如图在图10（b）中，过度曝光区域的绿框类似于输入LDR图像。如果没有注意掩码的引导，网络很难正确区分信息的保留或丢弃。从而导致一些文物。单编码器架构。我们将我们的网络与没有X编码器的单个编码器架构进行比较。这可以通过将X缩放到相同的大小来实现我们的混合相机系统，像素更好地对齐，主要集中在整个图像平面上。因此，尽管本文展示了融合两种类型图像用于HDR成像的令人信服的证据，但最终质量在融合由具有数千万像素的现代DLSR捕获的不同曝光的多个图像之间仍然存在差距。为了实现这一点，使用设计更好的混合相机是我们未来的工作。6. 确认本工作得到国家自然科学基金项目号：61872012号61876007和北京人工智能研究院（BAAI）。一开始，他们是一对一的，后来，他们是一对一的。通道张量到单个编码器。在这种情况下，两个图像1在补充材料中可以找到更高分辨率的结果。1739引用[1] Funt et al. HDR dataset. https://www2.cs.sfu.ca/colour/data/funt_hdr/#DESCRIPTION.[2] sIBL存档。http://www.hdrlabs.com/sibl/archive.html。[3] 弗朗切斯科·班特尔帕特里克·莱达库尔特·德巴蒂斯塔还有艾伦·查默斯逆色调映射。计算机图形学与交互技术国际会议论文集，2006.[4] Christian Brandli，Raphael Berner，Minhao Yang，Shih-Chii Liu，and Tobi Delbruck.240× 180 130 db 3µ s延迟全局快门时空视觉传感器。固体杂志State Circuits，49（10）：2333[5] VasileVBuzuloiu ， MihaiCiuc ， RangarajMRangayyan，and Constantin Vertan.彩色图像的自适应邻域 直 方 图 均 衡 化 Journal of Electronic Imaging ， 10（2）：445[6] Paul E Debevec和Jitendra Malik。恢复高模-来自照片的动态范围辐射图。ACM SIGGRAPH，1997年。[7] Gabriel Eilertsen ， Joel Kronander ， Gyorgy Denes ，Rafaelik K.Mantiuk和Jonas Unger。使用深度CNN从单次曝光重建HDR 图 像 。 ACM Transactions on Graphics （ Proc. ofACM SIGGRAPH Asia），36（6）：178：1- 178：15，Nov. 2017年。[8] Yuki Endo、Yoshihiro Kanamori和Jun Mitani。 深度再-韵文色调映射ACM Transactions on Graphics（Proc. ofACM SIGGRAPH Asia），36（6）：177：1 -177：10，Nov. 2017年。[9]Jan Froehlich，Stefan Grandinetti，Bernd Eberhardt，Simon沃尔特、安德烈亚斯·席林和哈罗德·布兰多。创建电影宽色域HDR视频，用于评估色调映射算子和HDR显示器。数码摄影X，2014年。[10] 吉列尔莫·加列戈、托比·德尔布鲁克、加里克·奥查德、基亚拉Bartolozzi，Brian Taba，Andrea Censi，Stefan Leuteneg-ger ， AndrewDavison ， JoergConradt ， KostasDaniilgrit，and Scaramuzza.大卫基于事件的愿景：一个调查。arXiv预印本arXiv：1904.08405，2019。[11] Marc-Andre 'Gardner，Kalyan Sunkavalli，Ersin Yumer，Xi-aohuiShen ， EmilianoGambaretto ， ChristianGag ne' ，andJean-Fran c. 学习从单个图像预测室内照明arXiv预印本arXiv：1704.00090，2017。[12] Mathieu Garon ， Kalyan Sunkavalli ， Sunil Hadap ，Nathan卡尔，还有让-弗朗索瓦·拉隆德。快速空间变化的室内照明估计。计算机视觉与模式识别，2019年。[13] 泽维尔·格洛特和约舒亚·本吉奥 理解差异--训练深度前馈神经网络的方法。2010年国际人工智能和统计会议论文集[14] Ian Goodfellow ， Jean Pouget-Abadie ， Mehdi Mirza ，BingXu ， David Warde-Farley ， Sherjil Ozair ， AaronCourville，and Yoshua Bengio.生成性对抗网。神经信息处理系统国际会议集，2014年。[15] Michael D Grossberg和Shree K Nayar。什么是空间相机响应功能？计算机视觉与模式识别，2003年。1740[16] Kaiming He，Xiangyu Zhang，Shaoying Ren，andJian Sun.用于图像识别的深度残差学习。计算机视觉与模式识别，2016年。[17] Geoffrey E Hinton和Ruslan R Salakhutdinov. 减少用 神 经 网 络 分 析 数 据 的 维 度 。 Science ， 313（5786）：504[18]Keigo Hirakawa和Paul M Simon。单次喷射高模-使用常规相机硬件的动态范围成像在Proc. 2011年国际计算机视觉会议。[19] Gao Huang，Zhuang Liu，Laurens Van Der Maaten，and Kilian Q Weinberger.密集连接的卷积网络。 在proc 计算机视觉和模式识别，2017年。[20] Jing Huang，Menghan Guo，and Shoushun Chen.动态直接对数输出和全帧图像点播的视觉传感器。电路与系统国际研讨会论文集，2017年。[21] S.穆罕默德·穆斯塔法维一世 林旺，何耀成，尹国珍使用条件生成对抗网络的基于事件的高动态范围图像和极高帧率视频生成计算机视觉与模式识别，2019年。[22] Sergey Ioffe和Christian Szegedy。 批次标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。[23] Saumya Jetley， 尼古拉斯·A·洛德 李南勋 和Philip HS Torr.学会注意。arXiv预印本arXiv：1804.02391，2018。[24] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。感知实时风格转换和超分辨率的损失在Proc. 2016年欧洲计算机视觉会议。[25] Nima Khademi Kalantari和Ravi Ramamoorthi。动态场景的深度ACM Transactions on Graphics（Proc. ofACM SIGGRAPH），36（4）：144-1，2017.[26] Erum Arif Khan，Ahmet Oguz Akyuz，and Erik Reinhard.高动态范围图像中的重影消除。 在proc2006年国际计算摄影会议。[27] H Kim，A Handa，R Benosman，SH Ieng和AJDavison。同时镶嵌和跟踪与事件摄像机。在proc 2014年英国机器视觉会议。[28] Diederik P Kingma和Jimmy Ba。亚当：一种方法随机优化arXiv预印本arXiv：1412.6980，2014。[29] Joel Kronander，Stefan Gustavson，Gerhard Bonnet，乔纳斯·昂格尔从原始CFA数据进行统一的HDR重建。 在proc 2013年国际计算摄影会议。[30] 郭炳宏，唐启孙，简绍毅。内容-自适应逆色调映射 在proc 视觉通信和图像处理，2012年。[31] Markku Lamberg，Joni Oja，Tero Vuori和Kristina Bjork-nas。图像调整与色调渲染曲线，2005年6月9日。美国专利申请10/729，872。[32] 克里斯田·莱迪格，卢卡斯·泰斯，费伦茨·胡斯·扎尔，乔斯·卡瓦列罗，Andrew Cunningham ， Alejandro Acosta ， AndrewAitken ， Alykhan Tejani ， Johannes Totz ， ZehanWang，and Wenzhe Shi. 照片般逼真的单图像超分辨率使用1741生成对抗网络 在proc 计算机视觉和模式识别，2017年。[33] DemetrisMarnerides ， ThomasBashford-Rogers ，JonathanHatchett和Kurt Debattista。ExpandNet：一个深度卷积神经网络，用于从低动态范围内容扩展高动态范围。InComputer Graphics For-rum，volume 37，2018.[34] 放大图片作者：Belen Masia，Sandra Agustin，RolandW. Fleming，Olga索金和迭戈·古铁雷斯。通过改变曝光条件评估反向色调映射。图形上的ACM转换（Proc. of ACM SIGGRAPHAsia），28（5）：160：1-160：8，Dec. 2009年[35] 放 大 图 片 作 者 ： Manish Narwaria ， Rafal Mantiuk ，Mattheiu P.达席尔瓦，帕特里克·勒·卡莱特。HDR-VDP-2.2：高动态范围和标准图像客观质量预测的校准方法。电子成像杂志，24：010501，2015。[36] Shree K Nayar和Tomoo Mitsunaga。 高动态范围成像：空间变化的像素曝光。 在proc 计算机视觉和模式识别，2000年。[37] Hiromi Nemoto，Pavel Korshunov，Philippe Hanhart，and图拉吉·易卜拉欣LDR和HDR图像中的视觉注意力在proc 2015年消费电子视频处理和质量控制国际研讨会。[38] Tae-Hyun Oh，Joon-Young Lee，Yu-Wing Tai，and InSo奎恩 基于 秩最小 化的 鲁棒高 动态 范围成 像。 IEEETransactionsonPatternAnalysisandMachineIntelligence，37（6）：1219[39] Ozan Oktay， 乔·施伦珀 Loic Le Folgoc，MatthewLee ， Mattias Heinrich ， Kazunari Misawa ， Kens