拜耳滤波器弃用：弱光环境下的图像增强

17431放弃拜耳滤波器在黑暗中观察Xingbo Dong1，3 *<$ Wanyan Xu1，2 *<$ Zhihui Miao1，2 <$ Lan Ma1张超1杨洁文1金哲4赵明仁3沈嘉俊1TCL AI Lab2福州大学3延世大学4安徽大学{xingbo.dong，bjteoh}@ yonsei.ac.kr，{208527051，208527090}@ fzu.edu.cn，{sjj，rubyma}@tcl.com摘要弱光图像增强是一个普遍而又棘手的问题，它在增强弱光环境下图像的可见性方面起着核心作用。 因为不是所有的光子都能通过彩色相机传感器上的拜耳滤波器，在这项工作中，我们首先提出了一个基于深度神经网络的De-Bayer-Filter模拟器，以从彩色原始图像生成单色原始图像。其次，提出了一种全卷积网络，通过融合彩色原始数据和合成单色数据来实现弱光图像增强。智能注意力也被引入到融合过程中，以建立彩色和单色原始图像特征之间为了训练卷积网络，我们提出了一个由单色和彩色原始数据对组成的数据集，称为单色原始配对数据集（MCR），该数据集是通过使用不带拜耳滤波器的单色相机和带拜耳滤波器的所提出的流水线具有虚拟单色和彩色原始图像融合的优点，我们广泛的实验表明，通过存储原始传感器数据和数据驱动学习可以实现显着的改善。该项目可在www.example.com上获得https://github.com/TCL-AILab/Abandon_Bayer-Filter_See_in_the_Dark1. 介绍对于数字化图像，由于在诸如室内、夜间或在不适当的相机曝光参数下的不良照明条件长曝光时间和高ISO（对光的敏感度）通常在低光环境中被利用以保持视觉质量。然而，压倒性的曝光会导致运动模糊和不平衡的过曝，以及高ISO图1.拟议管道概述。我们建议通过学习的De-Bayer-Filter模块生成单色原始数据。然后，设计了一个双分支神经网络来桥接单色和彩色原始图像，实现弱光图像增强任务。放大了噪音。虽然相机的闪光灯提供了曝光补偿不足的光线，它不适合长距离拍摄，也介绍了色彩失真和文物。另一方面，已经报道了各种算法来增强低光图像。最近，深度神经网络模型已被用于解决低光图像恢复问题，例如DeepISP [22]和黑暗中观看（SID）[3]。然而，这些算法在图像处理流水线中受到限制，因为光子捕获率和量子效率通常被忽略。一般来说，高的光子捕获率可以显著提高图像其中一个典型的例子是基于RYYB的滤色器，它可以捕获比基于Bayer-RGGB的滤色器1多40%的光子。因此，基于RYYB的滤色器可以自然地实现更好的性能。拜耳滤波器去除是提高光子捕获率的另一种可行的方法拜耳滤波器是一个阵列，*这些作者对这项工作的贡献是相同的。†在TCL人工智能实验室实习时完成的工作。1拜耳滤波器、拜耳阵列、拜耳阵列滤波器可互换使用单色凸轮高x宽x 1高x宽x 3去拜耳-滤波器模块双分支微光增强模块高x宽x 1拜耳滤色器凸轮。17432许多微小的彩色滤光片覆盖图像传感器以呈现颜色信息（见图1）。通过去除拜耳滤波器并牺牲颜色信息，图像传感器可以捕获更多的光子，与具有拜耳滤波器的相机相比，这有助于在不良照明条件下更清晰的可见性（参见图2（a））。另一方面，双摄像头是当今智能手机等智能设备的趋势之一。一种类型的双摄像头设置是单色传感器和彩色传感器2的组合。单色传感器通常与彩色传感器相同，但没有拜耳阵列滤波器。这样的双摄像头设置可以在低光环境中实现更好的成像质量，因为传感器接收到更多的光子。然而，额外的费用是需要额外的相机配备。因此，对于大多数仅配备彩色摄像头的手机来说，在仅使用单个彩色摄像头的同时保持双摄像头组产生的相同低光图像质量是一项具有挑战性的任务。受上述讨论的启发，我们提出了一个完全端到端的卷积神经模型，它由两个模块组成（如图1所1）：去拜耳滤波器（DBF）模块和双分支弱光增强模块（DBLE）。DBF模块学习从彩色相机原始数据恢复单色原始图像，而不需要单色相机。DBLE设计用于融合彩色原始数据和合成单色数据原始数据并生成增强的RGB图像。此外，我们还提出了一个数据集来训练我们的端到端框架。据我们所知，现有的数据集不包含由相同类型的传感器捕获的单色和彩色原始图像对。为了建立这样的数据集，使用具有拜耳滤波器的一个相机来捕获彩色图案化的原始图像。另一个没有拜尔滤波器但配备了相同类型的传感器的相机被用来捕捉单色原始图像（见图1）。第2段（b）分段）。数据集是在各种场景下收集的，每个彩色原始图像都有一个相应的单色原始图像，用相同的曝光设置捕获。我们的贡献可概括为：1. 提出了一种De-Bayer-Filter模型来模拟一台虚拟的单色相机，并从彩色原始输入中合成据我们所知，我们是第一个探索使用基于深度学习的模型来去除拜耳过滤器的人。2. 我们设计了一个双分支低光增强模型，用于将彩色原始数据与合成的单色原始数据融合，以生成最终的显示器就绪RGB图像。为了弥合领域差距2例如，华为P9，Moto Z2 Force在彩色原始数据和单色原始数据之间，采用通道级的注意层来建立两个域之间的交互，以获得更好的恢复性能。实验结果表明，该系统可以达到最先进的性能。3. 我们提出了MCR，一个彩色原始和单色原始图像对的数据集，用相同的曝光设置捕获。它作为研究材料公开开放，以方便社区使用，并将在出版后发布。2. 相关工作为了实现弱光图像增强任务，已经尝试了大量的方法。这些方法可以分为直方图均衡化（HE）方法[1，15，29]，Retinex方法[5，26，28，33]，去雾模型方法[4]，统计方法[16，17，23]，和ma-中国的学习方法[7，11，30，34]。最近，已经提出了几项关于原始图像数据的工作[3，9，22]。我们的工作也属于这一类;我们将在本节中主要讨论深度神经网络已经成为实现数码相机图像信号处理任务的一种方法。2018年，在[22]中提出了一种完全卷积模型，即DeepISP，为了模拟数码相机L1范数和Lab域中的多尺度结构相似性指数（MS-SSIM）损失用于训练Deep-ISP以模拟ISP管道。当DeepISP仅用于低级别成像任务（如去噪和去马赛克）时，将使用L2损失。因此，DeepISP可以实现低级任务和高级任务，例如去马赛克，去噪和颜色校正。[22]中的结果表明，与制造商ISP相比，性能更优越另一个类似于DeepISP的并行工作，即在黑暗中看到（SID），在[3]中提出。在SID中，利用U- net [21]网络直接对原始传感器数据进行操作，并输出人类视觉就绪的RGB图像。建立了一个原始短曝光低光图像与相应的长曝光参考图像的数据集来训练模型。与传统的图像处理流水线相比，如[3]中的结果所示，可以做出显著的改进。后来，在[27]中提出以一个类似U网的网络为骨干，引入小波变换进行下采样和上采样操作。感知损失[10]在[27]中用于训练网络，以更好地17433·单Exp.1/256秒1/128秒1/64秒1/32秒1/16秒1/8秒1/4秒3/8秒(a)（b）第（1）款图2.（a）彩色和单色照相机在不同曝光时间下拍摄的图像（b）我们在收集数据工作中使用的单色和彩色照相机恢复图像中的细节。在DID [18]中，作者提出用残差学习替换SID中的U-网络，以更好地保留图像特征的信息。类似的基于原始的方法也已经应用于视频，例如[2，9]。除了基于原始的方法之外，还在低光图像增强任务上探索了基于频率的分解。在[31]中，作者提出了一种流水线，即LDC，以实现基于频率的分解和增强模型的弱光图像增强任务。该模型首先过滤掉高频特征，并根据放大操作学习恢复剩余的低频特征。随后，恢复高频细节。[31]的结果表明，LDC可以实现最先进的性能。为了提高原始域弱光图像增强的效率，也做了各种研究为了实现计算快速的低光增强系统，作者在[14]中提出了一种用于极低光图像恢复的轻量级架构（RED）此外，作者还提出了一个放大器模块，估计放大因子的基础上输入的原始图像。在[6]中，提出了一种自引导神经网络（SGN），以实现去噪性能和计算成本之间的平衡它的目的是通过利用来自混洗多分辨率输入的大规模上下文信息来指导更精细尺度的图像恢复过程。上面讨论的方法通常学习将由相机捕获的原始数据映射到人类视觉就绪图像。由于原始数据提供了完整的信息，因此审查的方法达到了最先进的性能。然而，这些方法的性能是由原始数据中包含的信息的上限。在我们的工作中，一个新的管道，以进一步推动基于原始数据的方法向前发展。具体来说，我们的管道需要一个原始图像捕获的彩色相机与拜尔过滤器作为输入。我们流水线中的De-Bayer-Filter模块将首先生成单色图像;然后双分支低光增强模块将单色原始数据和彩色原始数据融合，以生成最终增强的RGB图像。这两个模块都适用于原始图像，因为原始图像与接收到的光子数量呈线性关系，与RGB图像相比，原始图像包含额外信息，例如噪声分布[2，20]。每个模块的细节将在后面讨论。我们的框架的详细架构图如图3（a）所示（更多细节在补充部分中讨论）。此外，图3（b-f）和图3（g-k）分别在我们的数据集和[3]中的SID数据集上可视化了我们模型的每个步骤的输出。3.1. 去拜耳过滤器模块数百万个微小的光腔被设计用于收集光子并激活相机传感器上的电信号。然而，单独使用这些光腔只能产生灰色图像。设计了一种拜耳彩色滤光片覆盖光腔，收集彩色信息，产生彩色图像。更具体地说，一个标准的拜耳单位是一个2×2的像素块，有两个绿色，一个红色和一个蓝色的滤色器，某种颜色的滤色器只允许相应波长的光子通过。使用神经网络模拟相机成像过程已在几项工作中证明是可行的[3，20，22]。受这些工作的启发，我们考虑通过对每个彩色滤光片的输入和输出光子之间的关系进行建模来虚拟地去除拜耳阵列滤光片。具体地说，本文设计了一个去拜耳滤波器（DBF）模块来恢复单色原始图像Amono∈我们考虑在原始R之外引入额外的信息，RGB数据。高×宽从输入的彩色原始A颜色∈R2×2×4：AMono=fM（AColor）（1）3. 述的方法受上述讨论的启发，其中fM（）是基于U网的完全卷积网络（参见图3）。L1地面实况单色相机单色图像AGT和预测图像AMono彩色单色HW1743422DBF双线性可编程逻辑器件输入原始颜色高×宽×宽高×宽 ×4H W××������������高×宽 ×4输出RGB高×宽×宽中间体单粗品H × W×β-内酰胺（Conv +泄漏Relu）×2转置转换ConcatenateCA层+连接向下洗牌像素混洗监督(Conv+泄漏Relu）×2(a) 管道结构(b) 输入（c）单声道GT（d）DBF输出（e）RGB GT（f）DBLE输出(g)输入（h）合成单声道GT（i）DBF输出（j）RGB GT（k）DBLE输出图3.（a）管道的结构DBF模块被设计成从输入的原始图像产生单色图像提出了一种基于双低功耗蓝牙（DBLE）模块的低照度图像增强方法。每个框表示由每个层产生的多通道特征图。（b）-（f）是在我们的数据集上训练的管道图像。（g）-（k）是我们在SID [3]数据集上训练的管道图像;我们将SID数据集中的RGB地面实况（GT）转换为灰色图像，以取代我们数据集中的单色GT被用作一种损失，以鼓励DBF学习从低光原始图像中恢复具有更多细节的单色图像。我们假设生成的单色原始图像可以通过将更多的信息引入到后续模块中来增强弱光图像。3.2. 双支路微光图像增强模块彩色原始图像与单色图像有许多不同之处：1）彩色原始图像具有马赛克图案; 2）彩色原始图像由分辨率为H×W的四个通道组成，而彩色原始图像的分辨率为H × W。在单色图像中不包括颜色信息; 4）由于单色照相机传感器可以更好地捕获光，所以在单色图像基于上述观察，我们提出了双分支低光图像增强（DBLE）模块（参见图3），其在下采样过程中分别处理DBF生成的单色原始图像和彩色原始图像。同时，基于级联融合两个下采样分支的不同级别特征图，然后在上采样分支中加入通道注意力（CA）层[8]，以合成3）人眼可分辨的RGB图像Irgb∈RH×W ×3。 的17435RGBDBLE模块定义为：IRGB=fC（AColor;AMono），（2）其中，fC是专门设计的完全卷积网络，如图2所示第3（a）段。L1距离表1.数据集摘要RGB图像IGT预测图像IRGB被用作损失，以鼓励DBLE学习从低光原始图像恢复视觉就绪的RGB输出。由于传统的U-net网络平等地对待来自每个通道的特征，因此直接连接来自单色原始分支和彩色原始分支的特征图可能会由于域间隙而导致矛盾。跨卷积和转置卷积层的使用也会导致空间信息的丢失。由[32]驱动，在级联操作之后，CA层[8]被采用来实现在DBLE中的通道式注意力CA层可以显式地对彩色原始和单色原始模态的交互进行建模，以利用互补性并减少来自两个域的矛盾。据报道，U-net中使用的上采样层（转置卷积层）会导致图像被棋盘伪影扭曲[13，19，24，25]。我们在U-net上的设置中也发现了这样的棋盘状伪像，尤其是对于白色背景的图像。在我们的工作中，CA层还起到了避免棋盘式伪像的作用.由于CA层中包含缩小和放大操作，因此CA层类似于调整大小卷积操作，其以权重绑定方式阻止高频伪影[19]。3.3. 数据集设计单色原始配对（MCR）数据集。据我们所知，现有的数据集不包含由相同类型的传感器捕获的单色和Bayer原始图像对。为了建立数据集，我们用两个相机捕获相同场景的图像对，分别表示为Cam-Color和Cam-Mono3。两款相机都拥有相同的1/2英寸CMOS传感器，并输出1，280 H x 1，024 V的成像像素阵列。然而，只有Cam-Color配备了Bayer滤色器。Cam-Color用于捕获我们工作中的彩色原始图像，Cam-Mono用于捕获单色原始图像。我们在室内和室外条件下收集数据。室内场景的照度在常规灯光下介于50勒克斯和2，000勒克斯之间。室外图像在白天和夜晚期间在阳光照明或街道照明下捕获，照度在900勒克斯和14，000勒克斯之间。捕获的场景包括玩具、书籍、文具、街景和公园。3零件编号：MT 9 M001 C12 STC/MT 9 M001 C12 STM相机安装在坚固的三脚架上的滑动平台上或坚固的桌子上的固定平台上。当安装在滑动平台上时，通过滑动平台将相机调节到相同位置，以最小化由同一场景中的两个相机捕获的图像之间的位置位移当安装在固定平台上时，摄像机被附接到与平台相同的位置，以最小化位置位移。相机增益设置为相机默认值。调整焦距以在长时间曝光下最大限度地提高图像质量。曝光时间根据具体场景环境进行调整。在捕获过程中，位置偏移是不可避免的。因此，有必要将从两个相机捕获的图像对齐。选择最佳曝光的彩色RAW和单色RAW来对齐同一场景中两台相机拍摄的图像。然后，利用单应性特征匹配从所选择的图像对中提取关键点，并利用蛮力匹配器来找到匹配的关键点。基于经验阈值方法对提取的良好匹配的位置进行过滤。可以基于良好匹配的过滤位置来决定单应性矩阵最后，将同态变换应用于从同一场景捕获的其他图像数据集的统计信息总结见表1。图2（a）展示了来自数据集的一系列单色原始配对图像。人工单色原始SID数据集。[3]中收集的原始SID数据集包含5，094张从室内和室外环境拍摄的原始短曝光图像，而每张短曝光图像都有相应的长曝光参考图像。短曝光时间通常在1/30秒至1/10秒之间，相应的长曝光图像的曝光时间为10至30秒。然而，单色图像在原始SID数据集中不可用。为了解决这个问题，我们在这项工作中基于SID [3]数据集构建了一个人工单色原始数据集。更具体地说，我们首先将原始SID数据集中的长曝光原始图像转换为RGB图像，并通过形成R、G和B通道的加权和将这些RGB图像进一步转换为灰度，如图3（h）所示。这种转换可以消除色调和饱和度信息，同时保留亮度信息。场景暴露时间（s）数据对固定设置室内固定位置1/256、1/128、1/64、1/32、2744对格式：.raw，分辨率：1280*10241/16、1/8、1/4、3/8室内滑台1/256、1/128、1/64、1/32、800双1/16、1/8、1/4、3/8户外滑台1/4096、1/2048、1/1024、1/512、440双17436(a) 输入原始（b）CSAIE（c）HE（d）SGN [6]（e）DID [18](f) RED [14]（g）SID [3]（h）LDC [31]（i）Ours（j）GT(A) 输入原始（B）CSAIE（C）HE（D）SGN [6]（E）DID [18](F)RED（G）SID [3]（H）LDC [31]（I）Our（J）GT图4.在我们的数据集中，最先进的方法和我们在低光图像RAW上的视觉结果。较大的框显示相同颜色的较小框中区域的放大版本3.4. 培训默认情况下，我们对输入图像进行类似于[3]的预处理，其中图像的像素值以预定义的比率放大，然后进行打包原始操作。我们将CA层[8]合并到单色和彩色原始图像中，以弥合特征之间的域差距。整个系统与L1损失联合训练，直接输出相应的长曝光单色和sRGB图像。数据集被分成训练集和测试集，而不会以9：1的比例重叠。输入的图像块是从原始图像中随机裁剪出来的，尺寸为512 × 512。在原始图像输入的情况下，RGGB像素位置在裁剪过程中被小心地保留。我们在RTX 3090 GPU平台上使用Pytorch 1.7实现了我们的模型，并使用Adam [12]优化器从头开始训练网络收敛后，学习率设置为10−4和10−5，权重衰减设置为0。4. 实验和结果在这一节中，我们提出了一个综合性能评估所提出的低光图像增强系统。为了衡量性能，我们评估的峰值信噪比（PSNR）和结构相似性（SSIM）方面的系统性能。对于PSNR和SSIM，更高的值意味着输出图像和地面真实值之间更好的相似性4.1. 与最新方法的定性比较。我们首先将所提出的方法的结果与其他最先进的基于深度学习的图像增强方法进行了视觉比较，包括SID [3]，DID [18]，SGN [6]，LDC [31]和RED [14]。此外，还介绍了传统的直方图均衡化（HE）方法和一种商用软件自动图像增强（CSAIE）方法。17437表2.与SOTA比较MCR数据集SID数据集峰值信噪比（dB）SSIM峰值信噪比（dB）SSIM[14]第21话，我的世界25.740.85128.660.790SGN [6]（19，ICCV）26.290.88228.910.789[18]第19话，我的世界26.160.88828.410.780SID [3]（18，CVPR）29.000.90628.880.787[31]第20话：我的世界29.360.90429.560.799我们31.690.90829.650.797型坯图4显示了不同方法在两张低光图像上的结果（更多结果见补充资料）。如图所示4、我们的方法可以达到更好的增强和去噪视觉效果。具体地，棋盘状伪影通常在具有白色背景的图像的SID上被发现。这是因为在模型中使用了上采样层。雾状伪影通常在SGN上观察到;在SGN、DID和RED上也发现颜色失真，如图4（A-J）所示，其中由黄色框包围的绿色植物在SGN、DID和RED恢复后变为黑色。相对于最不发达国家，我们的方法可以保持更多的细节，因为过度平滑通常会发现在最不发达国家。请注意，过度平滑可能更具视觉吸引力，但细节将丢失，例如，壁裂缝在LDC上变得不可见，如图4（H-I）所示。简而言之，图4展示了通过我们的方法实现的令人满意的视觉性能，具有更少的伪影但更令人信服的恢复。定量比较。对国家的最先进的增强方法也进行了定量比较。为了公平比较，SID [3]，DID [18]，SGN[6]，LDC [31]和RED [14]在MCR数据集上进行了训练。如表2所示，我们提出的方法比同类方法性能好得多。具体来说，我们的方法可以在MCR数据集上实现31.69dB的PSNR，比第二好的方法高7.9%，即，最不发达国家[31]。我们的方法也可以达到0.908的SSIM，这是所有比较方法中最高的。与其他方法相比，我们将额外的单色信息到处理流水线，因此国家的最先进的性能可以实现。如表2中的前两个数据行所示，RED [14]和SGN [6]都只能实现约26dB的PSNR。RED和SGN的目标都是降低计算成本，提高效率。因此，观察到性能下降是合理的表2中DID [18]的结果表明，用残差学习代替U-net无法在我们的数据集上实现更好的性能。在MCR数据集上，SID [3]的PSNR仅为29.00dB。棋盘状的人工制品可能是原因。从表2中，我们观察到LDC [31]实现了第二好的性能。这是因为它们基于一种基于频率的分解和增强模型，可以更好地恢复含噪图像，避免噪声放大。我们还在修改后的SID数据集上训练我们的模型，以进一步验证我们的方法，以便进行公平的比较。性能结果显示在表2的SID列中。结果表明，我们的方法也优于所有的同行。具体来说，我们的方法可以实现29.65dB的PSNR，比LDC高出约0.1dB，而SSIM可以实现类似的性能。其他方法，包括SID，DID，SGN和RED，只能达到28dB左右的PSNR综上所述，结果表明，我们的模型在增强有噪声的弱光图像方面更有效。大多数现有方法的性能是由原始数据中包含的信息的上限。在我们提出的管道中，我们通过考虑单色域进一步扩展了上限。因此，可以实现更好的性能。4.2. 消融研究在本小节中，我们提供了几个消融研究所提出的系统，以更好地证明我们的系统的每个模块的有效性。在我们的初步探索阶段，发现了纸板伪影，特别是对于白色背景的图像。为了消除棋盘效应，我们在DBLE模块中引入了CA层[8]。在本消融研究中，我们首先去除了DBLE模块中的CA层，以证明棋盘状伪影的消除和性能提升。此外，我们还在我们的数据集上训练了一个原始SID [3]网络，以显示U-net的棋盘状工件的视觉效果。从SID、没有CA层的DBLE和具有CA层的DBLE恢复的图像如图5所示。据观察，棋盘文物可以完美地避免通过引入CA层。此外，根据表3所示的定量结果，CA层可以提高图像增强性能，PSNR从29.23dB增加到31.69dB我们还训练模型直接学习比率，而不是用预定义的比率放大图像像素值。因此，我们训练一个模型，而不使用预定义的比例放大输入的原始图像。因此，如表3所示，这种模型仍然可以实现相当的性能，PSNR和SSIM仅略有下降。如[3]所建议的，我们将基于packraw的输入更改为原始的单通道原始图像。如表3中没有packraw的基线行所示，观察到PSNR和SSIM降级。我们认为，包装的raw可以帮助模型更好地处理颜色信息。损失函数从L1到L2的变化不能获得更好的性能，如表3所示。我们还尝试将输入raw转换为sRGB格式。表3中sRGB行的结果显示了显著的性能。17438(a) GT（b）SID [3]（c）我们的无CA [8]（d）我们的有CA [8]图5.在不同设置下的棋盘形工件的可视化演示表3. MCR数据集上的消融研究。DBF双线性可编程逻辑器件峰值信噪比（dB）SSIM峰值信噪比（dB）SSIM基线21.06070.825431.69050.9083基线无CA [8]20.26730.794829.23500.8732基线wo比值19.89780.786829.35280.8878基线wo packraw20.78460.803428.87280.8657基线l1→l220.45870.801630.23590.8974基线，无DBF--29.99460.8839基线原始→sRGB18.23690.762527.35210.8295这与其他作品[3，31]是一致的。DBF模块在我们的系统中起着关键的作用，生成单色图像，这有助于DBLE模块将低光图像恢复为显示器就绪的sRGB图像。我们还探讨了没有DBF模块和单色分支的模型的性能。如表3中的结果所示，当去除DBF模块时，PSNR/SSIM为29.99dB/0.883，因此提供了DBF有效性的可靠验证5. 局限性和未来工作今后还有许多方面需要改进。我们在这项工作中采用的相机只能输出8位原始图像，16位相机将用于收集数据，以覆盖更多样化的场景和对象。此外，网络复杂性需要更轻的权重，以在现实世界中部署所提出的系统。将拟议的工作扩展到视频也将是未来的一个方向。希望本文的工作能为社区和工业界的微光图像增强研究提供初步的探索。当涉及到我们MCR数据集上的一些极暗图像时，现有的低光图像增强算法（SID[3]，LDC [31]和我们的）有时会显示出不令人满意的结果与地面实况图像相比，恢复的图像通常丢失高频边缘信息，并且变得模糊（参见补充资料）。极暗的背景有时在每个颜色变化中产生相当弱的信号nel，导致SoTA和我们的方法中普遍存在的颜色伪影，需要进一步研究。6. 结论去除拜耳过滤器允许更多的照片被捕获的传感器。基于此，本文提出了一种由DBF模块和双分支弱光增强模块组成的 DBF模块被设计为从彩色相机原始数据输入预测对应的单色原始图像。 DBLE被设计为基于原始输入和DBF预测的单色原始图像来恢复低光原始图像。通过使用双分支网络架构，DBLE分别处理彩色原始数据和单色原始数据。在DBLE上采样流中，来自单色原始和彩色原始两者的特征被融合在一起，并且逐通道注意力被应用于融合的特征。我们还提出了一个单色原始配对数据集（MCR），其中包括彩色和单色原始图像对收集的彩色相机与拜耳滤波器和单色相机没有拜耳滤波器。在各种场景中收集数据集，并且每个彩色原始图像具有以相同曝光设置捕获的对应单色原始图像。为了更好地显示我们的优势，SID数据集也被采用在评估中。从SID数据集中对应的地面实况彩色图像生成灰度图像，以用作单色图像。随后，在修改的数据集上训练模型以验证性能。我们的实验证明，可以通过利用原始传感器数据和数据驱动的学习来实现显着的性能。我们的方法可以克服U-网上的棋盘格现象，同时保持视觉质量。我们的定量实验表明，我们的方法可以达到最先进的性能：在我们自己的数据集上的PSNR为31.69dB，在SID数据集上的PSNR为29.65dB。17439引用[1] Tarik Arici、Salih Dikbas和Yucel Altunbasak。一种直方图修正框架及其在图像对比度增强中的应用IEEE图像处理学报，18（9）：1921-1935，2009。2[2] Chen Chen ， Qifeng Chen ， Minh N Do ， and VladlenKoltun.在黑暗中看到运动。在IEEE/CVF计算机视觉国际会议（ICCV）的会议中，第3185-3194页3[3] Chen Chen，Qifeng Chen，Jia Xu，and Vladlen Koltun.学会在黑暗中看东西。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第3291-3300页，2018年。一二三四五六七八[4] Xuan Dong ， Guan Wang ， Yi Pang ， Weixin Li ，Jiangtao Wen，Wei Meng，and Yao Lu.一种快速有效的低照度视频增强算法在2011年IEEE多媒体和博览会国际上，第1-6页IEEE，2011年。2[5] Minhao Fan ， Wenjing Wang ， Wenhan Yang ， andJiaying Liu.结合语义分割与retinex模型的微光图像增强。第28届ACM国际多媒体会议（ACMMM）论文集，第2317-2325页，2020年2[6] 古书航、李亚伟、吕克·凡古尔、拉杜·提莫夫特。用于快速图像去噪的自引导网络。在IEEE/CVF计算机视觉国际会议（ICCV）的论文集中，第2511-2520页，2019年。三六七[7] Chunle Guo，Chongyi Li，Jichang Guo，Chen ChangeLoy，Junhui Hou，Sam Kwong，and Runmin Cong.用于弱光图像增强的零参考深度曲线估计。在IEEE/CVF计算机视觉和模式识别会议论文集（CVPR），第1780-1789页，2020年。2[8] 杰虎，李申，孙刚。挤压-激发网络。在IEEE计算机视觉和模式识别会议（CVPR）的会议记录中，第7132-7141页四五六七八[9] 姜海洋和郑银强。学会在黑暗中看清移动的物体。在IEEE/CVF计算机视觉国际会议（ICCV）的会议中，第7324-7333页二、三[10] 贾斯汀·约翰逊，亚历山大·阿拉希，李飞飞。实时风格转换和超分辨率的感知损失。欧洲计算机视觉会议，第694施普林格，2016年。2[11] Guisik Kim，Dokyeong Kwon，和Junseok Kwon. Low-lightgan：通过任务驱动训练的高级生成对抗网络进行弱光增强。在2019年IEEE图像处理国际会议（ICIP）上，第2811-2815页IEEE，2019。2[12] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。arXiv预印本arXiv：1412.6980，2014。6[13] 木下优马和木谷仁志。修正了平滑卷积层，以避免cnn中的棋盘图案。 ICASSP 2020-2020 IEEE国际会议声学，语音和信号处理（ICASSP），第3712-3716页。IEEE，2020年。5[14] Mohit Lamba和Kaushik Mitra实时恢复非常暗的图像在IEEE/CVF计算机视觉和模式识别会议论文集中，第3487-3497页三六七[15] Chulwoo Lee Chul Lee和Chang-Su Kim基于二维直方图分层差分表示的对比度增强。IEEE Transactions onImage Processing，22（12）：5372-5384，2013. 2[16] Mading Li ， Xiaolin Wu ， Jiaying Liu ， and ZongmingGuo.不均匀照明图像的恢复。2018年第25届IEEE图像处理国际会议（ICIP），第1118-1122页。IEEE，2018年。2[17] 梁哲彤，刘伟建，姚若河。非线性扩散滤波增强对比度。IEEE Transactions on Image Processing，25（2）：673-686，2015。2[18] Paras Maharjan，Li Li，Zhu Li，Ning Xu，ChongyangMa，and Yue Li.通过残差学习改进极端低光图像去噪。在2019年IEEE多媒体和博览会国际会议上，第916-921页IEEE，2019。三六七[19] Augustus Odena Vincent Dumoulin和Chris Olah。反卷积和棋盘式伪影。Distill，1（10）：e3，2016. 5[20] Hao Ouyang，Zifan Shi，Chenyang Lei，Ka Lung Law，and Qifeng Chen.神经摄像机模拟器。在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第7700-7709页，2021年。3[21] Olaf Ronneberger，Philipp Fischer，and Thomas Brox. U-net：用于生物医学图像分割的卷积网络。医学图像计算和计算机辅助干预国际会议，第234施普林格，2015年。2[22] Eli Schwartz ， Raja Giryes ， and Alex M Bronstein.Deepsp ： 学 习 端 到 端 的 图 像 处 理 管 道 。 IEEETransactions on Image Processing，28（2）：912-923，2018。一、二、三[23] 苏浩南和郑哲健。基于两步噪声抑制的微光图像增强。2017 年 IEEE 声 学 、 语 音 和 信 号 处 理 国 际 会 议（ICASSP），第1977-1981页。IEEE，2017年。2[24] Yusuke Sugawara，Sayaka Shiota，Hitoshi Kiya.超分辨率使用卷积神经网络没有任何棋盘文物。2018年第25届IEEE图像处理国际会议（ICIP），第66IEEE，2018年。5[25] Yusuke Sugawara，Sayaka Shiota，Hitoshi Kiya.消除卷积神经网络中的棋盘式伪影。APSIPA信号和信息处理交易，2019年8月。5[26] Ruixing Wang，Qing Zhang，Chi-Wing Fu，XiaoyongShen，Wei-Shi Zheng，and Jiaya Jia.使用深度照明估计的曝光不足照片在IEEE/CVF计算机视觉和模式识别会议（CVPR）的会议记录中，第6849-6857页，2019年。2[27] Yuanchen Wang ， Xiaonan Zhu ， Yucong Zhao ， PingWang，and Jiquan Ma.的微光图像增强17440小波u网物理学杂志：会议系列，第1345卷，第022030页。IOP出版社，2019年。2[28] Chen Wei，Wenjing Wang，Wenhan Yang，and JiayingLiu.用于弱光增强的深度retinex分解arXiv预印本arXiv：1808.04560，2018。2[29] Xiaomeng Wu ， Xinhao Liu ， Kaoru Hiramatsu ， andKunio Kashino.用于图像增强的对比度累积直方图均衡。2017年IEEE国际图像处理会议（ICIP），第3190-3194页。IEEE，2017年。2[30] Ke Xu，Xin Yang，Baocai Yin，and Rynson WH Lau.学习通过分解和增强来恢复低光图像在IEEE/CVF计算机视觉和模式识别会议（CVPR）中，第2281-2290页2[31] Ke Xu，Xin Yang，Baocai Yin，and Rynson WH Lau.学习通过分解和增强来恢复低光图像在IEEE/CVF计算机视觉和模式识别会议（CVPR）中，第2281-2290页三六七八[32] Lu Zhang，Zhiyong Liu ，Shifeng Zhang，Xu Yang，Hong Qiao，Kaizhu Huang，and Amir Hussain.多光谱行人检测的跨模态交互式注意网络信息融合，50：20-29，2019。5[33] Yonghua Zhang，Jiawan Zhang，and Xiaojie Guo.点燃黑暗：一个实用的低光图像增强器。在第27届ACM多媒体国际会议（ACMMM）的会议纪要中，第1632-1640页，2019年。2[34] 朱敏峰，潘平波，陈伟，杨毅。Eemefn：通过边缘增强的多曝光融合网络的低光图像增强。在AAAI人工智能会议论文集，第34卷，第13106- 13113页，2020年。2