5637×5.转向快速，灵活，和机器人低光图像增强Long Ma†，§，Tengyu Ma†，Risheng Liu，‡，Xin Fan‡，Zhongxuan Luo††软件技术学院，大连理工大学‡DUT-RU International School of Information Science Engineering，大连理工大学彭成实验室Peng Cheng Laboratory{rsliu，xin.fan，zxluo} @ dlut.edu.cn，{longma，matengyu} @ mail.dlut.edu.cn109876543210-0.025 0.025 0.075 0.125 0.1750.225TIME（S）萨达姆09mio我(a)Visual Quality（b）Computational Efficiency（c）Numerical Scores（可视化质量（b）计算效率（c）数值评分）图1。比较我们最近的国家的最先进的方法和我们的方法。KinD [37]是一种代表性被监督的方法。ENGAN [11]认为这是一种非预期的监督学习。[7]《易经·系辞上》：“阴阳者，阴阳之学也，阴阳之学也。我们的方法（3的大小只符合三个convolutions）也是无监督学习的。在动物园地区，这些比较的方法适用于不正确的描述，颜色扭曲和错误的结构来降低视觉质量。In contrast，our result presents a vivid color and sharp outline我们的成果呈现了一个鲜活的色彩和共享outline。Further，wereport the computational efficiency（SIZE，FLOP，and TIME）in（b）and numerical scores for five types of measurement metricsamong three tasks including enhancement（PSNR，SSIM，and EME），detection（mAP），and segmentation（mIoU）in（c），it can be easily observed that method is remarkably to superior.更进一步，我们报告了计算效率（地面），（地面）和时间（mIoU）在（c），它可以实现高效服务，方法是非常重要的目标）。抽象存在低光图像增强技术不仅仅是困难的处理视觉质量和计算机效率，但在未知的复杂场景中被普遍评估。在本文中，我们开发了一个新的自校正照明（SCI）学习框架-工作快速，灵活，并在现实世界的低光场景中展示机器人图像。要成为特定的，我们正在建立一个可视化照明学习过程，与weight sharing到handle 这 个 任 务 。 Considering the computation ： alburden of the Cascaded Pattern ， we construct the self-calculated module which performes the convergencebetween results of each stage，producing the gains thatonly use the single basic block for inference（我们不是在预测工作中被前部署），which drastically diminishescomputation cost.（我们构建了自校准模块，实现了工作的转换，产生了只使用单一基本块进行推理的差距）。我们认为无监督的训练--对提高模型能力的损失是可以实现的。将军场景。进一步，我们使理解解释-RATIONS to excavate SCI的- -Corresponding author。Input的KinD类型ENGANZerodce街道OursENGAN(TIP（2021）KinD类型(IJCV（2021）Zerodce（TPAMI2021）街道(CVPR（2021）Ours12360.010.11SIZE（M）EME11..... 2KinD类型 ENGAN10.....46Zerodce街道9.....72OursPSNR218.....980.....69mAP0.....658200.....6268.....24190.....594180.....562170。4288次.0..... 820。4376.0..... 840。464.0..... 860。4552.0..... 880464FLOP（G）5638现 有 的 工 作 包 括 ： Operation-insensive adaptail- ity（在确定d- ifferent简单操作时实现稳定性能）和Model-irrelevant generali- ty（能应用于基于照明的现有工作以提高性能）。最后，实验者和实验室研究的丰满指标我们的优越性在身体-质量和效率。针对SCI的低光表面检测和零时间语义分割的应用，完全reveal最新Thesourcecodeisavailableathttps://github.com/vis-opt-group/SCI源代码可用。1. 导言低光图像增强在制造信息，隐藏在黑暗中，可见，提高图像质量，最近在多个紧急计算机视觉区域[12，15，18，21，27，28]出现了许多挑战。2.在后续，我们已经排除了两个相关主题的发展过程。更进一步，我们描述了我们的主要贡献。基于模型的方法一般来说，Retinex理论[19] depictsthe basic physical law for low-light image enhance[ 19 ]。5639你知道HtH-HH低光观察会导致光照和反射减少（即：低光观察会导致光照和反射减少）clear image）。从2-norm，Fu等的便利解决方案中获益。 [5，6] first- ly used the l2-norm toconstrain the illumination.第一次使用2 -norm来限制光照。[8]参见：Fur- ther，Guoet al. [8]采用了相对总变量[31]作为光照的约束。2002年，出版了一本旺销书--《Perfect Exists in the Overexposure Appearance》。Li等 人[14]modeledthenoiseremovalandlowenhancement in a unified optimization goal.在统一优化目标中，消除噪声和低光增强。作品于[10]这是一个半十倍分解模型，同时改善了明亮和压迫性噪声。一些工作（例如，LEACRM [20]也使用了增强相机的应答有限的de- fined regularizations，他们经常会产生不满意的re- sults和需要manually只是提出了许多参数向真正的世界场景.基于网络的方法By adjusting the exposure time，thework in [3] built a new dataset，called LOL dataset.（以下简称为LOL数据集）这份工作还设计了RetinexNet，这 是 倾 向 于 生 产 不 自 然 的 增 强 结 果 。 KindD [37]ameliorat- ed issues that appeared in RetinexNet byintroducing some training losses and tuned up the networkarchitecture.在RetinexNet中引入一些失败的培训并调整网络架构的问题。Deep- UPE [19]定义了一个光照估算网 络 ， 以 增 强 低 光 输 入 。 工 作 在 [33] pro- posed arecursive band network and trained it by a semi-supervisedStrategy。ENGAN [11]设计了一个发电机，在不合理的监督下致力于增强能力。SSIENet [19]为自己构建了一个分解型架构--多角度估算光照和反射。Ze- roDCE[7]启发式地使用已有参数构建了一个四边形曲线Veryrecently，Liu等人 [16] built a Retinex- inspired unrollingframework with architecture search[16 ]，最近一次构建了一个Retinex--利用架构搜索构建的unrolling框架。这些深层网络是被设计的。However，他们是不稳定的，和难以实现一致的卓越性能，特别是在未知的现实世界场景，未清晰的细节和不恰当的陈述是无处不在.我们的贡献 To settle the Above Issues，we’re-我们定义了无监督训练的损失，以控制自我校准模块的影响下的each阶段的输出，确定适应性以不同的场景。根据数据分析显示，SCI拥有运营-内在适应性和模型-不相关性的普遍性，whichhave not been found in existing works。广泛的实验是导致我们的优越性反对其他国家的最先进的方法illustrate。黑暗面检测和夜间如果-mantic segmentation是伪造的，以reveal我们的实际值。In nutshell，SCI重新定义了视觉质量、计算效率和下游性能在低网络光图像增强领域的峰值。2. 建议方法The Proposed Method在本节中，我们首先引入了光学习，通过weightsharing，我们建立了自校准模块。下一个无人监督的训练损失是目前存在的。最后，我们做了一个了解我们的SCI建设的讨论。2.1. Illumination Learning with Weight Sharing（灯光学习）根据视网膜理论，there是一个连接存在于低光观测y和去中心化图像z：y=z x，x代表发光组件之间。一般来说，照明是查看作为核心组件，需要为低光图像增强进行最佳化。高性能的输出可以通过删除估计的光照对视网膜理论的影响来实现。在本文中，由stage-wise optimization process for illumination presented in theworks [8，16]，by introducing a mappingθ with param-etersθ to learn the illumination，我们为模型提供了一个渐进的视角，基本单元是书面的。velop a novel Self-Calibrated Illumination（SCI）learning framework for fast，flexible and robust low lightimage en-（快速、灵活和低光学习框架）F（x）：.T=Hθ. xtΣ，x0=y，（1）持有。通过重新开发照明学习过程的中间输出，我们构建了一个自校准模块，以提升单个基本块的stronger表示，并在each阶段的结果之间进行转换以实现加速。我们的主要贡献可以通过以下方式完成：我 们开 发了 一 个自 我校 准 的学 习模 块 ，使 用weight sharing来设置each stage的结果，改进指数稳定性并通过广泛的保证金减少计算机的计算。对于我们的知识最好，这是通过利用学习过程加速低光图像增强算法的第一项工作xt+1=xt+ut，其中 t和xt 代 表resident term 和illumina- tion at t-th stage（t=0，.，T（1）相应地。 它应该被告知，我们不应该在θbe中标记这个数字-导致我们采用weight sharingmechanismusing the same architecture and weightsθ ineach stage.使用相同的架构和weights θ在each stage。In fact，the parameterized operatorθ1 learns a sim- plerepresentation u t between the illumination and low-lightobservation. 在 事 实 上 ， 参 数 化 操 作 者 θ 1 在 是 -plerepresentationut这个过程是由一个共同的感觉，即，启···5640发。光和低光观测是相似的或在许多地区存在线性连接。- pared with adopting a direct mapping between thelow-light（在低光之间采用一种直接映射）2011年7月11日The architecture forHθ will be explored in Sec.3.1。5641K≥L LL LtL L LLEpoch 100 Epoch第一阶段第二阶段第三阶段第一阶段第二阶段第三阶段自校准照明学习Self-CalibratedIllumination Learning测试阶段TestPhase(a) W/O自校准模块图2。SCI的完整框架。在训练阶段，我们的SCI是照明评估和自校准模块的组成自校准模块地图添加到原来的低光输入作为下一阶段的照明估算的输入。请注意，这两个模块分别在whole训练过程中分享参数。在测试阶段，我们只是使用单一光照估算模块。ObservationandIllumination （ ACommonly-UsedPattern in Existing Works）[16，25]），学习残留代表-吨substantially reduces计算难度，以充分保证性能和改进的操控性，以及-特别是指数控制2。独立的，我们可以直接使用已经建立的过程，有一个很大的训练损失和数据，以获得增强模型。 但它是可通知的，即磁带机械- m with multiple weight sharingblocks不可避免地选择a第一阶段第二阶段第三阶段第一阶段第二阶段第三阶段(b) W/自校准模块图3。T-SNE [24]在使用自校准模块的任何时刻对each stage的re- sults分布进行比较。我们可以使用单一阶段进行测试，这就是说，SCI中each阶段的重新诠释可以快速地转换到相同的价值，但是W/O自校准模块不能全部实现它。其中t1，vt是转换输入到each stage，而<3>是与learnable 参 数 一 起 的 introducedparameterizedoperator。 Then the conversion for the basic unit in t-thstage（t ≥ 1）can be writen as（t≥ 1）当一个基本单元在t-th stage（t ≥1）时的转换可以写成Rise to Foreseable Inference成本。 分享这个分享t t t t进程，共享块的期望，输出一个结果，即关闭到尽可能 远 的 期 望 目 标 。 Going a step further ， the ideacircumstance is that the first block can output the desiredresult，which satisfies task demand.第一块可以输出期望的结果，什么满足任务需求。S. Meanwhile，最后的块输出相同，最后完全说结果是第一个块。在测试阶段，我们只是需要一个单一的块来加速推理速度。接下来，我们将探索如何实现它。2.2. 自校准模块Self-Calibrated Module我们在定义一个模块，使我们的工作站转换到同一状态。我们知道，从先前状态和第一状态的输入确定为低光观测的Each stage stems的输入A intuitive idea isthat whether we can bridge the input of each stage（ except the first stage ） and the low light observation（that whether we can bridge the input of each stage，except the first stage）and the low- light observation（一个直观的想法是，我们可以输入〔除了第一站之外〕和低光观察（即，可以共享第一站）。第一阶段的投入）到间接地探索这一阶段之间的皈依行为。为此，我们引入了一个自校准模块maps，并将其添加到低光观察中，以存在each阶段输入和第一阶段之间的差异 。 Specifi-cally ， the self-calibrated module can bepresented as自校准模块可以被呈现为zt=yøxt,G（x）：T=Kϑ（zt），（2）F（x）→F（G（x））。（3）实际上，我们的自校准模块逐渐纠正了整合物理原理的随机输入，从而间接影响了each stage的输出。Toevaluate the effects of the self-calibrated module on theconvergence，we plot tSNE distributions among results ofeach stage in Fig.计算自我校准模块在转换过程中的效果，我们在图中绘制tSNE distributions among的结果。3，并且我们可以easily注意到，each stage indeed的重新评估与相同的价值一致。但是，这个phenomenon不能在没有自校准模块的情况下被发现。另外，aboveconclusion also reflects that we indeed accomplish theintention as de- scribed in the last paragraph of Sec.在最后一段中，我们还未完成意图的反映。2.1，即多个训练-使用轻型共享模式但只使用单一块进行测试，使其堆叠块。我们还提供了图中的过度流图表2for under- standingour established SCI框架。2.3. 不受监督的培训损失考虑到存在付费数据的不准确性，我们采用非监督学习来扩大网络的能力。We定义的总损失为 总=αf+β s，其中f和s代表忠诚度和smoothing loss，分别。α和β是两个正平衡参数。S4。fidity loss is to guarantee the pixel-level consis- tencybetween the estimated illumination and the input of（像素......自校准模块照明估算Self-Calibrated ModuleIllumination Estimation5642vt=y+st，K将在补充材料中被探索2、请参阅当年的高考作文。6.4确认一下4个参数分析可以在补充材料中找到。5643H×ΣN×iHjNModelPSNREME尼克FLOP（G）TIME（S）街道（3）14.437223.51394.16840.28130.0063RUAS（1）+SCI14.735224.48843.85880.09360.0022Table 1。Quantitative comparison among different settings forθon MIT testing dataset.（在麻省理工学院测试数据集上的不同设置）In which，the basic block contains a con- volutionallayer with the size of3 3 and a ReLU layer.在which，基本块包含 一 个 CON-volutional 层 3 和 一 个 ReLU 层 。 “Blocks” and“Channels” represent the numbers of the basic block and thevariation of channels in the basic block,Table 2。SCI无法为现有的工作提供性能，如：路[16]Inwhich RUAS（d）representations adopt- ing d iterative blocksfor the unrolling process appeared in RUAS.在RUAS中，使用了迭代块。我们采用LSRW [9]数据集进行测试。Input 1 block（3-3）2 blocks（3-3-3）3 blocks（3- 3-3-3）3 blocks（3-8-3）3 blocks（3-16-16-3）图4。表1中的视觉比较与差异案例。each stage，formulated as公式化为Ty=xt（y+st）-2，（4）t=1T是Total stage number。实际上，这个函数使用的是重新 定 义 的 输 入 y+st−1toconstraintheoutputilluminationxt，rather than the hand-crafted ground truthor the plain low-light input。光的平滑属性是在这任务中广泛一致的[7，37]。Here we adept a smoothness term with spatially-variantl1norm [4]，presented as，我们采用的是无尘无尘的术语。S= ΣW I，J|xt-xt|，（5）i=1j∈N（i）输入噪声（3）噪声（1）+SCI图5。Visual comparison among different cases in Table2 .表2中的视觉比较不同情况。Overall Illumination Learning Process with the WeightShar- ing Mechanism（光学习过程）更重要的是，自校准mod- ule会议是一个工作阶段的结果转换之间的转换，它还没有在存在的工作中被探索。Moreover说：“SCI的核心思想实际上是引入额外的网络模块来协助训练，但不是在测试中。它改进了模型特征化以实现仅使用单个块进行测试。更确切地说，机械论3. Exploring Algorithmic Properties算法属性在本节中，我们进行了有关我们的专业知识的探索，可以对我们的知识产权进行分析。3.1. Operation-Indisitive Adaptability在一般情况下，在基于网络的meth- ods操作中使用的可以是固定的，不能被更改仲裁，因为这些操作是在大规模支持下完成的试验。幸运，我们的建议algorithm紧急情况其中N 是pixels 的总数。我是 我的pix- el 。（ i ）denotes the consequent pixels ofi in its5 win- dow.（i）是一个非相邻的pixels of i in its 5 win- dow。 wi ，jrepresents the weight，whose formulated form is，表示什么是重量，什么是公式不同的卓越性的惊人适应性，为你而生，为你而生。正如在Table1，we can easily观察到我们的方法找到一个稳定的.SETING设置为Hθ质量效率性Block的 Channels |PSNR尼克FLOP（G）TIME（S）13-320.60744.00910.02020.001523-3-320.58094.00750.04100.001633-3-3-320.44593.96300.06190.001733-8-8-320.57763.97110.25030.00185644-Ci、c2σ2j，c. Σ（yi，c+st−1）−（yj，c+st−1））2Σ，whereDE-不同的设置（Number of the Block3×3）YUV Color Space中的图像通道 σ=0？1ISGaussian核心的标准差。2.4. Discussion讨论In essence，the self-calibrated module plays an asiliaryrole in learning a better basic block（the illumination esti-mation block in this work）that is casted to generate the停车费。4，它可以很容易地看到，我们的SCIS有不同的设置，所有照亮了低光观测，展示了许多类似的增强结 果 。 Revisiting our de- signed framework ， thisproperty can be acquired lies in SCI not only converts theconsensus for illumination重新审视我们的符号框架，这个属性可以被认为是SCI而不是仅仅转换了照明的共识。他们 也收藏了《超 物理学原理》 （Resid- ualLearning ， But Also Integrates the Physical Principle ）[MP3! element-wise division operation）。这一经验也让我看到--Wi，j=EXPCConvolution+ReLU）。接下来，我们来介绍一下视觉--5645Dataset Metrics的最近的传统方法监督学习方法Supervised LearningMethods无监督学习方法Unsupervised LearningMethodsLECARMSDDSTARRetInInInXNet的信神DRBNKinD类型ENGAN SSIENETZerodce街道Ourspsn当前离线赛迪↑17.59930.855619.52410.869017.64640.779313.74440.739417.19020.785317.59100.784017.09350.830716.76820.834610.13960.645616.61140.814418.53720.864220.44590.8934MIT你走吧，我走了。尼克↓6.80698.8779613.26894.36276.82538.6987505.29514.64776.36775.912870.56514.26116.28509.18001812.8534.52896.65438.4146264.46615.27206.59147.4620705.26204.81666.72338.5482500.65784.26587.03827.9499812.90413.99976.38795.3423646.90475.27926.21167.8658508.29604.09336.906810.6396579.01814.17547.042910.9627273.34093.9630psn当前离线赛迪↑15.47470.463514.66940.506114.60800.503915.90620.372517.66940.548516.14970.542216.47170.492916.31060.469716.73800.487315.83370.466414.43720.427615.01680.4846LSRW你走吧，我走了。尼克↓5.998024.408934.14383.81896.73078.5431296.07945.64016.49439.4636103.23223.75376.939214.6119591.27934.14796.87455.6885194.74054.32777.20519.9968755.12834.55007.036812.0881379.89943.66366.669222.2345248.19473.77547.09889.3801261.28024.06316.872920.8010219.12843.71835.605623.5139357.41254.16876.552424.9625280.89353.6590Table 3。2个完整参考指标包括PSNR和SSIM的量化结果，以及4个非指涉指标包括麻省理工学院和LSRW数据集的DE，EME，LOE和NIQE。Input RetInexNet FIDE DRBN Kind输入RetNet不间断链接ENGAN SSIENet ZeroDCE RUAS Ours相关文章图6。Visual comparison on the MIT dataset among the state of-the-art low-light image enhancement approaches（麻省理工学院数据集--最先进的低光图像增强应用程序）Input RetInexNet FIDE DRBN Kind输入RetNet不间断链接ENGAN SSIENet ZeroDCE RUAS Ours相关文章图7。Visual comparison on the LSRW dataset among state-of-the-art low-light image enhancement approaches（英语：Low-light image enhancement approaches）对我们指定的SCI的有效性和正确性3.2.模型Irrelevant Generality我们的SCI目前是一个普遍的学习范式，如果不限制task-related自我校准模块，那么，它可以直接应用于现有工作。在此，我们接受了最近提议的代表性工作RUAS [16]作为一个样本来进行探索。Table2 and Fig.5demonstrate the quantitative and qualitative comparison（表2和图5展示了定量和定性比较）5646之前/之后使用我们的SCI到运行RUAS。很明显，虽然我们只是使用了一个单一的块（即：RUAS（1）-unrolling process of RUAS to evaluate our training pro-cess，theperformancestillattainssignificantimprovement--t。更重要的是，我们的方法可以很明显地推翻原来RUAS中出现的过度曝光。这是我们学习框架的实验性反映，它是一个脆弱的灵活性，而且它是一个强的模型无关紧要的普遍性。Moreover，it indicates thatperhaps our method can be trans，我们的方法可以被改变。5647Input RetexexNet FIDE DRBN Kind Engan ZeroDCE Ours输入Retex德Net FIDE DRBN Kind Engan ZeroDCE Ours图8。Visual comparison on some in-the-Wild challenging examples.（可视化比较一些无限的样本）更多的结果可以在补充材料中找到方法SIZE（M）FLOP（G）TIME（S）监督RetInInInXNet的0.8383136.01510.1192信神8.621357.24010.5936DRBN0.577037.79020.0533KinD类型8.540229.13030.1814非监督ENGAN8.636061.01020.0097SSIENET0.682434.60700.0272Zerodce0.07895.21120.0042街道0.00140.28130.0063Ours0.00030.06190.0017Table 4.基于CNN的方法和我们的SCI的模型大小，FLOP和运行时间（GPU-seconds for inference）。我们将专注于基于低光的任意照明-图像处理，我们将努力在未来做到这一点。4. 实验结果在本节中，我们首先提供了- tails的所有实现。我们做了实验评估。下一步，我们已经应用了暗面检测和夜间语义分段的增强方法。最后，我们对SCI进行了大幅度的分析。所有的实验都是在PC上用单个TITAN XGPU形成的。5648H图9。Precision-Recall curve on the Dark Face dataset.在黑暗的工厂数据集中进行回收。所有比较的方法和SCI探测到增强的结果。SCI+将有效地训练探测器，SCI将有效地检测和增强探测器。4.1. 执行Detailsparameter 设置。 在训 练过 程中， 我 们使用 了ADAM optimizer [13]与β参数1=0。2，β2=0999，且=10- 8。 迷你游艇尺寸设置为8学习率是从10- 4开始的。训练，而且--poch number was set to 1000 poch number设置为1000。我们采用了3卷积+ReLU with 3 channels as our default setting forθ in our allexperiments according to conclusion in Sec.（3个频道，作为我们默认设置为θ在我们所有实验中，为一致性而设置）3.1。Self-5649Input Kind Eng ZeroDCE Ruas HLA SCI+输入方式图10。人脸检测与DarkFace数据集的视觉比较更多的结果可以在补充材料中找到输入DRBN KIND ENGAN ZeroDCE RUAS SCI GT图11。在ACDC数据集上对语义分割的可视化结果更多的结果可以在补充材料中找到calculated module for convolution layers，which ensuresthe lightweight of the training process校准模块为我们的卷积层，which ensures训练过程的轻量化。事实上，网络的形式可能不是固定的，我们已经在补充材料中验证了它的实验。比 较 方 法 Compared Method As for low-light imageenhancement，we compared our SCI with four recently-proposed model- based methods （ including LECARM[20] ， SDN [10] ， S- TAR [29] ） ， four advancedsupervised learning methods（inking [3]，KinD [37]，fDE [30]，DRB- N [33]，以及four unsupervised learningmethods（GSSAN），[11 ]，[ 11 ]，[ 11] 36：7他们必在那将要审判活人死人的主面前交账。作为暗面检测，除了在检测前塑造基于绝对考虑的网络的增强工作之外，我们还比较了最近提议的暗面检测方法HLA[27]。基准描述与指标。作为低光图像增强，我们随机从MIT数据集[2]采样100张图像，并从LSRW数据集[9]采样50张测试图像。我们使用了两个完整的参考标准包括PSNR和SSIM，五非参考指标包括DE [23]，EME[1]，LOE [26]和NIQE [26]。作为暗面检测，我们使用了Dark FACE数据集[34]，该数据集是由1000个挑战性测试中随机抽样的UG 2 + PRIZE挑战在CVPR 2021中。我们检测准确度和召回率为被评估的
我的内容管理
展开
