单个室内低光场景图像的交互式照明编辑系统

视觉信息学6（2022）90具有对应深度图的单个室内低光场景图像的交互式照明编辑系统Zhongyun Bao，Gang Fu，Lian Duan，ChunxiaXiao武汉大学计算机学院，湖北武汉430072ar t i cl e i nf o文章历史记录：2021年12月19日收到2022年8月17日收到修订版，2022年2022年9月6日在线发布保留字：图像处理交互式重新照明球面谐波照明深度图本征图像分解a b st ra ct我们提出了一种新的交互式照明编辑系统，用于照明一个单一的室内RGB图像的基础上球谐照明。它允许用户直观地编辑照明并重新照亮复杂的低光室内场景。我们的方法不仅实现了合理的全局重新照明，但也增强了复杂场景的局部细节，根据空间变化的球谐照明，这只需要一个单一的RGB图像以及相应的深度图。为此，我们首先提出了一种联合优化算法，这是基于深度图的几何优化和避免纹理复制的本征图像分解，用于细化深度图和获得阴影图。提出了一种基于球谐照明的光照估计方法最后，我们使用一个简单而直观的交互式方法来编辑环境光照图，以调整光照和重新照亮场景。通过大量的实验结果，我们证明了我们提出的方法是简单和直观的低光室内场景的重新照明，并达到了最先进的结果。版权所有©2022作者。由爱思唯尔公司出版我代表浙江大学和浙江大学出版社有限公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍图像重新照明（Bao et al. ，2022）旨在重新照亮图像并增强图像场景细节，其在图像编辑领域具有广泛的应用（Zhang et al. ，2015; Haouchine et al. ，2017; Gui and Zeng，2019; Fu et al. ，2021），场景理解（Sun et al. 特别地，随着智能设备和图像编辑软件的发展，用户期望在各种照明环境下对图像进行更方便和高质量的照明编辑。但是，由于弱光环境场景中的光照和阴影非常复杂，无法用简单的光照模型表示，这使得编辑的光照在明亮部分表现出严重的缺陷，缺乏真实感，并且场景照明混乱。现有的基于图像的重光照技术虽然大多实现了图像重光照，但在复杂的低光照室内场景下重光照效果不佳，无法为用户提供简单直观的交互式重光照操作。之前的方法（Wu和Saito，2017）（IRSI）通过使用手动交互标记光斑来估计光源的位置和强度，从而为简单场景实现更好的照明编辑和增强效果但这*通讯作者。电子邮件地址：cxxiao@whu.edu.cn（C. Xiao）。https://doi.org/10.1016/j.visinf.2022.08.001重新照明方法需要精确的场景几何信息、用户注释、具有特定要求的多个甚至大量的照片或特殊的精密设备。这种方法在复杂场景中表现出较差的重光照，特别是对于低光照的室内场景。 Garon等人（2019）（FSV）提出了一种实时方法，用于从单个RGB图像中估计空间变化的室内照明。给定图像和图像中的2D位置，该方法估计给定位置处的照明的5阶球谐表示。虽然它实现了空间变化的照明，但它需要大量的数据集来训练模型，用户无法执行直观的照明编辑和交互。同时，对于低光照的室内复杂场景，其呈现出较差的重照明效果。与这些方法不同的是，在本文中，我们受到这样一个事实的启发，即由于在场景中的照明与低光环境的复杂性，照明调整不能只估计光源。我们充分结合阴影图和深度图来实现光照编辑，增强弱光场景的效果。针对复杂的室内弱光场景，提出了一种交互式光照编辑和重光照算法。该方法不仅为用户提供了一种简单直观的交互式光照编辑方式，在弱光条件下合理地对场景进行重光照，而且还能有效地估计场景的局部光照信息，对复杂场景进行光照调整和局部细节增强。2468- 502 X/©2022作者。由爱思唯尔公司出版代表浙江大学和浙江大学出版社。公司这是一个在CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表视觉信息学期刊主页：www.elsevier.com/locate/visinfZ. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9091Fig. 1. 我们的算法，从一个单一的图像在弱光环境下的复杂室内场景重照明。它只需要一个RGB-D图像作为输入，全局重新照明（第一行）以及空间变化的照明（第二行）的场景使用直观和简单的交互式方法。我们首先以RGB-D图像作为输入，其用于执行深度图细化和本征图像分解，以通过联合优化框架避免纹理复制。然后结合细化后的深度图从阴影图中估计光照，提出了一种利用球谐光照模型和光照细节图来表示复杂环境光的光照估计算法。最后，我们使用一个简单的互动式重新照明方法，通过编辑环境光地图，以直观地调整照明和重新照明的场景，为用户。实验结果表明，该方法能产生比传统方法更合理的光照效果，增强场景的局部细节，为图像修复和图像内容检索等应用提供了更好的基础。图1全面示出了复杂场景的全局重照明效果（第一行）和场景的局部细节增强效果（最后一行）。概括起来，我们工作的贡献如下：1. 我们设计了一个单一的室内场景图像重光照算法，以源RGB图像和相应的深度图作为输入，以产生一个重光照室内场景图像。它不仅实现了对整个场景的合理的全局照明，而且还根据全局-局部SH照明增强了复杂场景的局部细节2. 我们提出了一个联合优化框架，实现了由粗到细的深度图，并将输入RGB图像分解为反射率图，阴影图和光照细节图，它还可以估计场景的光照信息3. 我们的联合优化框架与我们提出的照明模型和复杂的室内场景兼容。请注意，我们的算法为用户提供了一个简单直观的交互式灯光编辑系统。2. 相关作品2.1. 深度图细化基于 RGB 图像 的深 度图 优化 方法 的总 体思 路Böhme 等人（2010）首先提出了TOF（飞行时间）相机深度图像优化方法。该方法认为一个场景的亮度图像和它们的深度图像满足一定的光照关系，并与深度图像以优化深度图。Yu等人（2013）提出了一种Kinect深度图优化方法。它使用基于块的深度图修复方法来保持深度图的结构几何形状，然后将估计的球谐照明、反射率图和修复后的Or-El et al.（2015）建立了一个针对复杂反射率场景的实时深度优化框架，可以处理自然光或多个光源。Zollhöfer等人（2015）使用SDF（signed distance function）来表示物体的表面，并结合SRGB直接优化SDF。Kadambi等人（2015）通过组合图像的偏振信息和粗略的深度图来组合来自图像的表面的法线信息，以获得更准确的深度图。这些方法的优点是RGB图像容易获得，可见光传感器的图像质量和分辨率得到了更好的发展。当真实感场景中图像表面纹理比较复杂时，在深度优化时，这些纹理会残留在深度图上，造成明显的纹理复制问题。为此，我们提出了一种联合优化算法，该算法基于深度图的几何优化以及固有图像分解，以避免纹理复制问题，并为以后实现更合理的照明提供了关键一步。2.2. 本征图像分解本征图像分解主要分为两类。一种主要是通过对图像的反射率和光照度增加更多的约束条件来实现更好的区分。 Rother等人（2011）为反射率增加了新的先验信息，假设反射率的颜色值在稀疏色调集中，并且反射率分量的分解不需要知道边界信息。更多方法（Shen和Yeo，2011; Shen et al. ，2013）观察到具有相似色调的相邻像素在反射率图中倾向于具有相同的反射率值。Li和Brown（2014）根据梯度直方图将图像分为两层，并建立了概率模型框架进行优化。这些限制通常针对白天或日常室内环境。其他人使用统计学习来区分反射率和光分量。例如，在该方法（Tappen et al. ，2003），分类器用于识别Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9092∑×⏐⏐∑SirH图像的局部灰度块属于反射还是照明。该方法（Tappen et al. ，2006）使用非线性回归将图像分解成阴影图、反射图和噪声图。近年来，随着深度学习的发展，许多内在图像分解方法都取得了很好的效果。该方法（Fan et al. ，2017）结合了深度神经网络，并且对边缘信息敏感，并且该方法（Lettry et al. 使用完全卷积网络联合估计反射率和照明。2.3. 照明估计和编辑许多照明编辑方法首先估计光源的位置、方向和强度，然后编辑属性深度图中的纹理成分被保留的现象称为纹理复制，它会进一步影响光照编辑的效果，使光照后的图像出现额外的纹理缺陷。为了避免纹理复制问题，获得更好的光照效果，提出了一种避免纹理复制问题的深度图几何优化算法。受方法的启发（Or-El et al. ，2015; Xu等人，2012），我们首先将图像分解为纹理层和结构层，然后使用结构层优化深度图以解决纹理复制问题。我们还发现，相对全变差模型（RTV）（徐等。，2012）适用于去除低光图像的纹理，同时保留它们的结构信息。RTV模型定义如下：然后将它们结合起来，以获得一个光编辑RTV=∑νd（p） 、（1）形象Cao和Shah（2005）提出了一种用于估计场景的线性光源的方 法。 方 法（ Chandraker 和 Ramamoorthi ， 2011; Hara et al.2007）进一步利用场景中的各种信息来提高线性光源估计的精度，例如大的室外场景中的天空和地面区域信息。然而，我们的论文的重点是估计和编辑低光环境中的照明，d∈{x，y}<$d（p）+ε其中p是指图像中每个像素的位置，d是指水平x和垂直y方向，ν是窗口的总变化，ε是窗口的固有变化，ε是一个小值，以避免除以0。加窗总变差ν被定义为：我们不能简单地假设场景中的光源是线性光源。Xu等人（2018）提出了一种最优稀疏νd（p）=q∈n（p）g（p，q）<$（S）q<$，（2）基于深度学习的采样方法，训练给定的光源位置和形成的图像来调整线光源。该方法（Cao和Shah，2005;Lagger和Fua，2006）集中于非线性光源的估计，并提出了一种其中，S（p）表示以像素p为中心的矩形区域，其大小为3 × 3，S是仅包含结构信息的待求解图像，g（p， q）是权重函数。加窗的固有变化ΔId被定义为：基于镜面反射的光源估计方法。虽然可以通过一些方法获得场景中物体的三维信息，但真实环境中的场景往往呈现复杂的几何结构，且亮点具有较强的d（p）=q∈n（p）g（p，q）（S）q≠.（三）对物体表面法线的敏感性，使得这种类型的方法仅适用于简单的几何模型。一些方法通过给出多个图像和特殊设备来实现更准确的照明估计，例如以下方法（Boyadzhiev et al. ，2013; Ren et al. ，2015;Tunwat-塔纳蓬等人，2011）在不同的光照环境下使用多个图像来实现灯光编辑的效果然而，在这方面，RTV模型可以有效地表示原始灰度图像。为了分离原始灰度图像中的纹理和结构，需要求解最小化方程，其定义如下：arg min∑（ S （ p ） −I （ p ） ） 2+λsRTV （ p ） ，（ 4）这些方法对拍摄的要求很高，要求我们固定摄像机的位置以及改变场景照明的区域。Wu和Saito（2017）提出了一种交互式LDR图像增强方法。该方法可以实现更好的真实光照编辑和增强效果。但他们假设的场景比较简单，该方法只适用于夜间大型户外场景，需要通过人工交互构建几何场景，对用户输入有一定要求。3. 概述本文提出了一种在弱光条件下估算大型复杂室内场景照度的方法，并通过一种直观、简单的交互式方法对场景进行重照明。我们不仅实现了合理的全局重光照，而且通过空间变化的光照增强了复杂场景的局部细节。详细的算法结构如图所示。 二、3.1. 深度图现有的很多作品都采用了从明暗恢复形状的方法来优化深度图的细节，得到了较好的效果。然而，由于物体表面的纹理信息是未知的，大多数现有的方法假设它是一个恒定的或稀疏的图像块，这是带入深度图。的其中I和S表示原始灰度图像，结构图像。注意，第一项是为了使结构图和原始灰度图像尽可能接近，第二项是为了使图像中的结构成分尽可能突出在去除图像的纹理之后，我们可以将该分量近似为常数。然后，我们使用基于球谐函数的方法（Landis，2002）提出的球谐照明来解决这个问题。在对低光照场景深度图进行优化的过程中，虽然去除了原始RGB图像的纹理信息，但其中仍然包含阴影和高光信息，因此Lambert模型的假设并不适用于表示它们。为此，基于RGBD-Fusion方法，我们首先构建一种非朗伯光照模型，然后利用球谐函数对图像进行光照估计和反射率约束，最后求解能量方程得到优化的深度图。本文中结构图像的光照模型表示为：S（p） =ρ（p）H（p） +β（p） ，（ 5）其中ρ表示图像中梯度较大的分量，主要包括较大空间尺度的反射率和阴影，较大空间尺度的阴影为球谐照明模型，β为高光信息。在建立非朗伯照明模型后，我们首先pZ. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9093D−→˜∑图二. 提出的方法的总体结构。它包括照明编辑和重新照明机制。该方法的核心思想是估计光照在弱光条件下对大型复杂的室内场景进行重新照明，并通过直观、简单的交互方式，路上了在紫色框中，箭头的左侧表示系统的输入，箭头的右侧表示系统输出的子结果假设反射率图是常数以通过该方法求解照明H（p）（Wu等人，，2014年）。另外虽然并且被定义为：W（pD（p）−D（q）原始深度图是粗糙的，对它的几何细节并不敏感因此，我们假设d，q）=exp（−2σ2）的。（九）ρ和β总是分别为1和0，建立球谐照明模型并求解其系数。由于图像只包含结构信息，大部分内容分布在低频部分，并且可以通过较低阶的球谐系数来使用光。因此，我们使用一阶球谐模型H（p），其定义如下：H（p）=h1<$N（p）+h0，（6）N（p）是物体表面在点p处的单位法线。在光照模型（5）中，当结构图S和光照保持恒定时，深度图的细节与ρ和β具有更大的相关性。为了避免结构图中的反射率、阴影和高光对深度图的影响，我们建立以下约束关系p为p。类似地，Wd测量深度图和反射率图之间的关系。当深度急剧变化时，反射率的差异将更大，并且将获得相对小的Wd由于ρ表示反射率的梯度很大，高光对它的影响很小，我们首先让β为0，然后求解一个最小化方程问题来找到ρ：argmin ∑<$ρ（p）H（p）− S（p）<$2 + λ ρ<$$>（p）<$2。（十）3.2. 本征图像分解在本文中，我们将3.1中获得的细化深度图像和阴影检测获得的阴影边界置信度图像相结合，将给定的原始RGB图像分解为反射图，阴影图和阴影图。此外，为了减少图像的反射图和阴影图之间的模糊性，我们利用能量最小化（p）=q∈n（p）Ws（p，q）Wd（p，q）（ρ（p）−ρ（q）），（7）方程中包含数据项、平滑项和常数项，求解未知量，得到分解图像。的其中Ws是与结构图结合的约束函数，其定义为：{0，<$S（p）−S（q）<$2≥τ22σ能量优化模型如下：E（R，S，H）=Edata（R，S，H$）+λsEsmooth（R，S，H）+λcEconst（R，S，H），（十一）Ws（p，q）=exp（S（p）−S（q）<$2），其他wise（8）S其中变量R、S和H是反射图，阴影地图，和阴影地图，分别解决;E数据是其中τ是结构的反射率变化的阈值地图该函数表示在结构图的点p的场中，另一点的像素值与点p的值之间的差越大，则WS（p， q）将越小。Wd是与深度图组合的约束函数数据项，该数据项使求解的反射图，阴影图，和阴影图来尽可能地重建原始RGB图，Esmooth是平滑项，Econst是常数项。λs和λc分别控制平滑项和常数项的大小其中−→h1和h0分别为1阶和0阶球谐函数ρpZ. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9094{}2=p，pp，√DLSH∑PQ2L数据限制。我们假设环境中的光线是白色的，也就是说，明暗贴图是一幅灰色的图像。因此，我们认为，对于RGB图像的每个颜色通道，建立数据约束，即，S c R c H c，cR G B此外，使图像的三个通道的结合更加紧密其中I和R分别表示源RGB图像和反射率图像。对于阴影的恒定约束，我们选择可靠区域中的像素，并将其阴影值约束为1，并保持颜色值恒定。约束条件定义如下：对于白色，我们添加一个权重系数ωc数据项定义如下：在每个频道。的E常数 （H）=∑Hp -1岁，（22）E数据=ωiwc∈∑{R，G，B}ωc|I c− S c− R c− H c|第二章，（十二）p∈Nb其中，Nb是可靠区域，其被定义为具有其中，ωR，ωG，ωB为0。299，0。587，0。114，ωiw权重系数是一种形象内涵--阴影边界及其相邻像素的强置信度3.3. 交互式编辑照明和重新照明平滑约束。平滑项包含三个能量约束项：平滑反射率Ers、平滑光Ess和平滑阴影Ehs。平滑项定义如下：Esmooth（R，S，H）=Ers（R）+γsEss（S）+γhEhs（H），（ 13）其中，γs和γh分别是光照和阴影平滑权重系数。我们假设反射率图是由一些恒定的图像块组成的，这是反射率稀疏性的体现。该假设可以通过以下能量最小化函数来实现：Ers（R）=∑|CB（p）|∑ωR<$Rp−Rq<$，（ 14）我们的算法的核心思想之一是提出一种简单直观的交互式光照编辑方法，在弱光条件下重新照亮复杂的室内场景。为此，提出了一种基于球谐照明的光照编辑和重光照方法对于复杂的弱光场景，该方法可以将球谐光照模型与光照细节图相结合进行表示，也可以通过交互式的球谐参数调整方式直观地进行调整或增强。该算法不仅实现了复杂场景的全局光照，p∈ Rq∈N通过空间变化的照明场景。这里ωR是反射块的权重，N表示CB（p）是阴影边界置信度图像，其可以如下计算：CB（p）=VB（p）VD（p），（15）其中，D是细化的深度信息，并且VB，D（p）表示如下：L{B，D}（p）2+L{B，D}（p）2Xy球谐照明模型。 由于光照编辑只涉及到明暗贴图和阴影贴图，因此本文的目标是找到一种更有效、更方便的方法来编辑它们。此外，我们还在室内低光条件下处理具有复杂场景和未知光源的因此，我们使用球谐照明模型来表示由更高次的球谐函数的场景的照明。我们将光分解模型定义为VB，D（p）=x y，（16）D{B，D}（p）2+D{B，D}（p）2+ε如下所示：S（p）=（p）（p）、（23）其中，L和均值内禀变分函数和全变分-功能对于着色贴图，相应的约束如下：其中，是照明细节贴图，是球形谐波照明图及其计算方法如下：N∑N∑pSH（p）=ci Yi（p），（24）i=1Ess（S）=（1−CB（p））<$Sp−q∈Np ωpqSq，（17）其中Y是球谐基函数，N是球谐基函数，并且c是球其中ωN可以通过以下优化函数获得问题：谐波系数照明估计和分解。 我们首先假设2∑N∑ω确定光照细节图为常数图，并估计球谐参数，然后利用这些参数argminNPQN（p）−p∈ PNq∈Nl（p）ωpqN（q）.（十八）渲染球面谐波照明贴图，该贴图用于计算照明详细地图，通过结合原始对于阴影贴图，我们需要一个平滑约束，对阴影边界敏感：E（H）=∑（1−|C（p）|）∑H−H，（19）着色贴图。 为了便于计算和表示，我们将深度图像的所有球谐基函数构造成矩阵hs B p qpq∈Np（Y0（P0）...YN（P0））=其中Np表示与空间p相邻的像素。不断的约束。 常量约束包含两个个.........，（二十五） Y0（P n）...YN（Pn）项、色调项和阴影常数项，定义如下：SH2Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9095HEconst （ R ， H ） =Ech （ R ） +αEsc （ H ） ，（ 20）其中Ech（R）是反射色调约束，Esc（H）是阴影的恒定约束。反射色调约束的定义如下：其中p0... 是深度图中的所有像素使成球形调和光照尽可能接近原图的明暗，应满足以下关系：argminS（p）−A·h，（26）其中h是由球谐系数组成的列向量，即，IR2Ech（R）=εI+ε−R+εI，（21）h=（A TA）−1A TS（p）。（二十七）Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9096∼Ni=∑j图三. 球谐光分解结果。从左到右分别是着色贴图、光照细节贴图和球谐光照贴图。见图4。 环境光照贴图的绘制过程。从左到右分别是球谐系数、立方体图和光分布图。在使用球谐照明模型来近似着色贴图之后，可以通过以下公式直接求解照明细节S（p）L（p）=A·h+ ε。（二十八）照明细节图和球谐照明的分解结果如图所示。3 .第三章。光照细节图主要是由场景中的高频局部光照引起的，而球谐光照主要代表外部环境光对场景的影响在本文中，我们使用球谐照明来表示环境光，并且不需要假设单一光源。实现了对整体球谐照明的灯光编辑。球谐系数不能直接反映照明状况，需要通过交互的方式实现对照明的直观调节。因此，我们设计了一种光照编辑方法，通过调整环境光照图来实现场景中的灯光环境照明表示。立方体贴图或球面贴图通常用于计算机图形学中以表示环境照明。立方体映射最早由Greene（1986）提出，它能更好地保持场景的原始光照形状，更直观地显示各个方向对应的区域，因此本文采用立方体映射来表示环境光的分布。对于固定的球谐系数，相应的环境光也是固定的。本文通过球谐照明的估计，计算出一组球谐系数，并将球谐系数绘制成立方体贴图。为了便于计算，立方体贴图的边长设置为1。环境光照图的绘制过程如图所示。 四、根据图4、球谐参数可用于获得各个空间方向的光照。因此，我们首先将每个像素映射到立方体贴图的空间位置，然后对立方体贴图上的所有点进行渲染，为每个面生成光照贴图。用户交互和编辑。我们通过编辑环境光贴图来改变环境光，这会增加线条或地图上的白点，通过用户交互来增加图五. 用户交互的环境照明。从左到右分别是原始环境照明、用户交互和重新估计的环境照明区域光，用黑色填充明亮区域以去除原始照明，或增加贴图的整体亮度以增强整体图像照明。然而，用户的输入具有很大的不确定性。如果将这些包含随机图案的贴图作为环境光直接添加到原始场景中，渲染后的图像会出现明显的缺陷。因此，在用户编辑环境光照图之后，我们对新的环境光照图进行重采样以估计新的球面谐波参数。由于球谐照明表示低频照明信息，因此球谐参数对于用户输入是鲁棒的。即使用户编辑的环境光是混乱的，在对环境光进行重构后，交互过程中的一些高频细节也不会被带入到光中，可以更好地重构环境光。如图5、（b）中的白线是用户添加的光线。在重新评估球谐照明后，该区域形成更柔和的区域光。全球重新照明。注意，球谐函数是在球面上定义的。在估计球谐参数时，需要保证球面上的均匀将具有深度图的RGB图像投影到空间点云中，然后将其转换到球坐标系中，图像的中心区域通常是稀疏的，并且图像的角点更密集。为了消除这种抽样误差的影响，我们首先使用正态分布生成一个三坐标值序列。即（x，y， z）N（0， 1），这些点在原点的各个方向上均匀分布，然后对这组点进行归一化，得到一组均匀分布的点，它们位于半径为1的球面上，记为s。我们应用方法（Green，2003）对环境光贴图进行采样并计算球谐参数：C4π男 （ 多 ） 女 （ 多 ） ，（ 29）Nj=1其中M（s）表示环境光图上从原点到点s的矢量的亮度值。在对球谐光照进行采样和编辑后，我们结合球谐光照贴图、光照细节贴图和反射贴图对场景进行重新渲染，渲染方法如下：I′（p）= R′（p）L（p）SH（p）。（ 三十）空间变化的重新照明。虽然全局照明通过单个球谐基实现了在场景的某个方向上的重新照明和整个场景中的整体亮度增强，但是全局照明不能同时忠实地表示所有表面点的场景照明，换句话说，它不能准确地增强场景的局部细节。由于环境光的特性，为此，我们还提出了一种空间变化的重光照方法，通过重光照局部场景来增强局部细节。Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9097===×见图6。 弱光图像的灯光编辑和增强效果，其中奇数行为RGB图像，偶数行为对应的环境灯光编辑处理;对于图像列（a）为原始图像，（b）为原始图像，(c)是添加光源后的结果;（e）是整体光增强的结果。受该方法的启发（Maier et al. ，2017），我们首先应用Mask-RCNN（He et al. ，2017）来分割目标场景，然后我们假设场景被划分为具有N组不同的照明系数的N个局部场景块，对于每个分割的局部场景块，我们使用具有直到二阶的球谐系数的未知照明系数L，通过与全局重照明相同的方法来表示照明信息。4. 实验4.1. 实施和参数设置本文利用MATLAB实现深度图优化和本征图像分解，测试机配置Intel i3-4130处理器和12 GB内存。RTV调整参数设置为λs0的情况。015,纹理过滤器窗口大小被设置为3，并且结构图约束调整参数σs为0。反射率图约束调整参数设置为σd7 .第一次会议。071和最小权重系数λp、λβ2、λβ1、λd1、λd2分别被设置为0.1、1、1、0.004和0.0075。为优化我们的方法大约需要一分钟。在实验中，当使用深度图优化方法和本征图像分解方法进行预处理时，总时间约为三分钟。我们使用ICL-NUIM和纽约大学数据集来实现照明编辑.使用C ++、Pytorch和OpenCV实现照明编辑和重新照明。实验中使用的每个图像的大小光分解过程在试验机上平均为0.78s，光合成过程平均为1.01s。通过图像编辑软件在扩展的环境光图上执行用户交互。编辑过程主要包括添加光源、增强整体照明以及移除现有照明。编辑多个场景后，结果如图所示。六、可以看出，编辑环境光贴图可以有效地调整场景光照，调整后的场景保持真实感。注意，图1的（b）和（c）图6示出了从不同照明方向的重新照明结果，并且（d）示出了通过照亮整个场景的重新照明结果见图7。该方法与IRSI的结果比较，（a）是原始图像;（b）和（c）是IRSI的光编辑结果;（e）和（f）是我们的重照明结果;（d）和（g）是（c）和（f）的局部细节。见图8。我们的方法和FSV的视觉重新照明结果。(a)是源图像;（b）和（d）分别是全局重照明图像和局部重照明图像。第一行结果由我们的方法产生，第二行结果由FSV获得（c）和（e）是它们的局部细节图像。4.2. 与最先进方法的我们将我们的方法的照明编辑效果与IRSI（Wu和Saito，2017）和方法FSV（Garon等人，2017）进行了比较。，2019）。IRSI是一种交互式照明编辑方法。首先，用户标记场景中的三维平面和照明IRSI主要是对模型进行调整，包括点光源、线光源和聚光灯，而我们的方法是对环境光进行调整。为了使比较结果有效，当使用两种方法编辑照明时，我们只在垂直于地面的方向上添加直线照明图7是我们的方法和IRSI之间的比较结果。其中，（b）和(e)加强整体照明，以及（c）及（f）在楼面正上方从图块（d）和（d）可以看出，(g)IRSI方法的结果在诸如沙发的平面的界面处具有不自然的亮度突变。这是因为IRSI假设场景由几个简单的平面组成这种假设在一些室外简单建筑物场景中是合理的，但在复杂的低光室内场景中，它往往会导致被照亮的物体发生扭曲。由于充分利用了场景深度图信息，该方法可以更好地对复杂场景进行光照编辑，并且在细节上比IRSI方法取得了更好的效果例如，在我们的算法中，场景中的板的亮度随着垂直照明的增加而改变，并获得了合理的重照明效果。该方法FSV提出了一种实时的方法来估计空间变化的室内照明从一个单一的RGB图像。对于具有对应的2D局部块的给定图像，他们的方法估计给定位置处的照明的5阶球谐表示。虽然该方法实现了局部光照估计和重光照结果，但它依赖于大量的训练数据集。与我们的方法相比，如图所示。8、该方法对复杂的室内场景和过曝场所较为敏感，Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9098×见图9。使 用 我们的方法在不同复杂的室内场景中进行全局重照明的结果;（a）是原始图像，（b），（c）和（d）是全局重照明的结果，它们分别通过从场景的顶部，左侧和前方添加光源从场景的某个方向重照明。(e)都是重新点火。见 图 10 。 对 比 了 我 们 的 方 法 和 LIME 的 弱 光 图 像 增 强 结 果 （ 在 相 同 条 件 下 ：y=0.7）。从左到右分别表示原始图像、LIME增强图像、我们的重光照图像以及LIME和我们算法实验效果的局部细节比较。见图11。场景的全局重光照和局部重光照结果。(a)是原始图像，（b）是全局重新照明图像，以及（c）是局部重新照明图像。再照明效果。相反，我们的算法对这些因素有很强的容忍度，可以获得更好的重光照效果。全球重新照明。 为了验证该算法在不同弱光室内复杂场景中的重光照效果，我们选取了两组室内场景，利用该方法对它们的重光照效果进行了可视化。图9、我们选择两种不同的室内场景，分别是640480.我们使用交互编辑的方式添加在场景的不同方向上的光源以重新照亮场景。第一列图像是原始图像。从第二列到第四列，它们分别是通过从场景的顶部、左侧和前部添加光源而全局重新照明的结果。最后一列图像是整体重新照明的结果。这一点可以从吸引人的Fig. 9、我们的算法可以实现不同室内复杂场景下的重光照，重光照效果相对自然、逼真，有效增强了弱光条件下的场景光照此外，我们的方法不仅可以实现光照编辑，而且可以通过对环境光进行伽马校正或编辑见图12。在复杂的室内场景中进行了全局重光照和全局-局部重光照。(a)是原始图像，（b）和（d）是全局重光照，（c）和（e）通过组合全局和局部球谐系数来实现全局-局部重光照。环境光转换成具有更高亮度的恒定图像。此外，我们与LIME方法（Guo et al. ，2016年）。LIME是一种基于本征图像分解的弱光增强方法，结合伽马校正进行光照调节。为了使其他结果忠实于他们的方法，我们使用与LIME相同的伽马校正参数来调整环境光照贴图。 如图 10、参数y =0.7用于此结果。虽然两者的整体亮度水平比较接近，但在细节上有很大的区别：LIME没有考虑图像的三维信息在我们的方法中，由于场景的原始环境光被增强，结果更接近真实的照明增强，并且增强的原始图像的较暗区域具有较少的缺陷。当地重新照明。虽然我们已经实现了室内复杂场景在弱光条件下的全局重照明，并且所达到的照明效果更加逼真，但它无法准确地增强复杂场景的局部细节。为此，我们提出了一种空间变化的重光照算法，以实现局部细节增强的场景。可视化增强效果如图1A和1B所示。11和12在图11中，我们分别在原始图像（a）上实现全局重新照明（b）和局部重新照明（c）。我们可以看到，照明细节的板块，三种不同光照条件下的场景与放大局部块的效果明显不同。特别地，对于局部重新照明，图像（c）中的板的照明细节比Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）9099×图十三. 使用我们的方法在有和没有深度图优化的情况下对单个室内图像进行视觉重新照明的结果。第1行：具有深度图优化的重新照明图像;第2行：没有深度图优化的重新照明图像。(a)输入. (b)和（c）分别是来自单个方向的重光照图像和对应的细节图;（d）和（e）分别是整体重光照图像和对应的局部细节图。他人 图图12示出了与仅用全局球谐系数相比，用全局-局部球谐系数更好地近似场景中的局部重新照明。根据图像（b）和图像（c）之间的比较结果，或者图像（d）和图像（e）之间的比较结果，我们可以看到4.3. 消融研究为了验证我们的联合优化算法的有效性，我们展示了我们的方法在有和没有深度图优化的情况下的定量结果图13，我们可以看到，深度图优化的方法（即，全框架）与没有深度图优化的方法相比实现了从照明细节图像（c）或（e），前者获得包括合理的照明和清晰的纹理细节的更好的重照明效果通过实验分析可知，后一种现象是由于纹理复制和深度图粗糙造成的。4.4. 用户研究为了进一步评估由我们的方法产生的重新照明图像的质量，我们遵循该方法（Li et al. ，2018）进行感知研究，以进一步评估我们的方法。我们选取了60幅室内场景照明图像进行研究。30幅图像来自真实世界，其他的是由我们的方法生成的。所有图像的分辨率设置为640 480。然后，我们从一所学校招募了60名参与者，包括专业的图像处理研究人员，Photoshop用户和高级艺术学者。我们将每幅图像分为三个视觉层次：（1）真实：真实的照明图像，（2）假：带有伪影的不真实的重新照明图像，（3）不确定：他们无法做出决定的不确定图像，并要求他们给出他们的判断结果。不同方法的用户研究结果见表1。我们可以看到，对于我们的工作，63.2%的真实图像被判断为真实图像，其余的真实图像被判断为假图像或不确定图像。FSV、IRSI方法分别有52.7%、55.4%的真实图像被判定为真实图像。此外，我们的方法的合成图像的54.1%被判定为真实图像，这与真实图像几乎相同的判断结果。这进一步证明了我们的方法在处理重光照任务时具有良好的性能。表1知觉研究的结果来自不同的方法。方法数据类型房假不确定FSV真实/复合0的情况。527/04960的情况。312/0。3750的情况。161/0。129IRSI真实/复合0的情况。554/0。5010的情况。273比0。3240的情况。173比0 175我们真实/复合0的情况。632/0。5310的情况。251/0。3260的情况。117比0 133见图14。视觉故障情况：输入源图像（a），输出重新照明图像（b）和（c）。4.5. 限制我们的方法以RGB-D图像作为输入，然而，许多现有的低光室内图像与更复杂的场景是难以获得的深度信息。即使是目前的深度学习方法也无法准确估计相应的深度信息，这将给重新照明带来挑战。我们的算法产生了如图所示的失败结果. 十四岁 可以看出，重新照亮的图像（b）和（c）获得了具有杂乱纹理和边界伪影的失败效果。我们相信，我们可以直接使用端到端的深度学习方法，在未来为复杂的室内场景实现更好的5. 结论本文提出了一种在弱光条件下实现室内复杂场景重显的交互式光照该算法不仅实现了室内场景的全局重光照，而且能够增强复杂场景的局部细节，只需要一幅RGB图像。为此，我们首先提出了一种联合优化框架，对输入深度图进行优化，避免纹理复制现象，并产生精细的深度图，实现RGB图像的本征分解然后提出了一种基于球谐函数的光照估计算法，并将其与精细深度图相结合，对分解后的阴影图进行光照信息估计。CRediT作者贡献声明中云宝：概念化，方法论，软件，分析-初稿准备，可视化，调查。傅刚：数据策展，写作-审查和编辑。连端：软件，可视化，调查。肖春霞：透视、写作、审校.Z. 鲍，加-地富湖，澳-地Duan等人视觉信息学6（2022）90100竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作伦理批准本研究不包含任何作者对人类或动物受试者进行的任何研究。研究中使用的所有数据都来自过去发布的公共数据库。致谢本工作得到国家自然科学基金项目（No.61972298）和兵团科技计划项目（No.20000000）的部分资助。2019BC008）。引用鲍志，朗角，澳-地Fu，G.，Liu，D.，中国科学院，李，Y.，吴，J.，Xiao，C.，2022.基于图像的深度照明协调。在：IEEE/CVF计算机视觉和模式识别会议的论文集。^P.V.，pp.18542-18551。Böhme，M.，Haker，M.，Martinetz，T.，Barth，E.，2010年。 阴影约束提高了飞行时间测量的精度。Comput.目视图像理解114（12），1329-1335。博亚季耶夫岛巴黎，S.，巴拉，K.，2013.摄影照明的用户辅助图像合成。Acm