稀疏针状体照明估计方法及其在高动态范围重新照明中的应用

12830考虑球面传输损失的稀疏针状体照明估计展方能*1，2，4张长工*2胡文博3，2卢世坚†1马飞鹰2谢玄松2凌少41南洋理工大学2阿里巴巴集团达摩3香港中文大学4Inception Institute of Artificial Intelligence摘要准确的照明估计对于许多计算机视觉和计算机图形任务（诸如高动态范围（HDR）重新照明）是具有挑战性的，但也是关键的。现有的方法在频域或空间域中对照明进行建模，这不足以表示场景中的复杂照明条 件 ， 并 且 倾 向 于 产 生 不 准 确 的 本 文 介 绍 了NeedleLight，一个新的照明估计模型，表示照明与针状物，并允许照明估计在频域和空间域联合。一个最佳的阈值函数的设计，以实现稀疏针修剪冗余的照明参数，并表现出优越的本地化属性的照明表示。此外，一个新的球形传输损耗的基础上设计的最佳传输理论，指导回归照明表示参数与考虑的空间信息。此外，我们提出了一个新的度量，是简洁而有效的直接评估估计的照明图，而不是渲染图像。大量的实验表明，NeedleLight实现了卓越的照明- ING估计一致跨多个评价米- rics相比，国家的最先进的方法。1. 介绍光照估计的目的是从具有有限视场的单个图像中恢复光照。它在各种计算机视觉和计算机图形任务中具有 广 泛 的 应 用 ， 例 如 混 合 现 实 中 的 高 动 态 范 围（HDR）重新照明等。然而，照明估计是一个具有挑战性的和不适定的问题，因为它需要预测来自完整的方向球的照明，包括从场景中的当前视图未观察到的那些。另外，通常需要从低动态范围（LDR）观察推断HDR照明，以便照明。*同等贡献†通讯作者虚拟对象逼真，同时将它们插入到真实场景图像中，如图所示。1.一、照明估计已经通过在频率域[7，15]）或空间域[14，13，33，34]中回归各种照明表示的参数来解决。然而，频域中的照明估计通常表示缺乏空间定位能力的球谐（SH）照明。因此，它倾向于捕获全局照明而不是光源的精确空间位置，这通常导致弱阴影和阴影效果，如Garon等人所示[15]图1。在空间域中的照明估计已经通过直接生成的照明图或间接重建通过球面高斯函数解决。然而，照明图的直接生成通常导致更差的泛化，因为照明估计本身是欠约束问题，并且球面高斯通常涉及如[13]中所描述的复杂训练过程空间域中的两种类型的方法都没有明确地考虑照明频率，并且因此导致不准确的重新照明性能，如Gardner等人所示。图1的[13]。由于在训练中使用朴素L2损失，高频信息也往往变得模糊。另外，照明估计中的现有评估度量通常评估用预测的照明图渲染的对象，这是耗时的并且对测试设置敏感。在这项工作中，我们提出了NeedleLight，一个新的模型，介绍了针准确和强大的照明估计从一个单一的图像。Needlet作为新一代的球面小波，在频域和空域都具有良好的局部化特性，是光照表示的理想基础。此外，为了去除针尖系数中干扰主光源回归的冗余参数，我们设计了一个最优阈值函数来实现稀疏针尖，从而大大提高了光照估计与球谐系数不同，针状系数在单位球上空间局部化。利用12831(a) Garon等人[15]（b）Gardner等人[13]（c）我们的（d）地面实况图1.建议NeedleLight估计一个参数照明表示从一个单一的场景图像，这是至关重要的许多任务，如虚拟对象插入。与仅在频域[15]（丢失空间定位）或空间域[13]（丢失频率信息）中预测照明的先前方法不同，我们引入了一种新的针状物基础，其能够在频域和空间域中准确地表示和估计照明。针对回归分析中的空间信息，提出了一种基于最优传输理论的球面传输损失（STL）方法STL能够通过成本矩阵捕获空间信息，并且比朴素L2损失更准确地估计针状系数此外，STL采用辅助点策略，保留了高频信息，大大降低了所需参数的维数。基于STL，我们设计了一种新的度量方法，通过测量光照图之间的差异来评估光照估计。新的度量标准大大简化了评价程序，并提供了简洁而有效的评价方面的照明颜色，强度和位置。这项工作的贡献可以概括为三个方面。首先，我们引入了一种新的针基照明表示，它允许回归的参数，在频率和空间域同时。其次，我们开发了一个最佳的阈值函数，以实现稀疏针状，有效地消除冗余针状系数，提高照明估计。第三，我们设计了一种新的球形传输损耗（STL），有效地利用回归中的针状系数的空间信息。与STL，我们还设计了一个新的评价指标，是更简洁和有效的比现有的评价指标。2. 相关作品照明估算：光照估计是计算机视觉和计算机图形学中的一个经典挑战，对于虚拟对象插入[11，18，44，2，16，39，28，37，5]和图像合成中的真实感重新照明至关重要。[37，41，38]。传统方法需要用户干预或关于底层照明模型、场景几何形状等的假设。例如，Karsh etal.[17]从单个图像恢复参数化3D照明，但需要用户注释初始照明和几何估计。Zhang等人。[42]需要完整的多视图3D场景的重建。Lombardi等人[24]用低维模型估计来自已知形状的对象的照明。最近的工作通过回归表示参数或生成照明图来估计照明[21，36，16，43，23，6，30]。例如，Cheng等人。[7]回归了全局照明的SH参数，但存在渲染器损失。Garon等人[15]通过从背景图像和局部块预测SH系数来估计照明。Gardner等[13]估计光源的位置、强度和颜色，并用球面高斯函数重建照明图。Gardner等[14]使用两步训练策略直接生成照明图。Song等人[33]使用卷积网络来预测环境地图中未观察到的内容。Leg-endre等人[19]通过将地面实况球面图像与具有预测照明的渲染图像进行比较来从LDR图像回归HDR照明Srinivasan等人[34]估计场景的3D体积RGB模型，并使用标准体积绘制来估计入射照明。Zhan等人[40]提出将照明的回归公式化为球形分布的回归。Needlets：Needlets是新一代球面小波[32]，在空间和频率域都具有理想的定位能力Narcowich等人[29]首先在功能分析文献中介绍了needlets。Baldi等人[1]进一步分析了针头的统计特性。由于在像素空间中良好的局域化特性，针状体已被广泛应用于宇宙微波背景的研究[31，26]。上述工作在频域或空间域中估计照明，这不足以捕获真实场景中的复杂照明。另外，大多数现有的工作用朴素的L2损失或其变体来回归照明，其努力回归高频信息并且经常引入模糊。我们介绍了照明表示的needlet基础，允许12832∈β=sΣ∈·Σ|L|∗∝−||||ΣϕΣ2在频率域和空间域两者中联合地回归照明提出了一种新的球形输运损失，以实现针状系数的稳定和准确的回归。有关照明表示、球面传输损耗的详细信息将在随后的章节中给出。3. 该方法所提出的NeedleLight通过从单个图像回归针状系数来估计照明，如图所二、设计了一种新的球形输运损失，以下小节描述针状物和球形传输损耗如何一起工作以进行准确且鲁棒的照明估计。3.1. 基于Needlets的照明表示Needlets [1，29]是一种新型的球面小波，已成功地用于微波信号分析。它们可以被定位在有限数量的频率，并且从全局最大值快速准指数衰减。因此，它们在频域和空间域都具有良好的局部化特性。如[1]中所述，在预定时间点处的信号I（x）（例如，本研究中感兴趣的照明信号）可以被测量给定频率jN可以由球体表示。calneedlet基ψjk（x）和needlet系数βjk为国家地图由具有高辐射能量和环境残差的若干主导光源组成。在针状基下，光源是明显稀疏的，而环境分量不是。对于光照估计，主要光源的重建比环境分量的重建更重要，特别是在高频部分。此外，在高频部分有几十个针状系数（j_（max）=3时有252个系数这些冗余参数将严重干扰主光源的回归，并导致不期望用于重新照明的漫射照明（或低频照明）。因此，我们推导出一个最佳的稀疏函数的针分离的主要系数的光源从冗余的环境组件。我们从贝叶斯的角度推导出稀疏函数，并将问题形成为最大后验估计量。通常，我们假设光源s的针状系数遵循拉普拉斯分布先验，因为拉普拉斯先验很好地适应于对稀疏信号进行建模[4]，这也在[12]中得到了证明。环境的针状系数可以理想地被视为高斯分布[25]。因此，照明图的针状系数β可以建模为：如下所示：Bj+1light`souxrces+am`biexnt+ηn`oisxe（二）ψjk（x）=√λjkl=ΣBj−1b（1）Bj）m=−lYlm（ξjk）Ylm（x）（一）其中s表示稀疏光∞l遵循拉普拉斯分布的源，表示βjk =√λjkb（lBJl=0）m=−l的lmYlm（ξjk）环境的针状系数，其是高斯分布，并且η表示遵循高斯分布的噪声。其中xS2、ξjk和λjk是预先定义的分布在单位球面上的体积点，如图2所示。 3，以及相关联的体积权重，b（）是窗函数，B是大于1的自由参数，Ylm是具有次数l和阶数m的球谐函数，Alm是对应的球谐系数，Ylm是Ylm 的 复 共 轭。 ξjk表示Needlet基ψjk 的 空 间 位置，因此Needlet系数在单位球面上空间局部化。信号I（x）bition。根据Vansynge et al.[35]，问题的贝叶斯公式可以写为：P（s|β）∝P（s）L（β|s）（3）L（β|s，）= N（β;+ s，Μη）其中Mn表示噪声的协方差矩阵。作为服从高斯分布，我们可以推导出：L（β| s）=∫...∫L（β| s，）P（）d ∝可以通过I（x）=j，kβjkψjk（x）。1 1与SH相比，针头具有紧凑的支架空间域的定位 因此，他们可以exp-βTMη−1β+sTMη−1β−sTMη−1s2·exp（四）容易且简洁地表示单元上的信号Σ1（M−1β−M −1s）T（M−1+M −1）（M−1β−M−1s）Σ具有局部尖锐峰或谷的球体，2η ηηϕη η通常呈现在HDR照明图中。因此，针状物用作表示照明图的更合适的基础。3.2. 稀疏针如果一个信号可以被重构，那么它就是稀疏的其中M表示高斯分布的协方差矩阵。当P（s）服从Laplace分布即P（s）exp [λ s]时，最大后验估计量可通过最大化P（s β）=（β s）P（s）得到。我们对s求偏导数：s（−lo g（P（s|β）））=−（Mη+MηM −1Mη）−1s+Mη−1s只有少量的基函数。一个照明-ϕ+（Mη+MηM−1Mη）−1β−Mη−1β+λs||S||（五ΣΣ12833）12834···-|+ηϕ针状系数FCj=1j=k的体积点球形输运损耗j=kj=n预测地面实况图2.建议NeedleLight的架构：我们引入稀疏的针状物来表示照明。Needlet系数中的频带表示为j= l，…，n。每个频带中的针状系数在空间上被定位在单位球面上的一组立方点上（仅针对j=k对于稳定的照明回归，我们设计了一个球形传输损失，以捕获预测的针状系数（预测）和地面实况系数（地面实况）之间的针状系数的值由颜色条示出（仅图5用于说明）。球面上的立方点图3.球面和全景图上的体积点（jmax=3）的可视化。红点、绿点和蓝点表示从低到高频率的频带的立方点，即分别为j=l、j=2和j=3通过使s（log（P（sβ）=0，因此可以导出以下解（或稀疏函数）s=β−ΣM−1−（M +M M−1M）−1Σ−1λ||S||（六）ηϕ这是非常具有挑战性的，因为其目的是基于具有有限视场的单个场景图像从所有方向恢复环境照明。因此，照明估计模型的训练与高频信息的回归作斗争。在这项工作中，我们提出了一种新的球形传输损耗（STL），以实现稳定和有效的照明回归。由于针状系数在空间上定位在由体积点指定的单位球面上，因此我们将针状系数的回归视为单位球面上的非平衡最优运输（UOT）[22，8]问题直观地说，UOT计算的成本运输-ING测量分布在一个空间上的另一个措施可能不同的总质量。由于针状系数可能包含负值，我们在导出球形输运损耗之前取其自然然后，我们可以定义两组针状系数表示：由两个假设向量a=（a1，·，an）∈Rn和···∈n这 是 一 软 阈值化 操作者 与阈值（M−1−（Mη+ MηM−1Mη）−1）λ。的详细情况b=（b_1，，b_n） R~+，它们的空间布局是特殊的。由单位球面上的体积点限定距离矩阵C和运输计划矩阵P，稀疏函数的推导在补充文件中提供我们将稀疏函数大量应用于高频针状波系数，以减少环境分量的冗余系数。稀疏针状物提供照明图的稀疏表示，这对于通过使用将在以下小节中描述的所提出的球形传输损耗来回归光源是期望的。3.3. 球形输运损耗与球谐函数不同，针状系数在空间上局限于单位球。简单的MSE损失不能利用空间信息。此外，作为欠约束任务，光照估计中的优化是到点bj，其可以由单位球面上的点之间的弧度距离定义，并且P中的Pij表示将点ai分配给点bj 的 概 率 。因此，规则化的UOT问题（即STL）可以定义如下：minΣ∠C，P∠+τKL（P·∠1||a）+τKL（1·P||b）−γH （P）Σ（七）其中τ和γ是正则化参数，KL是KerKullback-Leibler散度，H（P）是原始UOT问题[8]的有效近似的熵正则化的UOT可以通过Sinkhorn迭代[10]来求解。要构建清晰和锐利而不是漫反射（即，低频）光源，我们期望运输计划是稀疏的。否则将导致漫射光源DenseNet输入……ηPηηS其中C中的每个条目Cij给出移动点ai的成本12835×（系数数量）E3E3E3E5E1E1E1E2EE′GT（一）无辅助点（b）第（1）款有辅助穴位（c）第（1）款图4. (a)通过辅助点实现稀疏运输计划的过程。E和GT分别是估计的针状系数和地面真实值。 E’表示用辅助点扩展的预测系数E′和GT之间的连接表示作为结果的运输计划。(b)运输计划的针状系数（j=1）w/o和w/辅助点，分别。（3）不同辅助点比例下运输计划矩阵的稀疏性和误差在弱阴影和阴影效果中，如Garon et al.[15]图6。此外，当针状波的频率较大时（jmax=3时为252个针状波系数），输出层的维数迅速增加。我们提出了一种辅助点策略，以实现稀疏传输计划，降低输出层的维数。辅助点分配有较小的值（我们选择1）和0运输成本，这可以在部分传输的情况下，用于吸收未使用的概率质量。如图4（a）中，我们只估计部分针状系数（E），然后用 辅 助 点 代 替 其 他 针 状 系 数 得 到 一 组 新 的 系 数（E ′）。在得到E′和地面真实GT之间的最优运输后，我们可以通过去除与辅助点的连接来提取稀疏运输计划图中的两个样品。图4（b）分别示出了具有和不具有辅助点的针状系数（j = 1）的运输计划矩阵。图4（c）示出了具有不同百分比的辅助点的运输计划矩阵（n n）的稀疏性和误差（运输计划的稀疏性和误差的评估度量在[3]中描述）。当使用更多的辅助点时，运输矩阵的稀疏性增加，但误差也增加，如图所示。第4（c）段。作为权衡，我们选择66%的系数作为辅助点。使用球形输运损失进行针状系数回归有两个明显的优点。首先，它使回归对全局几何形状敏感，从而有效地惩罚远离地面真实分布的预测激活。其次，它可以保留训练过程中的高频信息与建议的辅助点。评价指标：光照估计已经通过使用均方根误差（RMSE）和尺度不变RMSE（si-RMSE）来广泛评估，所述均方根误差和尺度不变RMSE测量渲染图像的残差的标准偏差。RMSE主要评估估计的照明强度，并且si-RMSE更侧重于照明位置的评估。此外，还通过使用Amazon Mechanical Turk（AMT）来评估照明估计，该AMT执行众包用户研究以用于渲染图像的经验真实性的主观评估。现有的度量主要通过将它们应用于渲染对象来评估估计的照明。因此，评估模型的性能受到测试设置的高度影响基于所提出的球面传输损耗，我们设计了球面传输距离（STD）度量，其直接评估单位球面上的预测照明图与地面实况图与STL的唯一区别是STD放弃了辅助点策略。建议的STD高度简化了评估程序，并提供了简洁而有效的评价，关于照明颜色，照明强度，和照明位置联合。灰色漫反射哑光银镜面银图5.用于定量评估的场景由具有漫射灰色、哑光银色和镜面银色材料的三个球体组成。4. 实验4.1. 数据集和实现我们通过使用Laval Indoor HDR Dataset [14]来评估NeedleLight，该数据集由在各种室内环境中拍摄的2，100个HDR全景图组成与[14]类似，我们从每个全景图中提取了8个有限的视野作物，产生了19，556张图像，用于我们的实验。的E1E1一E2E3E3一E4E5E5E5E4E512836表1. NeedleLight与几种最先进的照明估计方法的比较：评估指标包括广泛使用的RMSE，si-RMSE，AMT，和我们提出的STD。D、S、M分别表示渲染对象的漫反射、哑光银和镜面材质度量Gardner等[14个]Gardner等[13个国家]Li等人[20个]Garon等人[第十五条]针灯DSMDSMDSMDSMDSMRMSE0.130.160.180.060.100.150.210.230.260.180.200.240.070.070.09si-RMSE0.150.150.170.070.090.120.190.210.230.210.240.260.050.060.08AMT百分之二十八百分之二十三百分之二十一百分之三十四百分之三十三百分之三十百分之二十八百分之二十七百分之二十三百分之二十九百分之二十六百分之二十四百分之四十一百分之三十九百分之三十六STD6.845.527.017.144.21Gardner等2017Li等人2019Garon等人2019Gardner等2019我们地面实况图6. NeedleLight与最先进的照明估计方法的视觉比较：利用通过不同方法预测的照明图（在每个渲染图像的右下角），渲染的虚拟对象表现出不同的照明强度、颜色、阴影和阴影。将[14]中所述的图像扭曲操作应用于全景。我们应用所提出的jmax=3的稀疏针状体来提取针状体系数作为训练的基础事实。类似于[13，15]，DenseNet121被用作骨干网络，并产生一个4096维的潜在向量，该向量进一步转发到具有1024个单元的全连接添加三个单独的输出层以回归频带j=1、2、3中的针状系数。在实验中，我们随机选取了200幅图像作为测试集，其余的作为训练集。所有对象都使用Blender渲染[9]。所提出的NeedleLight是由Py-Torch框架实现的。亚当被采用作为优化器，采用学习率衰减机制（初始学习率为0.001）。 该网络在100个epochs中进行训练，批量大小为64。此外，网络训练是在两个NVIDIATesla P100 GPU与16GB内存上进行的。4.2. 定量评价我们比较NeedleLight与一些国家的最先进的照明估计方法，包括加隆等人。[第十五条]估计照明频域和加德纳等人。[14，13]和Li et al.[20]空间域中估计照明。为了进行定量评估，我们用灰色漫射、哑光银和镜面银材料创建了三个球体用于评估，如图1B所示。5，与[ 19 ]中的评价设置一致。然后，我们通过使用由每个比较的方法从测试集预测的照明图来渲染300个对象的图像（每种材料100个图像表1示出了通过使用如评估度量中所述的4个评估度量的实验结果，其中D、S和M分别表示要渲染的对象的漫射、哑光银和镜面材料。AMT用户研究通过向20个用户显示由地面实况和表1中的方法之一渲染的两个图像来进行，用户将选择更逼真的图像。分数是由被认为比地面实况渲染更真实的方法渲染的图像的百分比。我们可以观察到，在不同的评估指标和材料下，NeedleLight在大多数情况下优于其他方法，因为它允许在频域和空间域联合回归唯一的例外是漫反射材质12837[13] 而使用RMSE评估，主要是因为Gardner等人中的参数化。[13]简化了空间域中的场景照明以实现光强度的准确预测，而漫射材料在很大程度上受光强度的影响，并且RMSE对光强度最敏感。Gardner等[14]通过两阶段训练策略直接预测照明图。作为一个欠约束问题，直接生成方法，如加德纳等人。[14] 倾向于过拟合训练集并呈现更差的泛化性能。此外，Gardner et al.[14]和Gardner et al.[13]估计空间域中的照明，其不能恢复频率信息并且倾向于生成主要由si-RMSE测量的不准确的阴影和阴影。Garon等人[15]通过回归SH系数在频域中恢复照明，SH系数倾向于捕获全局而不是局部照明。因此，Garon et al.[15]努力回归精确的照明位置并恢复高频信息。 Li等人[20]采用球面高斯函数在空间域重建光照，不能准确恢复光照频率。此外，它使用掩蔽的L2损失来保留高频信息，尽管它不能基本上解决高频信息的丢失，如图1所六、相反，我们提出的辅助点的球形传输损耗显着提高了高频信息此外，我们可以观察到，在不同的评估指标下，最先进的方法的性能是不一致的。例如，Li et al.[20]优于Garon等人。[15]在si- RMSE中，但在RMSE中情况相反。不同指标的差异使得难以提供一致的评估。所提出的球形传输距离（STD）替代地提供光强度、颜色、位置等方面的相对一致且全面的评价。如表1所示。为了评估空间变化照明的性能，我们在[15]中描述的测试集上对10个人进行了用户研究。用三种方法将对 象 插 入 20 个 图 像 的 左 侧 、 中 心 、 右 侧 ， 如 由[NeedleLight，Gardner et al.[13]，Garon et al.[15]]。结果左：[47%，34%，19%]，中：[44%，33%，23%]右：[46%，30%，24%]。4.3. 定性评价我们还比较了NeedleLight与四个国家的最先进的照明估计方法定性。我们设计了25个具有用于插入的对象的3D场景，并使用预测的照明贴图来渲染它们。图6示出了若干渲染图像和预测的照明图。我们可以观察到，NeedleLight预测逼真的照明地图与合理的光源，从而产生逼真的渲染与清晰和准确的阴影和阴影，是非常接近地面真相。除了测试集，我们还图7.对象重新照明的各种照片从互联网。在所有情况下，我们的模型完全自动进行光估计。预测的照明图用于使用Blender [9]重新照亮虚拟对象。补充文件中提供了更多的渲染示例和空间变化渲染的分析验证所提出的方法从互联网上收集的自然图像如图所示。7.第一次会议。该方法实现了对场景光照的准确估计，从而使三维物体能够以真实的明暗效果嵌入到图像中4.4. 消融研究我们通过开发如表2中所列的四个NeedleLight变体来进一步评估NeedleLight，包括基线模型，其回归具有L2损失的球谐系数（SH+L2），回归具有L2损失的原始needlet系数（SN+L2），回归在应用软阈值（即稀 疏 needlet ） 之 后 具 有 L2 损 失 的 needlet 系 数（SN+ST+L2），用球形输运损失（SN+ST+STL）回归稀疏针状体系数。标准NeedleLight回归具有L2和球形运输损失的备用针头（SN+ST+L2+STL）。类似于定 量 评 估 中 的 设 置 ， 我 们 应 用 五 种 变 体 和 标 准NeedleLight来渲染具有15种不同材料的对象的300幅图像。如表2所示，使用针状物进行照明表示（SN+L2）有助于实现与球谐函数（SH+L2）更好的照明估计一致性。在ad-12838表2.所提出的NeedleLight的消融研究：SH表示使用球面谐波进行表示; SN表示使用球面针进行表示; ST表示将导出的软阈值函数应用于针系数; L2和STL表示具有L2 损失和球面传输损失的回归系数; SN +ST+L2+STL表示具有稀疏针状物的标准NeedleLight，其回归L2和球形传输损失。模型RMSEsi-RMSEAMTSTDDSMDSMDSM-SH+L20.190.200.250.220.240.28百分之二十三百分之二十一百分之十八7.14SN + L20.140.140.160.110.140.15百分之三十三百分之三十一百分之二十八4.93SN+ST+L20.110.120.140.090.090.13百分之三十四百分之三十二百分之三十4.74SN+ST+STL0.100.110.130.070.100.12百分之三十七百分之三十四百分之三十二4.51SN+ST+L2+STL0.070.070.090.050.060.08百分之四十一百分之三十九百分之三十六4.21表3.不同基底上的消融研究，包括球面谐波（SH）、球面高斯（SG）、球面分布（SD）、Haar、球面针（SN）。HT和ST表示对球形针状系数应用硬阈值和导出的软阈值函数。jmax 表示用于表示的针状物的顺序。SN（jmax=3）+ST是NeedleLight的标准设置。模型L2L2 + STLSH7.147.13SG6.015.74SD5.755.54Haar6.075.83SN（jmax=1）7.527.18SN（jmax=2）6.716.20SN（jmax=4）5.374.96SN（jmax=3）5.324.93SN（jmax=3）+HT4.924.51SN（jmax=3）+ST4.744.21此外，由于稀疏针状系数通过冗余系数的置零，对光源 的 回 归 有 显 著 的 帮 助 ， SN+ST+L2 此 外 ， 标 准SN+ST+L2+STL优于SN+ST+L2和SN+ST+STL，证明L2和申报STL对于针头系数的回归是互补的我们还研究了阈值函数和针状体的不同阶数的影响，并将球面针状体（SN）与其他用于照明表示的基函数（如球面谐波（SH）、球面高斯（SG）、球面分布（SD）[40]和Haar [27]）进行了比较，如表3所示。我们遵循如表2中的实验设置，并测量所提出的STD作为评价指标。SH、SG、SD和Haar的系数数量设置为与3阶球形针头一致（约250个系数）。如表3所示，当用L2损失和球面传输损失两者回归时，针状物SN（j_max=3）优于其他表示基础12839与球面高斯函数、球面分布函数和球面调和函数相比，needlets函数能够同时在空间域和频率域进行表示，从而在空间域和频率域都实现了精确的回归。与Haar等其他小波相比，Needlets是一种新一代的球面小波，更适合于HDR光照图中常见的具有尖锐局部峰谷的球面图像的表示由于球谐系数中没有空间信息，因此将球谐系数与球输运损耗进行回归并不能提高性能。 对于球形高斯分布、球形分布和Haar分布，由于相应的系数在空间上局部化，因此包含球形传输损耗的性能明显改善，这证明了所提出的球形传输损耗的有效性。此外，当使用jmax=1，2时，预测性能下降，并且将阶数增加到jmax=4我们推测，jmax= 4的参数数量越多，对回归精度的影响越大。此外，SN（j_（max）=3）+ST的性能优于SN（j_（max）=3）+HT，证明了所推导的软阈值函数的优越性5. 结论本文介绍了NeedleLight，一个照明估计模型，介绍了照明表示和预测的针的基础。在NeedleLight中，我们从贝叶斯框架中推导出一个最佳阈值函数，用于针状基的稀疏表示。为了解决具有空间局部化的针状系数的回归，设计了一种新的具有辅助点的球形传输损耗，其通过最小化两个球形分布之间的差异来执行回归。定量和定性实验都表明，针光是能够准确地预测照明从一个单一的室内图像。我们将继续研究更有效的照明表示和ex-plore最佳传输更好的网络训练的针状基础。12840引用[1] PaoloBaldi，Ge'rardKerkyacharian，DomenicoMarinucci，Dominique Picard，et al.球形针状体的渐近性。The Annals of Statistics，37（3）：1150-1171， 2009.二、三[2] Jonathan T Barron和Jitendra Malik。来自单个rgb-d图像的内在场景特性在Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition中，第17-24页2[3] 马蒂厄·布隆德尔，维维安·塞吉，安托万·罗莱。平滑和稀疏 的最 佳运 输。 人工 智能 和统 计国 际会 议，第880PMLR，2018。5[4] Je'romeBobin ， YassirMoudden ， J-LStarck ， JFadili 和Nabila Aghanim。基于广义形态分量分析的Sz和cmb重建。Statistical Method-ology，5（4）：307-317，2008.3[5] Mark Boss ， Varun Jampani ， Kihwan Kim ， HendrikLensch，and Jan Kautz.两次空间变化的brdf和形状估计。在IEEE/CVF计算机视觉和模式识别会议论文集，第3982- 3991页，2020年。2[6] Andrew Chalmers ， Junhong Zhao ， Daniel Medeiros ，and Taehyun Rhee.使用stacked-cnn重建反射贴图进行混合 现 实 渲 染 。 IEEE Transactions on Visualization andComputer Graphics，2020。2[7] Dachuan Cheng ， Jian Shi ， Yanyun Chen ， XiaomingDeng，and Xiaopeng Zhang.通过前后移动摄像机的成对照片学习场景照明。在计算机图形论坛中，第213-221页。Wiley在线图书馆，2018年。一、二[8] LenaicChizat，GabrielPe y re´，BernhardSchmitze r，andFran c ois-X a vierVialard. 非平衡运输问题的缩放算法arXiv预印本arXiv：1607.05816，2016。4[9] Blender在线社区。Blender -3D建模和渲染软件包。Blender基金会，Stichting Blender基金会，阿姆斯特丹，2018。六、七[10] 马可·库图里Sinkhorn距离：最佳运输的光速计算。神经信息处理系统的进展，第2292-2300页，2013年4[11] 保罗·德贝维克将合成对象渲染到真实场景中：通过全局照明和高动态范围摄影将传统图形和基于图像的图形连接起来。在ACM SIGGRAPH 2008类中，第1-10页，2008年。2[12] Ron O Dror，Alan S Willsky，and Edward H Adelson.真实世界照明的统计表征。Journal of Vision，4（9）：11-11，2004. 3[15] Mathieu Garon ， Kalyan Sunkavalli ， Sunil Hadap ，Nathan Car r，andJean-Fran coisLalonde. 快速空间变化的室内照明估计。在IEEE计算机视觉和模式识别会议论文集，第6908-6917页一、二、五、六、七[16] Yannick Hold-Geoffroy 、 Kalyan Sunkavalli 、 SunilHadap、EmilianoGambaretto和Jean-Fran c oisLalonde 。深度室外照明估计。在IEEE计算机视觉和模式识别会议论文集，第7312-7321页，2017年。2[17] Kevin Karsch ， Varsha Hedau ， David Forsyth ， andDerek Hoiem. 将合成对象渲染为旧照片。ACM Transactions on Graphics（TOG），30（6）：12[18] Jean-Franc oisLalonde ， Alex eiAEfros ， andSrinivasaGNarasimhan.从单个室外图像估计自然光照条件。International Journal of Computer Vision，98（2）：123-145，2012. 2[19] Chloe LeGendre、Wan-Chun Ma、Graham Fyffe、JohnFlynn、Laurent Charbonnel、Jay Busch和Paul Debevec。Deep- light ： Learning illumination for unconstrainedmobile mixed reality.在IEEE计算机视觉和模式识别会议论文集，第5918-5928页二、六[20] Mengtian Li，Jie Guo，Xiufen Cui，Rui Pan，YanwenGuo，Chenchen Wang，Piaopiao Yu，and Fei Pan.室内场景的深度球面高斯光照估计。在ACM Multimedia Asia的Proceedings中，第1-6页，2019年。六、七[21] Zhengqin Li，Mohammad Shafiei，Ravi Ramamoorthi，Kalyan Sunkavalli，and Manmohan Chandraker.复杂室内场景的逆渲染：形状，空间变化的照明和svbrdf从一个单一的图像。在IEEE/CVF计算机视觉和模式识别会议论文集，第2475-2484页，2020年。2[22] 我是列罗，艾尔·亚历山大·米尔，朱塞佩·萨瓦尔。最优熵输运问题及正测度间的一个新的hellinger-kantorovich数学发明，211（3）：969-1117，2018。4[23] 刘策龙、李忠、权淑雪、徐毅。经由可微分屏幕空间渲染的照明估计。2020年IEEE虚拟现实和3D用户界面会议摘要和研讨会（VRW），第575IEEE，2020年。2[24] 斯蒂芬·隆巴迪和西野光野外反射率和照明恢复。IEEETransactionsonPatternAnalysisandMachineIntelligence，38（1）：129-141，2015。2[25] Davide Maino，A Farusi，Carlo Baccigalupi，FrancescaPer-[13] 马克-安德烈加德纳 Yannick 卡尔扬？霍尔德-若弗鲁瓦rotta，AJ Banday，L Bedini，Carlo Burigana，Gianfranco沉到海里，克里斯蒂安·加根和让-弗兰·弗朗索瓦·拉隆德。深度参数化室内照明估计。在IEEE计算机视觉国际会议论文集，第7175-7183页，2019年。一、二、六、七[14] Marc-Andre'Gardner ， KalyanSunkavalli ， ErsinYumer，Xi-aohuiShen，EmilianoGambaretto，ChristianGag ne'，andJean-Fran c oisLalonde. 学习从单个图像预测室内照明arXiv预印本arXiv：1704.00090，2017。一、二、五、六、七DeZotti，KMG o'rski，和ESalerno. 快速独立成分分析（fastica）的全方位皇家天文学会月报，334（1）：53-68，2002年。3[26] D Marinucci ， D Pietrobon ， A Balbi ， P Baldi ， PCabella，G Kerkyacharian，Paolo Natoli，D Picard，andN Vittorio.宇宙微波背景数据分析用的球形针。皇家天文学会月报，383（2）：539-545，2008年。212841[27] 科尔姆·马尔卡希利用haar小波变换进行图像压缩。Spelman Science and Mathematics Journal，1（1）：22-31