HDR-NeRF：高动态范围视图合成

18398∞HDR-NeRF：高动态范围神经辐射场黄欣1*，张琦2，冯颖2，李宏东3，王宣2，王庆11西北工业大学计算机学院，西安2腾讯人工智能实验室3澳大利亚国立大学xinhuang@mail.nwpu.edu.cn{nwpuqzhang，yfeng.von，xwang.cvgmail.comqwang@nwpu.edu.cnanu.edu.au}(a)输入视图（b）新的LDR视图（c）新的HDR视图图1.我们从（a）具有不同曝光的多个LDR视图恢复高动态范围神经辐射场我们的系统能够渲染（b）具有任意曝光的新颖LDR视图和（c）新颖HDR视图。摘要我 们 提 出 了 高 动 态 范 围 神 经 辐 射 场 （ HDR-NeRF ） ， 以 从 一 组 具 有 不 同 曝 光 的 低 动 态 范 围（LDR）视图中恢复HDR辐射场使用HDR-NeRF，我们能够在不同曝光下生成新颖的HDR视图和新颖的LDR视图。该方法的关键是对简化的物理成像过程进行建模，该过程指示场景点的辐射亮度通过两个隐式函数（辐射亮度场和色调映射器）转换为LDR图像中的 像素 值。 辐 射场 编码 场景 辐 射（ 值从0 到 + 变化 ），通过给出相应的光线原点和光线方向输出光线的密度和辐射。色调映射器对射到相机传感器上的光线变成像素值的映射过程进行建模。光线的颜色是通过将辐射率和相应的曝光时间馈送到色调映射器中来预测的我们使用经典的体绘制技术将输出的亮度、颜色和密度投影到HDR和LDR图像中，而仅使用输入的LDR图像作为监督。我们收集了一个新的前向HDR数据集*在腾讯AI Lab实习期间完成的工作评估所提出的方法。在合成场景和真实场景上的实验结果表明，该方法不仅可以精确地控制合成视图的曝光，而且可以绘制具有高动态范围的视图。1. 介绍新颖的视图合成是计算机图形学和计算机视觉领域的研究热点之一。受相机传感器和输入视图的动态范围的限制，所呈现的新颖视图通常具有低动态范围，而人眼能够感知比常规相机可能的动态范围高得多的动态范围。因此，非常期望渲染新颖的HDR视图以改善整体视觉体验。最近，一系列的工作集中在使用深度神经网络恢复场景的辐射场以渲染照片级真实感的新颖视图[3，37，42，62]。它们使用多层感知器（MLP）隐式地编码体积密度和颜色，该多层感知器被称为神经辐射场（NeRF）。这些方法产生高质量的新视图，但在NeRF中获得的辐射的动态范围限于低动态范围（介于18399∞0和255），而物理世界场景中的辐射通常覆盖更宽（更高）的动态范围（例如，从0到+）。我们还注意到，高动态范围（HDR）成像是一组从具有不同曝光的多个LDR图像中恢复HDR图像的技术[55]。重建HDR图像的最常见方法是以固定的相机姿势拍摄一系列具有不同曝光的LDR图像，然后将这些LDR图像合并为HDR图像[12，39，48]。这些方法产生引人注目的结果三脚架安装的相机，但可能会导致鬼影文物时，相机是手持的。为了克服传统的基于多次曝光堆栈的HDR合成的限制，已经提出了一些深度学习方法来通过两阶段方法解决这个问题[26，59]：1）使用光流或去除不合理的运动区域来对齐输入LDR图像，2）将处理后的图像合并到HDR图像中。然而，在大运动的情况下，他们的方法通常会在最终结果中引入伪影。最关键的是，这些HDR成像方法无法呈现新颖的视图，并且基于学习的方法需要HDR图像作为训练监督。为了渲染新颖的视图，一些方法尝试合并基于图像的渲染和HDR成像技术。[30、35、49、51]。然而，基于图像的方法难以保持视图一致性。在本文中，我们提出了一种方法HDR-NeRF从具有各种曝光的一组LDR图像（图1a）中重新覆盖高动态范围神经辐射场（曝光被定义为曝光时间和辐射的乘积）。据我们所知，这是第一个端到端的神经渲染系统，可以渲染新的HDR视图（图1）。1c）和控制新LDR视图的曝光（图1b）。在NeRF的基础上，我们引入了一个可区分的色调映射器来模拟场景中的辐射变成图像中的像素值的过程。我们使用一个MLP模型的色调映射操作。总的来说，HDR-NeRF可以由两个连续的隐式神经函数表示：用于密度和场景辐射的辐射场和用于颜色的色调映射器，如图2所示。我们的流水线实现了两个隐式函数的联合学习，这对于从这种稀疏采样的LDR图像中恢复HDR辐射场至关重要。我们使用经典的体积渲染技术[25]将辐射、颜色和密度累积到HDR和LDR图像中，但我们仅使用LDR地面实况作为监督。为了评估我们的方法，我们收集了一个新的HDR数据集，其中包含合成场景和真实场景。我们将我们的方法与原始的NeRF [42]，NeRF-W（野生NeRF）[37]以及NeRF-GT（一种从LDR图像训练的NeRF版本，具有consis.帐篷曝光或HDR图像）。我们提供定量和定性的结果和消融研究，以证明我们的主要技术贡献。与NeRF-GT相比，我们的方法在该数据集上的所有主要指标上都取得了相似的分数。此外，与最近最先进的NeRF和NeRF-W相比，我们的方法可以渲染具有任意曝光的LDR新颖视图和壮观的新颖HDR视图。本文的主要贡献可以概括如下：1. 提出了一种端到端方法HDR-NeRF，以从具有不同曝光量的多个LDR视图重新覆盖高动态范围神经辐射场。2. 对相机响应函数进行建模，从辐射场渲染具有不同曝光的HDR视图和LDR视图3. 一个新的HDR数据集，包括合成和真实世界的场景收集。与SOTA相比，我们的方法在此数据集上实现了最佳性能。该数据集和代码将在本社区中发布以供进一步研究。2. 相关工作新视图合成。新视点合成的目的是从一个新的视点使用一组输入的视图生成新的图像。它是基于图像的渲染技术[52]的典型应用，例如使用深度渲染新视图[6，7，43，67，68]或显式几何信息。[13，22，23，63]。许多经典的IBR方法使用HDR成像方法来估计输入图像的辐射率以渲染新颖的HDR视图[30，35，49，51]。使用HDR成像方法估计的可能很难在重叠场景中保持视图一致性另一方面，光场渲染方法基于从密集采样图像导出的隐式软几何估计来内插视图[5，11，19，31，38]。近年来，深度学习技术已被应用于新颖的视图合成，以获得高质量的真实感视图。这些基于学习的方法可以根据场景表示模型分为三类。第一类旨在将卷积神经网络（CNN）与传统的体素网格表示相结合[9，34，53]，例如Sitzmann等人。[53]使用CNN来补偿来自低分辨率体素网格的离散化伪影。Lombardi等人[34]根据动态场景的输入时间控制预测的体素网格。受分层深度图像[50]的启发，其他基于学习的方法专注于训练CNN从一组输入图像预测多平面图像表示，并使用alpha合成渲染新视图[10，17，41，66]。这些方法预测多平面图像18400→∫ΣR为特定应用合成视图，如光场渲染[41]和基线放大[66]。第三类是NeRF家族，其表示具有神经辐射场的场景[3，4，8，33，36，37，42，62]。尽管这些最近的方法实现了高质量的渲染的新颖视图，但是它们中没有一个解决了合成具有高动态范围的新颖视图的任务。神经内隐表征最近，通过神经网络以隐式函数表示3D场景的热潮正在兴起。与传统的显式表示（如点云[47]，体素[18]和oc-tree [57]）相比，神经隐式表示显示了高质量的视图合成结果，如连续和高保真。我们专注于神经辐射场表示，其隐式地对具有MLP的场景的体积密度和颜色进行建模[42]。NeRF通过从输入5D位置映射到场景属性来近似连续3D函数。最近，NeRF已被探索用于新颖的视图重新照明[4，54]，动态场景的视图合成[14，32，33，44，46，58]，场景编辑[21，37，61，64]。特别地，Martin-Bruallaet al. [37]建议NeRF-W从具有不同光度变化和遮挡的互联网照片集合中构建NeRF。他们学习每图像潜在嵌入来捕获训练图像中的光度外观变化，这使他们能够修改渲染的照明和外观。尽管已经探索了对NeRF的各种扩展，这使得它们能够有效地表示由相机捕获的场景辐射然而，所有基于NeRF的方法都忽略了从辐射亮度到像素值的物理过程，这暗示了图2. HDR-NeRF的流水线对简化的物理过程进行建模。我们的方法是由两个模块组成：一个HDR辐射场模型的辐射和密度的场景和色调映射模型的CRF的颜色。3. 背景3.1. 神经辐射场NeRF [42]使用隐式神经函数表示场景，该函数将光线原点o=（x，y，z）和光线方向d=（θ，θ）映射为颜色c=（r，g，b）和密度σ，即（o，d）（c，σ）。具体地，假设相机光线r从相机中心o以方向d发射，即，r（s）=o+sd其中s表示沿着射线的位置。r（s）的期望颜色C^（r）被定义为：使它们无法代表现实世界中的光芒。C^（r）=SFT（s）σ（r（s））c（r（s），d）ds，Sn（一）高动态范围成像。传统的基于多分辨率的HDR成像方法T（s）=exp−Sσ（r（p））dpSn、（二）通过从具有相同姿态的不同曝光下的一系列LDR图像的曝光堆栈校准CRF来生成图像[12]，或者直接将LDR图像合并到HDR图像[39]中。为了克服传统方法的局限性，例如当LDR图像由手持相机捕获或在动态场景上捕获时HDR结果中的重影，提出了一些方法来检测运动再现。其中Sn和SF分别表示射线的近边界和远边界，T（s）表示累积透射率。然后将预测的像素值与地面实况C（r）进行比较以进行优化。对于具有姿态P的目标视图的所有相机射线，颜色重建损失因此由下式定义：在LDR图像中的区域，然后在融合中去除这些区域[20，24]。相比之下，基于投影的方法通过估计光学参数来L=r∈R（P）<$C^（r）−C（r）<$2，（3）然后，流程合并对齐的图像[26，56，60]。依赖于深度学习的巨大潜力，一些方法尝试从单个LDR图像重建HDR图像[16，27，28]。然而，大多数HDR成像方法需要具有固定或准固定相机姿态的给定LDR图像。此外，这些方法只能合成原始姿态的HDR图像，并需要地面真实HDR图像来监督。哪里（P）是目标位置P处的一组相机射线。在实践中，单纯地将5D坐标输入到MLP中会导致渲染难以表示颜色和几何形状的高频变化。为了解决这个问题，NeRF采用了位置编码策略。此外，NeRF同时优化了两个模型，其中由粗模型预测的密度被用来偏置精细模型中的射线样本。∫、18401∞^3.2. 相机响应函数在大多数成像设备中，入射辐照度通过一系列线性和非线性图像处理（例如，白平衡）。一般来说，所有图像处理都可以组合在称为相机响应函数（CRF）的单个函数f中[15]。很将ISO增益和孔径作为隐式因子，不失一般性，非线性映射可以建模为[55]：Z=f（Ht），（4）其中，H是辐照度，即入射到照相机传感器上的光的总量，Z表示像素值，并且λt表示由快门速度决定的曝光时间请注意，在神经辐射场中，忽略镜头孔径上场景辐射的积分，辐照度被视为辐射[15]。4. HDR神经辐射场在本节中，我们介绍了我们的方法HDR-NeRF用于恢复高动态范围神经辐射场。如图2所示，我们的方法由本节中描述的两个主要模块组成。我们的目标是恢复真实的辐射场，其中辐射在0和+通过使用具有不同曝光的LDR图像作为监督。最大的挑战是如何有效地扩大-门控LDR图像中的信息以得到HDR辐射场。4.1. 场景表现为了渲染新颖的HDR视图，我们将场景表示为一个有界的3D体积内的HDR辐射场使用称为辐射场的MLPF对于给定的光线原点o和光线方向d，辐射场F输出辐射。被引入来对HDR射线到LDR射线的非线性映射进行建模。具体来说，我们使用MLPf来估计相机的CRF，并将我们预测的辐射映射到颜色中。根据等式（4），我们预测的辐射率e由方程。（5）然后被色调映射到颜色C。我们将可微分色调映射操作公式化为：c（r，t）=f（e（r）t（r）），（6）其中λt（r）表示用于捕获光线r的照相机的曝光时间。我们可以很容易地从包含照片元数据的EXIF文件中读取曝光时间，如曝光时间，焦距，f值等。在实践中，图像的RGB通道是用不同的CRF进行色调映射的，因此在我们的方法中使用三个MLP来独立地处理每个通道遵循Debevec和Malik [12]的经典非参数CRF校准方法，我们将所有图像转换为对数辐射域以优化网络。具体地，我们假设色调映射器f是单调的且可逆的，因此我们可以重写Eq.（6）如：lnf −1（c（r，t））= ln e（r）+lnt（r）。（七）然后我们将lnf−1的反函数表示为g，因此：c（r，t）=g（lne（r）+ lnt（r）），（8）其中g=（lnf−1）−1。结果，我们的色调映射器函数被变换为具有对数辐射域的函数g。4.3.神经渲染我们使用传统的体绘制技术[25]以渲染穿过场景的每条光线的颜色。结合辐射场模块和色调映射-每模块，我们替代Eq.（8）转化为等式（一）. 射线r（s）的期望颜色C（r，t），具有近边界s n和远边界s f，由下式给出：射线r（s）的角e和密度σ=o+sd，其公式为：C^（r，t）=SFT（s）σ（r（s））g（lne（r（s））+lnt（r））ds，Sn（九）（e（r），σ（r））= F（r）.（五）注意，NeRF中隐函数的输出是颜色和密度，而我们的输出是辐射和密度。其中T（s）在等式中定义。（二）、若要渲染HDR视图，将删除色调映射操作类似地，HDR像素值近似为：关系的4.2.学习色调映射E^（r）=SFT（s）σ（r（s））e（r（s））ds.（十）Sn用HDR辐射场表示场景，关键是如何保证辐射场输出的是光线的辐射，而无需HDR地面真实值作为监督。受CRF校准的启发，确定像素的数字值与对应的辐照度（直到比例因子）之间的映射的过程，4.4. 优化彩色重建损失。为了优化来自输入LDR图像的两个隐式函数F和g，我们最小化由HDR-NeRF渲染的LDR视图与地面实况LDR视图之间的均方误差（MSE）与NeRF类似，我们同时优化了一个粗∫∫18402^^200×××׆----一个好的模型和一个好的模型。颜色重建损失被公式化为：L=C^（r，t）−C（r，t）2+C^（r，t）−C（r，t）2，搅拌机[1]和4个由数码相机拍摄的真实场景。在真实数据集中的35个不同姿态下收集图像，每个姿态下具有5个不同的曝光时间t1、t2、t3、t4、t5对于合成数据集，我们渲染35个HDR视图C cr∈R（P）2f2（十一）并建立一个色调映射函数来映射将这些HDR视图转换为LDR图像作为我们的输入（在补充材料中描述）。预定义的色调映射其中C是每个像素的地面实况颜色，并且Cc和Cf分别是由粗略模型和精细模型预测的颜色单位暴露损失。我们的方法将辐射率e恢复到未知的比例因子α（即，αe）通过颜色重建损失。等效于将移位Inα添加到函数g的独立变量，根据等式：（8），如图7d所示。因此，我们需要添加额外的约束来固定比例因子α。具体来说，我们将g（0）的值固定为C0，单位暴露损失定义为：Lu=g（0）− C0<$2。（十二）该约束的含义是假设具有值C0的像素具有单位曝光。然而，C0在实践中通常是未知的。我们通常将C0设置为真实场景中像素值的中间值。最后，我们的HDR-NeRF使用以下损耗进行了端到端优化：L=Lc+λuLu，（13）其中λu表示单位暴露损失的权重。5. 实验5.1. 实现细节在训练和测试阶段，使用具有256个通道的八层MLP来预测辐射率e和密度和具有128个通道的三个一层MLP来分别预测颜色c的RGB值。我们在合成（真实）数据集上沿着粗模型中的每条射线采样64个点，并且在细模型中采样128（64）个点。光线的批处理大小设置为1024。与NeRF一样，位置编码[42]被应用于光线原点和光线方向。 我们固定损失权重λ u= 0。5、在纸上高参数C0为0。5真实场景为了与地面实况HDR视图进行比较，我们在合成场景上设置C0=CGT，其中CGT表示当输入对数辐射率为0时地面实况CRF的像素值。我们使用Adam优化器[29]（默认值β1= 0。9，β2=0。999，且λ= 10−7），学习率为5 × 10−4，在优化过程中呈指数衰减至5 × 10−5我们在单个NVIDIA V100 GPU上优化了单个模型的20万次迭代（大约一天）。5.2. 评估数据集和数据库。数据集。我们评估我们收集的HDR数据集，其中包含8个合成场景渲染的方法函数也可用于评估我们的色调映射器估计的离散CRF。我们选择了18个具有不同姿态的视图作为训练数据集。每个输入视图的曝光时间从t1、t3、t5中随机选择。在其他17个姿态下，选择曝光时间为t3或t4的34个此外，HDR视图也用于测试。每个视图的分辨率为400 - 400像素的合成场景和804 - 534像素的真实场景。指标. 我们使用PSNR（越高越好）和SSIM（越高越好）指标以及最先进的LPIPS [65]（越低越好）感知指标报告了定量性能，该指标基于神经网络激活的加权组合，以匹配人类对图像相似性的判断[41]。由于HDR图像通常是在色调映射操作之后显示的，因此我们通过μ定律定量地评估色调映射域中的HDR视图，即，一种简单且规范的算子，广泛用于HDR成像中的基准测试[26，45，59]。色调映射操作是：M（E）=log（1 +µE），（14）log（1+µ）其中，μ定义压缩量，并且始终设置为5000，并且E表示始终缩放到范围[0，1]的HDR像素值。为了正确显示每个HDR图像中的细节以进行定性评估，所有HDR结果都使用Photomatix进行色调映射[2]。5.3. 评价基线。我们将我们的方法与以下基线方法进行比较。1)NeRF [42]：原始的NeRF方法。2)NeRF-W [37]：使用PyTorch在野外实现NeRF。NeRF-W通过线性内插学习到的外观向量来控制渲染视图的外观，这意味着我们不能通过提供我们期望的新颖曝光时间来渲染视图。为了便于比较，从所有五个曝光设置中随机选择NeRF-W的输入视图的曝光时间，以便学习用于测试的 五 个 外 观 向 量 。 3)NeRF-GT （ 我 们 的 方 法 的 上限）：从具有一致性实验或HDR视图的LDR视图训练的NeRF模型。4)我们的（消融研究）：我们的方法，模型的色调映射操作的RGB通道与一个单一的MLP。比较。在我们的数据集上呈现的新颖视图的定量结果如表所示。1.一、我们的方法在合成和真实两个方面都优于NeRF和NeRF-W18403表1.在合成场景和真实场景上与基线方法进行定量比较。指标是在我们的数据集的场景上平均的（每个场景的指标在补充材料中显示）。LDR-OE表示暴露时间t1、t3和t5时的LDR结果。LDR-NE表示暴露时间t2和t4时的LDR结果。HDR表示HDR结果。我们用颜色将每一列标记为最佳和第二佳。LDR-OE（t1，t3，t5）LDR-NE（t2，t4）HDRPSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓PSNR↑SSIM↑LPIPS↓NeRF [42]Syn.13.970.5550.376------房14.950.6610.308------NeRF-W1 [37]Syn.29.830.9360.04729.220.9270.050---房28.550.9270.09428.640.9230.089---NeRF-GT2 [42]Syn.37.660.9650.02835.870.9550.03237.800.9640.029房34.550.9580.05734.590.9560.051---我们的†Syn.---------房30.370.9440.07529.370.9380.078---我们Syn.39.070.9730.02637.530.9660.02436.400.9360.018房31.630.9480.06931.430.9430.069---1NeRF-W的输入视图的曝光是从所有五个曝光中随机选择的，以学习五个外观向量进行测试。2NeRF的一个版本（作为我们的方法的上限），它是从具有一致曝光的LDR图像或HDR图像训练的†我们的方法的消融研究，该方法用单个MLP模拟RGB通道的色调映射操作图3.呈现的新型LDR视图与新型曝光的定性比较上部三角形图像是地面实况，下部三角形图像是渲染视图。右侧给出了放大插图和错误图。MSE值位于误差图的右下方。数据集。请注意，只有我们的方法可以输出LDR和HDR视图。与NeRF-GT相比，本文方法在合成数据集上渲染LDR视图实现了类似的性能，而我们的LDR视图具有较低的18404(a)（b）（c）（d）（e）（f）图4.我们的新颖的LDR视图和HDR视图在合成场景上的定性结果（(d) 我们的色调映射HDR视图和（e）地面实况色调映射HDR视图。(f)我们的新颖HDR视图（上部）和地面实况（下部）的直方图。放大后可在屏幕上更好地查看。(a) 盒子（b）电脑（c）幸运猫（d）花图5.我们的新颖HDR视图在真实场景上的定性结果。与地面实况LDR视图（第一行）相比，我们的色调映射HDR视图（第二行）揭示了过度曝光和曝光不足区域的细节。真实场景的PSNR。我们注意到，由于训练视图的噪声，我们估计的蓝色通道的CRF有偏差，如图6a所示，这导致较低的PSNR。对于渲染HDR视图，我们的方法甚至可以与NeRF-GT相媲美，我们发现直接从HDR视图训练NeRF模型很难产生预期的结果，特别是在动态范围较大的场景中。此外，我们定性比较我们的方法与基地-在图3中使用新的曝光渲染新的LDR视图的行。 可以看出，通过我们的方法和NeRF-GT渲染的LDR视图接近地面实况，但是NeRF的结果显示出严重的伪影，因为输入视图之间的曝光不同。由NeRF-W合成的新颖视图看起来是可接受的，但表现出与地面实况不一致的颜色，如图3的放大插图所示。此外，我们的新的LDR观点与不同的-18405L↑ ↑ ↓ ↑ ↑↓L联系我们--L250200150100500相机响应函数250200150100500相机响应函数表3.有/无单位暴露损失u的定量结果。在合成场景上平均这些值。与LUW/OLUPSNR SSIM LPIPS PSNR SSIMLPIPSLDR-OE37.52 0.964 0.022 36.48 0.957 0.030LDR-NE 35.73 0.954 0.025 34.77 0.947 0.035-5-4-3-2-10123对数暴露（一）-6-4-2 0 2 4对数暴露（b）第（1）款人类发展报告37.60 0.963 0.021 13.35 0.765 0.163图6.离散CRF估计我们的方法上（a）真正的花场景和（b）合成椅子场景。在实际场景中，我们使用Debevec和Malik[12]的方法校准数码相机的CRF。25020015010050表2. 我们的方法与2次曝光{t1，t5}，3（a）有Lu（b）w/oLu（c）GT0-6-4-2024对 数暴 露(d)CRFs曝光t1、t3、t5或5次曝光：t1、t2、t3、t4、t5。在合成场景上对PSNR/SSIM/LPIPS进行平均。LDR-NE HDR2 32.39/0.954/0.04032.76/0.950/0.036 33.00/0.949/0.0403 37.52/0.964/0.02235.73/0.954/0.025 37.60/0.963/0.0215 37.73/0.968/0.02036.26/0.960/0.022 37.86/0.969/0.019不同的曝光量如图4所示。它验证了我们的方法可以通过给定一个指定的曝光时间来控制渲染视图的曝光。新颖的HDR视图如图所示4和图五、可以看出，通过我们的方法获得HDR结果（图1）。图4d）合理地接近地面真实HDR图像（图4d）。第4e段）。此外，与LDR视图相比，我们的色调映射HDR视图揭示了过度曝光和曝光不足区域的细节。我们还在图1中呈现了我们的和地面实况HDR视图4楼我们的直方图的分布此外，由我们的方法估计的离散CRF如图所示6，验证了我们的色调映射器可以准确地建模相机的响应函数。消融研究。1）理论上，恢复相机响应曲线至少需要两次曝光[12]。我们调查的影响，在选项卡的曝光次数。2，其中数字分别设置为2、3、5。我们可以看到，所提出的方法的性能改善与曝光的次数。当数字设置为3或5时，结果接近，并且两者都显著优于2次曝光的结果。因此，使用3次曝光是合理的选择。2)单位暴露损失u的消融研究见表1。图3和图7。表3示出了我们的方法在单位曝光损失的情况下产生更好的定量结果，特别是在渲染HDR视图时。通过没有单位曝光损失的方法渲染的HDR图像由于三个估计的CRF曲线（图7d）的不同移位而遭受严重的色差（图7b）。3)由于RGB通道具有相同图7.有/无单位暴露损失u的定性结果。（a-c）色调映射的HDR视图。估计的通用报告格式。投注者在屏幕上看到的放大。在合成场景中的CRF，我们评估了在真实场景中用三个MLP建模CRF的效率如Tab.所示。当三个通道独立处理时，我们的方法获得了更好的结果。局限性。从具有不同曝光的一系列LDR图像恢复HDR辐射场是困难的。类似于经典的HDR辐射图恢复方法[12]，我们恢复的HDR辐射场是相对的。有三个未知的比例因子（RGB通道），将恢复的辐射亮度与绝对辐射亮度相关联因此，这些因素的不同选择将恢复具有不同白平衡的HDR辐射场此外，我们的色调映射器模型相机粗略没有考虑ISO增益和曝光光圈的影响。6. 结论我们提出了一种新的方法来恢复高动态范围的神经辐射场从一组不同的曝光的LDR视图。我们的方法不仅在没有地面实况HDR监督的情况下渲染新颖的HDR视图，而且还生成具有指定曝光的高保真LDR视图该方法的核心是对捕获场景辐射并将其映射为像素值的过程进行建模与以前的工作相比，我们的方法表现更好的LDR视图。重要的是，据我们所知，我们的方法是第一个神经渲染方法，合成高动态范围的新视图。代码和模型将提供给研究社区，以促进可重复的研究。鸣 谢 。 这 项 工 作 得 到 了 国 家 自 然 科 学 基 金 项 目62031023的资助。作者感谢马丽和李晓玉的有益建议.G-德贝韦茨B-DebevecR-OursG-OursB-我们的CRF-GTR-我们的G-OursB-我们的图像强度CRF-GTR-withG-withB-withR-w/oG-w/oB-w/o图像强度图 像强 度18406引用[1] 搅拌机https://www.blender.org/网站。5[2] 第六章. https://www.hdrsoft.com/网站。5[3] 乔纳森·T. Barron，Ben Mildenhall，Matthew Tancik，Peter Hedman ， Ricardo Martin-Brualla ， and Pratul P.Srinivasan.Mip-nerf：抗混叠神经辐射场的多尺度表示。在国际会议计算中目视，第5855- 5864页，2021年10月。第1、3条[4] Mark Boss，Raphael Braun，Varun Jampani，Jonathan TBar- ron，Ce Liu，and Hendrik Lensch.NeRD：来自图像集合的神经反射分解 在Int. Conf. Comput.目视第12684-12694页，2021。3[5] Chris Buehler 、 Michael Bosse 、 Leonard McMillan 、Steven Gortler和Michael Cohen。非结构化发光图绘制。SIGGRAPH，第425-432页，2001年。2[6] 罗德里戈·奥提兹·凯永，阿卜杜拉齐兹·杰卢阿，乔治·德雷塔基斯.一种基于超像素的选择性图像渲染方法在国际会议3D可视，第469-477页，2015年。2[7] Gaurav Chaurasia 、 Sylvain Duchene 、 Olga Sorkine-Hornung和George Drettakis。深度合成和局部扭曲的合理图像为基础的导航。 ACM Trans.Graph. ，32（3）：1-12，2013. 2[8] 陈星宇，张琦，李晓宇，陈越，冯颖，王轩，王爵。幻觉 神 经 辐 射 场 在 野 外 。 arXiv 预 印 本 arXiv ：2111.15246，2021。3[9] Zhang Chen ， Anpei Chen ， Guli Zhang ， ChengyuanWang，Yu Ji，Kiriakos N Kutulakos，and Jingyi Yu.自由视点重光照的神经在IEEE会议Comput. 目视模式识别，第55992[10] Inchang Choi，Orazio Gallo，Alejandro Troccoli，Min HKim，and Jan Kautz.极限视角合成。在Int. Conf.Comput.目视，第7781-7790页，2019年。2[11] Abe Davis Marc Levoy和Fredo Durand非结构化光场。在Computer Graphics Forum，第31卷，第305-314页2[12] Paul E.德贝维克和吉坦德拉·马利克从照片恢复高动态距离辐射图。在SIG中-GRAPH，page 369-378，1997. 二、三、四、八[13] Paul E Debevec，Camillo J Taylor，and Jitendra Malik.从照片中建模和渲染建筑：一种基于几何和图像的混合方法。在SIGGRAPH，第11-20页，1996中。2[14] Yilun Du ， Yinan Zhang ， Hong-Xing Yu ， Joshua BTenen-baum，and Jiajun Wu.用于4D视图合成和视频处理的神经辐射流。在国际会议计算中目视第14324-14334页，2021。3[15] 弗雷德里克·杜福，帕特里克·勒·卡莱特，拉·阿尔·曼蒂乌克和玛尔塔·姆拉克。高动态范围视频：从采集到显示和应用。中国科学院出版社. 4[16] Gabriel Eilertsen ， Joel Kronander ， Gyorgy Denes ，RafałK Mantiuk，and Jonas Unger.使用深度CNN从单次曝光重建HDR图像。ACM事务处理图表，36（6）：1-15，2017. 3[17] John Flynn，Michael Broxton，Paul Debevec，MatthewDu- Vall ， Graham Fyffe ， Ryan Overbeck ， NoahSnavely，and18407理查德·塔克Deepview：查看合成与学习梯度下降。在IEEE Conf. Comput.目视模式识别，第2367-2376页，2019年。2[18] Rohit Girdhar，David F Fouhey，Mikel Rodriguez，andAb-hinav Gupta.学习对象的可预测和生成矢量表示。以Eur.确认补偿目视，第484-499页施普林格，2016年。3[19] Steven J Gortler、Radek Grzeszczuk、Richard Szeliski和Michael F Cohen。光显仪。在SIGGRAPH，第43-54页，1996中。2[20] Thorsten Grosch等人，快速和鲁棒的高动态范围图像生成与相机和物体运动。视觉，建模和可视化，亚琛工业大学，277284，2006年。3[21] Michelle Guo，Alireza Fathi，Jiajun Wu，and ThomasFunkhouser.以对象为中心的神经场景渲染arXiv预印本arXiv：2012.08503，2020。3[22] 彼得·海德曼，苏希布·阿尔西桑，理查德·塞利斯基，和乔·汉内斯·科普夫.休闲3D摄影。ACM事务处理图表，36（6）：1-15，2017. 2[23] 彼得·海德曼和约翰内斯·科普夫。 即时3D摄影。ACM事务处理图表，37（4）：1-12，2018. 2[24] Katrien Jacobs，Celine Loscos，and Greg Ward.动态场景 的 高 动 态 范 围 图 像 自 动 生 成 。 IEEE ComputerGraphics and Applications，28（2）：84-93，2008. 3[25] James T Kajiya和Brian P Von Herzen。光线跟踪体积密度。ACM SIGGRAPH计算机图形学，18（3）：165-174，1984。二、四[26] Nima Khademi Kalantari ， Ravi Ramamoorthi ， et al.Deep high dynamic range imaging of dynamic scenes.ACM Trans.Graph. ，36（4）：144-1，2017. 二三五[27] Zeeshan Khan ， Mukul Khanna 和 Shanmuganathan Ra-man。FHDR：使用反馈网络从单个LDR图像重建HDR图 像 。 2019 年 IEEE 全 球 信 号 与 信 息 处 理 会 议（GlobalSIP），第1-5页。IEEE，2019。3[28] Junghee Kim，Siyeong Lee，and Suk-Ju Kang.用于多曝光图像的HDR图像合成的端到端可微分学习。在AAAI人工智能会议论文集，第35卷，第17803[29] Diederik P Kingma和Jimmy Ba。Adam：随机最佳化的方法。在国际会议学习中。代表。，2015年。5[30] LoubnaLechlek ， DanielMeneveaux ， MickaelRibardiere ， Romuald Perrot ， and Mohamed ChaoukiBabahenini.基于非结构化ldr照片的交互式hdr图像渲染计算机图形，84：1-12，2019。2[31] Marc Levoy和Pat Hanrahan。光场渲染。在SIGGRAPH，第31-42页，1996年。2[32] Tianye Li ， Mira Slavcheva ， Michael Zollhoefer ，Simon Green ， Christoph Lassner ， Changil Kim ，Tanner Schmidt，Steven Lovegrove，Michael Goesele，and Zhaoyang Lv.Neu- ral 3D video synthesis. arXiv预印本arXiv：2103.02597，2021。3[33] Zhengqi Li，Simon Niklaus，Noah Snavely，and OliverWang.时空视综合的神经场景流场18408动态场景在IEEE Conf. Comput.目视模式识别，第6498-6508页，2021。3[34] Stephen Lombardi 、 Tomas Simon 、 Jason Saragih 、Gabriel Schwartz、Andreas Lehrmann和Yaser Sheikh。Neural volume- umes ： Learning dynamic renderablevolumes from images.ACM事务处理图表，38（4），2019. 2[35] 冯璐、向阳季、戴琼海、桂花儿。高动态范围纹理的多视立体重建。亚洲计算机视觉会议，第412施普林格，2010年。2[36] Li Ma，Xiaoyu Li，Jing Liao，Qi Zhang，Xuan Wang，Jue Wang，and Pedro V Sander. Deflur-nerf