互联网照片集的辐射校正方法及其有效性

1互联网照片集的辐射校正莫志鹏1石博新2杨世杰1松下康之2，31新加坡科技设计2国立AIST3大坂大学摘要对来自互联网照片集的图像进行辐射校准将实验室数据的光度分析带到野外的大图像数据，但是传统的校准方法不能直接应用于这样的图像数据。本文提出了一种在互联网照片采集中对一组图像联合进行辐射定标的方法该方法利用多幅图像中对应像素的场景反射率的一致性，采用秩最小化框架估计所有图像的辐射响应函数。我们的校准对齐图像中的所有响应函数，以稳健的方式设置为相同的指数模糊度。模拟数据和实际数据的定量结果表明了该方法的有效性。1. 介绍对于一个受欢迎的地标，数百万张照片被捕捉并通过互联网分享。这样的互联网图像和社区照片集为计算机视觉研究提供了全面的图像资源，因为它们包含从不同视点、在不同时间、在不同照明下以及使用不同类型的相机和设置捕获的图像。捕捉这些图像的相机自然地组织一个“网络”。通过探索这样的网络，几何分析（诸如几何相机校准和3D重建，其通常使用单个图像是不可见的）通过建立用于使用多视图观察恢复 3D 点 的 对 应 关 系 而 变 得 易 于 处 理 。 运 动 结 构（SfM）[32]和多视图立体（MVS）[9，10]的最新进展显示了使用互联网照片的成功应用。光度分析是分析由这样的相机网络组织的互联网照片集的图像的重要补充问题，并且辐射校准是光度分析的关键先决条件许多通讯作者：boxin.shi@ aist. go. jp.计算机视觉问题，当它们被应用于因特网照片时，例如，固有图像分解[18]和光度立体[29]要求输入图像被射线线性化。然而，商业相机通常以非线性方式将场景辐射度映射到其像素值，以压缩动态范围和美学目的。这种映射在大多数情况下是未知的，并且被相机制造商视为商业机密。辐射定标的目标是估计摄像机经典的辐射校准方法在各种曝光时间下捕获静态场景[25]。对于具有光照变化的室外场景，给定来自固定视点的图像序列，该问题也可以通过对图像形成进行物理建模并使用图像间一致的场景重叠作为关键约束来解决[15]。辐射校准互联网照片与[15]有着相似的精神，但由于1）场景是从多个不同的视角捕获的，2）每个图像都是由具有未知设置的未知相机捕获的（例如，白平衡和曝光时间），以及3）需要同时估计一批不同的响应函数。在本文中，我们提出了一种新的方法，联合进行辐射校准的所有相机使用互联网上收集的照片为同一场景。我们利用从SfM和MVS计算的几何信息，并假设场景反射率（Recto）对于所有图像中的对应像素是相同的我们的关键观察是，只有当每个图像都应用了正确校准的逆辐射响应函数时，同一图像中具有相同表面法线的像素的辐射值的比率在整个图像集上应该相等。这种比率操作消除了不同白平衡设置、曝光时间和环境照明条件的影响，这些设置、曝光时间和环境照明条件通常对于每个图像（和相机）是任意的。将多个比率堆叠为秩应为1的矩阵。我们最小化这种矩阵的秩，以实现鲁棒估计，使所有响应函数一致，47384739我我一个全局指数模糊度。图1显示了我们的方法的关键思想和流水线使用各种合成和真实世界的数据集，以定量的方式评估我们的方法的性能。2. 相关工作我们的工作涉及到传统的辐射定标方法和计算机视觉应用到互联网照片集。辐射校准GretagMacbeth二十四块颜色检查器，其每个块的反射率值是已知的，是辐射校准的常用工具[2]。通过假设边缘处的线性辐射分布，可以在没有校准图的情况下进行单图像校准[21，22]。利用不同曝光时间的多幅图像进行辐射定标是一种流行而实用的方法.经典的方法包括Debevec和Malik[25]中的问题可以用秩最小化来表示，以实现更好的鲁棒性[19]。响应函数也可以通过使用测量响应函数数据库（DoRF）[11]使用更真实的模型表示。这样的表示也可以在日志空间中使用，以处理移动相机[16]，变化的照明条件[15]和野外动态场景[1]。除了多次曝光约束，还针对不同的成像设置和应用提出了其他约束，例如CCD成像的统计模型[33]、几何不变属性[26]、噪声的对称分布[24]、运动模糊的时间混合[34]和多次定向照明[30]。注意，在所有这些方法中，仅使用一个图像或多个图像校准一个相机，并且同行[20]假设图像块的局部平滑度和对应图像块上的一维线性关系，因此，在变化照明下的多视图图像的辐射校准可以被重塑为经典的多次曝光校准[16]，其可以潜在地应用于互联网照片。计算机视觉与互联网照片相结合。 各种计算机视觉问题可以扩展到处理互联网照片。成功的应用包括场景完成[12]、虚拟旅游[31]、天气估计[28]、从草图合成图片[3]、图像恢复[5]、生成面部动画[14]、图像着色[4]、内在图像分解[18]、颜色consideration [27]、光度立体[29]、合成延时视频[23]等等。在这些应用中，所有相机的任意非线性响应函数被简单地近似为全局Gamma校正，或者甚至完全忽略为线性函数。因此，我们相信互联网照片的辐射校准解决方案是一项非常重要的技术，可能会使依赖于摄影分析的各种应用场景受益。3. 图像形成模型我们假设场景反射率遵循朗伯模型，并且我们从SfM和MVS知道场景几何形状（表面法线）。通过三维重建，得到了所有图像中三维场景点与二维像素点的对应关系我们以图像集中的第j幅图像为例，其中场景在第j幅自然光照Lj（ω）下照明。然后，第i个三维点的场景辐射由照明的相互作用确定其表面法线ni∈R3×1，由朗伯矩阵ρi缩放为∫控制照相机以调整其设置（例如，手动模式具有固定的白平衡，ISO，但曝光时间不同）Rij=ij（ω）ρiLj（ω）max（（nΩ用于校准目的。存在对互联网照片执行辐射校准的现有作品。Kuthirummal等人[17]探索大型图像集合的先验知识。通过假设相同的相机模型具有一致的响应函数，并且该相机模型的一些辐射校准图像可用，可以根据与统计先验的偏差来估计图像集合的相机特定响应函数。随着互联网尺度图像集三维重建技术的发展，利用场景地理信息进行无线电定标成为可能。其中ω ∈ R3×1是球面方向Ω的单位向量，Lj（ω）是第j幅图像的元素映射，它对来自方向ω的光强进行编码。ωij（ω）是可见度函数，如果照明被设置为0，则其被设置为0。对于投影到第j个图像的第i个3D点，从方向ω的第1个点是不可见的，否则为1对于任何可见光函数等于1的ni，它接收来自其可见半球的光，可见半球上的积分简化为Rij=ρi（nlj），（2）根据SfM [32]和MVS [9，10]估计的几何学迪亚兹和Sturm [7，8]联合求解了响应其中lj=∫iLj（ω）dω.功能和照明，通过使用非线性优化-和前科记录最近的一项工作由李和当第j个相机捕获场景时，图像第k个颜色通道中第i个像素的辐照度（例如，4740象素率……GP1. .Q21 2 .G2……P. . .Q212从照片集进行3D重建像素比和秩最小化……图像1…图像Q…图像2J我我的天观察观察具有相同法线但不同法线的像素对观察反辐射响应函数图1.我们的方法的管道。我们估计（逆）辐射响应函数为每个图像{g1，g2，···，gQ}的像素对的堆栈上的秩最小化。The 正确的g将矩阵的每一行变换为相同的向量（直到一个尺度），使矩阵秩为-1。RGB）可以表示为Ik=cktjρk（nlj），（3）相同的光量，但在每个图像中具有不同的亮度我们假设这些像素现在已经被识别出来了，像素选择方法将在第二节中介绍。4.4假设一对这样的3D点具有法线n和光照l，并且其中ck是白平衡比例，tj是曝光时间它们的平均值为ρm而ρn（ρm/=ρn ）分别。对于第j个摄像机。由于凸轮的非线性映射辐射响应函数f（·），观测值为将这两个点代入Eq。（6）取它们之间的比值，我们得到：被f扭曲为gj（Bmj）qjρm（nl）ρmK KKk kkg（B=）q ρ （nl）=ρ.（七）Bij = fj（Iij）= fj（cj tjρi（nilj））。（四）响应函数是单调函数，因此存在唯一的反函数g=f−1，将观测值映射到图像辐照度值。通过将逆响应函数g应用于等式2的两侧，（4），我们得到gk（Bk）=cktρk（nl）.（五）nn以上的辐射率一致性是我们用于辐射定标的关键约束。给定足够数量的观测值B，覆盖广泛的强度范围，我们可以建立一个通过非线性优化求解的方程组[25]。辐射定标的最新进展表明，秩最小化方法可以更稳健地解决这一问题，并有效地避免伊季jji ij[19]第十九话。 因此，我们将问题表述为辐射校准可以对三个不同的颜色通道独立地执行，因此我们在此之后省略了k相关项。 将qj=cjtj表示为依赖于图像的缩放因子，则等式 （5）简化为gj （ Bij ） =qjρi （ nlj ） 。（6）在互联网照片的辐射校准方面，矩阵形式，其最小秩对应于逆响应函数的正确估计。将P表示为具有相同法线（和照明）但不同视差的像素对的总数，并且将Q表示为图像的总数，或等效地照明条件和相机的对我们可以安排这些像素根据比例格式的方程。（7）并将它们堆叠为以下矩阵：照片集合中的每个图像具有其自己的G。我们的目标是同时估计照片集中所有图像的g第1（B11）页第1（B 01）页第2章（B12）A=100g2（B02）g1（B21）g1（B11）g2（B22）g2（B12）G1G2gQ……辐照度辐照度辐照度.4741⎜..⎟···g1（BP1）g1（B（P−1）1）···g2（BP2）g2（B（P−1）2）（八）Q×P... . .⎟4. 辐射校准方法⎝ G（B）） 的方式G（B）） 的方式⎠g（B）Q1 QQ2Q···QPQgQ（B0Q）gQ（B1Q）gQ（B（P−1）Q）4.1. 制剂利用场景3D信息，可以找到具有相同表面法线的点，对于每个行的最佳逆响应函数g j将矩阵中的每个像素比变换为其对应的像素比，使得A的每行变为4742MnQ112QP+1. ρ1，ρ2，···，ρP1，这显然使A成为秩1算法1辐射定标算法ρ0ρ1ρ（P−1）矩阵因此，我们的辐射校准问题成为下面的秩最小化1：{g，g，···，g}=argmin rank（A）。（九）输入：输入图像，选择并堆叠像素作为Eq.的矩阵，（八）、//最优化：对于使用两行A的所有成对组合，12Q{g1，g2，···，gQ}使用Eq.求解两个g。（10）;上述操作和过程在图1中示出。1.一、将这两个g应用于A中相应的行;端4.2. 优化选择gg0使得A的对应行我们使用与[19]中类似的方法来解决上述秩最小化，其由条件数表示为差异最小对于k={1，2，···，Q}，k/={m，n}，建立一个矩阵，其中A的第{m，n，k}行，使用Eq求解g0（10），g0和g0固定;{g，g，···，g}=argminσ2（A）、（10）km n端12Q{g，g，···，g}σ1（A）//全局优化：12Q其中σ（A）是A的第i个奇异值.解决当量（十）为所有G同时使用{g0，g0，···，g0}作为初始值;i1 2 Q我们选择使用[19]建议的g主要考虑的是，多项式表示更适合于基于梯度的凸优化，因为它的光滑性。在0到1的范围内对辐照度和观测值进行归一化。则g的多项式表示变为S−1g（B）=B+B（B−1） piBS−i−1，（11）i=1其中{p1，p2，···，pS−1}是要估计的多项式这样的表达式只使用S−1个未知数来表示S阶多项式。终点反向响应函数的约束是明确强制的，因为方程。满足g（0）= 0和g（1）= 1。注意，我们只借用[19]中的优化策略来求解方程。（十）、事实上，由于许多不同响应函数的联合估计，我们的问题比[19]更具挑战性，并且由于像素比，需要最小化秩的矩阵的结构完全我们发现这样的问题不能像[19]那样直接求解，因为直接求解所有g-模是非常不稳定的，因为每个gj独立地变换A的一行，这显著地增加了最小秩的搜索空间。因此，我们通过使用成对优化和全局优化来解决这个问题。成对优化意味着我们选择两行作为“基础”图像对，并以增量方式将所有其他行与基础对齐。在应用所估计的逆响应函数之后，通过下式将基础图像对选择为具有最小差异的A的两行：1为了便于表示，我们只显示了一个用于排列ρ2ρP输出：逆响应函数{g，g，···，g}。求解方程（10）对于所有由A的两行组成的C2子矩阵， 然后我们一次添加一行，以求解具有三行的子矩阵的剩余Q-2这里，估计的逆响应函数被表示为g0。全局精化将g0作为初始值，使用等式同时求解所有g（十）、我们完整算法总结为算法1。4.3. 指数模糊度类似于现有的辐射校准方法[1，11，15，16，19，25]，我们的方法也遭受指数模糊。这是因为对于一组优化解g，对于任何未知γ的gγ也保持等式中的比率一致。（7）并使A的秩为1。注意，对于所有图像，仅存在一个γγ的不确定性给所有g的联合估计带来了挑战，这是我们必须从算法1中的成对优化方法开始的部分原因。虽然在没有额外约束的情况下，一组图像存在无限多个解，但我们的方法自然地将所有响应函数统一到相同的模糊度，并且这样的结果可能对诸如高动态范围成像和全景图像拼接之类的任务有用。我们可以通过只将一个辐射校准图像插入到照片集合中来消除这样的单参数模糊性在不失一般性的情况下，我们将此图像中的像素对放在第一行，并在优化过程中将fixg作为 最后，优化后的{g，g，···，g}的结果自动对齐所有其他像素对（可以有像ρ0的比率项，ρ1等）。 给定p+ 123 Q不同的ρ值，有C2种可能的取比组合。行的A与线性化的值，以形成一组解决方案的指数模糊自由。47434.4. 实现细节三维重建。在Eq中构建矩阵。（8），我们需要在所有图像中提取对应的像素，这些像素具有相同的表面法线，在相同的光照条件下，但具有不同的灰度。 我们首先使用输入照片采集执行3D重建（SfM [32]和MVS[10]）。选择具有相同表面法线的3D点并投影到2D图像上。然后，我们计算这些像素的成对比作为初始猜测的像素比。每对中的选定像素应接收相同量的环境照明，如果它们的可见度函数fij定义在等式（1）中，则每对中的选定像素应接收相同量的环境照明。（1）相同。然而，稀疏的三维重建和未知的环境光照不能准确地估计可见性信息，从而导致真实数据中存在阴影和局部光照变化等噪声。因此，我们提出了一个简单的离群值拒绝方法来处理这个问题。我们发现，大多数这样的初始选择的像素对显示出相似的比率值，并且出现在分子或分母中的任何噪声像素导致比率与其他像素显著不同通过使用RANSAC进行直线拟合，可以很容易地识别和丢弃这些离群值。最后，在所有图像中观察到的剩余像素对被堆叠为等式中的矩阵。（8）优化。优化的细节。在实践中，我们只需要几十个图像作为输入，通过SfM和MVS进行3D重建根据算法1，没有必要同时优化Q响应函数，因为我们使用增量方法来估计除了被选择为基础的两个响应函数之外的所有响应函数。给出一组完整的图像，我们将其分为几个子组（例如，每个子组中有10个图像），并使用算法1求解每个子组。我们根据经验发现，这种分而治之的策略提供了更稳定的解决方案，并且这种特性允许并行处理大量数据。我们使用Matlab内置函数在成对优化步骤中，将反向响应函数的初始猜测选择为所有图像的线性函数。增加了单调性约束，以惩罚类似于[19]中采用的非单调我们进一步增加了一个二阶导数约束，假设大多数响应函数具有凹或凸形状。根据[11]，存在具有更不规则形状的响应函数，但它们很少在普通数码相机中观察到。堕落的案子。对于我们的问题，一个明显的退化情况是具有均匀双曲度的场景。因为在方程中，单位形式的ε do导致ρm=ρn.（7），并且A中的每个元素都变成1，因此A变成秩1。因此，我们需要在场景中至少两个不同的Paddo值但是，如果具有两个不同阴影的像素都在同一平面上（假设场景中没有阴影，因此相同的曲面法线接收相同数量的环境照明），则会陷入类似的退化情况。因此，避免简并情况的最低要求是在两个不同平面上有一对不同的双折射这是因为，即使在优化后的灰度比是相同的，如果两个像素对由不同的着色项n×l缩放，然后由相同的响应函数非线性映射，它们的比率在优化前变得不同幸运的是，一个狂野的场景可能包含比我们的最低要求更多的变化。由于问题公式化是高度非线性的，因此提供所需的不同的双曲线或表面法线的数量的分析证明是不平凡的，但是我们将在下一节中实验性地分析这样的问题。5. 实验结果我们进行定量评估，我们的方法使用合成和真实数据。用于评估的误差度量是估计的逆响应函数w.r.t.的均方根误差（RMSE）。地面实况和视差，即，估计曲线和地面实况曲线之间的最大绝对差5.1. 用合成数据进行像素对数量与多项式的阶 我们的方法预计将更加稳定和准确，因为像素对的值更加多样化（正态和正态变化），并与高阶多项式拟合。我们使用合成数据，通过测试6种类型的像素对和6种不同的多项式阶数，验证了不同的插值值和多项式阶数下的精度。这6组输入数据是通过改变不同的法线乘以不同的插值值的数量来生成的，{1×2，2×3，3×4，4×6，5×10，6×15}。在这里，1×2意味着在两个不同的平面上的一对不同的Δ ω值。然后，我们应用DoRF数据库[11]中的10种不同的照明条件和10种不同的响应函数来生成我们的观察值。使用我们的方法估计逆响应二、正如预期的那样，由于输入数据的变化更加多样化，平均误差显示出逐行递减的趋势值得注意的是，每个图像中只有24对点（六个不同平面上的四对RMSE值）产生相当小的误差（RMSE约为0。01）用于10个不同响应函数的联合估计。从图2中，我们还可以看到我们的方法对多项式阶数的选择不敏感，并且通常大于5的多项式阶数工作良好。在所有实验中，我们将多项式阶数固定为7，作为准确性和474434567 81×20.07610.04330.05390.05660.05540.05222×30.06620.02240.01850.01710.01490.01683×40.14580.01670.01620.01940.01700.01494×60.07420.01440.01440.01300.00940.00755×100.06280.01590.00760.00660.00950.00756×150.06650.01940.00940.00790.00670.0073图3.在各种噪声水平下的评估以及我们的方法与Diaz13之间的比较[8]。箱须图显示了200（20 × 10）个估计响应函数的RMSE和差异的平均值（用“×”表示）、中位数、第一和第三四分位数以及最小和最大值。图2.平均RMSE/差异w.r.t.像素对的数量（行方式）和多项式的阶数（列方式）。反射阴影11复杂性各种噪音的表现。我们首先添加量化来模拟8位图像形成，然后添加23748510692374851069泊松噪声，如[13，19]中所建议的，其通过考虑信号相关的激发和暗电流噪声以更现实的方式描述成像噪声。噪声水平由相机增益参数Cg控制，并且较大的Cg意味着更严重的噪声。请参考Equa-10.90.80.70.60.50.4估计值（RMSE/差异）0.0083/0.0257地面实况With RF With IRF Original0.3对于噪声模型表示，参见[19]中的第（9）-（11）项我们进行20次试验，每个试验包含10个随机选择的响应函数，来自DoRF，具有4×6像素对。我们评估了另一种基于光度成像的方法[8]（表示为使用相同的数据。我们发现，由于对太多变量进行非线性优化，对所有变量（光照、照明和响应函数系数）进行联合估计会产生不可靠的结果。因此，我们在Diaz 13的实现中提供了地面实况照明系数，并将其用作Diaz 13的稳定性能进行比较。结果在var-如果Cg={0，0. 1，0。2，0。5}（其中Cg= 0仅表示0.30.20.100.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10.90.80.70.60.50.40.30.20.100 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0.150量化噪声）的两种方法绘制在图。3 .第三章。我们的方法在大多数噪声水平下都优于Diaz13，但Diaz13在这些噪声水平下表现出更稳定但不太准确的性能。当噪声较大时，我们的方法显示出性能下降，部分原因是比率运算放大了噪声。请注意，在实际情况下，Diaz13需要密集重建以进行照明估计，而我们只能在少数选定的像素对上工作。单视图图像上的结果。 单视图合成测试进行，以提供一个直观的例子，图4.使用合成数据集的辐射校准结果上面一行显示了地面真实反射率、阴影图像以及具有相同法线但不同反射率值的十个选定像素对（黄色数字）。绘制了估计的逆响应函数和地面真值曲线的两个示例结果非线性观测（the “Original” im-ages are shown next to the inverse response curve定量分析，这是免费的错误，从三维recruitment。我们使用[18]中的数据，该数据是使用RMSE多项式阶视差多项式阶噪音水平（Cg）：与RF具有IRF原始0.30.150#像素对估计值（RMSE/差异）0.0079/0.0245地面实况#像素对RMSE/差异值归一化辐照度归一化辐照度34567 81×20.13340.07130.09400.10140.09900.09252×30.11620.04120.03510.03290.02870.03193×40.26810.03200.03120.03770.03390.02884×60.13340.02880.02880.02600.01950.01695×100.11170.03250.01750.01520.02060.01696×150.11740.03980.02060.01750.01660.01804745归一化辐照度归一化辐照度归一化辐照度归一化辐照度归一化辐照度归一化辐照度10.90.80.70.6我们的（RMSE/差异）0.0117/0.0361Diaz 13（RMSE/差异）0.1173/0.2338Lin 04（RMSE/差异）0.1396/0.235410.90.80.70.6我们的（RMSE/差异）0.0075/0.0158Diaz 13（RMSE/差异）0.0835/0.1366Lin 04（RMSE/差异）0.0956/0.168510.90.80.70.6我们的（RMSE/差异）0.0558/0.1034Diaz 13（RMSE/差异）0.0942/0.1659Lin 04（RMSE/差异）0.1049/0.14120.50.40.30.20.10校准10.50.40.30.20.10校准20.50.40.30.20.10校准300.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10.90.80.70.6我们的（RMSE/差异）0.0240/0.0473Diaz 13（RMSE/差异）0.0738/0.1585Lin 04（RMSE/差异）0.1133/0.205710.90.80.70.6我们的（RMSE/差异）0.0179/0.0315Diaz 13（RMSE/差异）0.0855/0.1645Lin 04（RMSE/差异）0.1210/0.221810.90.80.70.6我们的（RMSE/差异）0.0374/0.0668Diaz 13（RMSE/差异）0.0746/0.1210Lin 04（RMSE/差异）0.0887/0.15770.50.40.30.20.10校准10.50.40.30.20.10校准20.50.40.30.20.10校准30 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10.90.80.70.6我们的（RMSE/差异）0.0155/0.0402Diaz 13（RMSE/差异）0.0727/0.1540Lin 04（RMSE/差异）0.1185/0.21860.90.80.70.6我们的（RMSE/差异）0.0168/0.0303Diaz 13（RMSE/差异）0.0714/0.1348Lin 04（RMSE/差异）0.1086/0.21430.90.80.70.6我们的（RMSE/差异）0.0137/0.0320Diaz 13（RMSE/差异）0.0458/0.0771Lin 04（RMSE/差异）0.0991/0.14830.50.40.30.20.10校准10.50.40.30.20.10校准20.50.40.30.20.10校准300.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测00.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测图5.使用混合互联网照片和捕获图像的图像集合估计逆辐射响应函数（红色框中）。显示了在三个图像的RGB通道上与“Diaz13”[ 8 ]和“Lin04”[ 21 ]进行比较的结果RMSE和差异在每个图的图例中。基于物理的渲染器。给定地面真实反射率和阴影图像，如图1的上半部分所示。4，我们手动选择10对具有相同表面法线但不同灰度值的像素（在反射率和阴影图像上使用黄色数字标记）。我们随机应用10个不同的响应函数来产生10个观测图像，然后使用所选择的像素作为输入来执行辐射校准。两个典型的结果估计逆辐射响应函数w.r.t.地面实况曲线如图所示。4.第一章我们进一步将逆响应函数应用于观测图像，线性化后的图像与原始图像之间的相似性表明了我们的无线电定标方法的正确性。5.2. 真实数据实验为了使用真实数据进行定量评估，我们创建了包含互联网照片和使用受控相机捕获的三个不同场景的图像的混合数据集。图1中使用的数据集的图像总数为55其余两种分别为44、31图中使用的数据集。六、我们对所有数据集使用三台受 控 相 机 （ ①Sony Alpha7 、 ② Nikon D800 和 ③Canon EOS M2），并使用多次曝光方法校准其响应函数[19]。我们对每个数据集中的所有图像进行3D重建和辐射校准。两个（三个）捕获的图像被用作成对优化的基础图像对，校准的响应函数被用于从我们的方法中去除所有估计的指数模糊性。我们还在同一数据集上运行了我们自己的“Diaz13”[ 8 ] 2和[ 21 ]（表示为“Lin04”）3的实现定量结果（估计的逆辐射响应函数及其RMSE/视差w.r.t.地面真相）的RGB通道的三个图像（由三个不同的相机型号捕获）从第一个场景绘制在图。5，我们只使用图中其他两个场景的R通道显示类似的图。六、除了2这次，照明系数也是随机初始化的优化的一部分。3由Jean-Franois Lalonde执行，可从以下网址查阅：https：//github.com/jflalonde/radiometricCalibration归一化辐照度归一化辐照度归一化辐照度123123123474610.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0239/0.0504Diaz 13（RMSE/差异）0.0664/0.1293Lin 04（RMSE/差异）0.0779/0.1315110.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0205/0.0656Diaz 13（RMSE/差异）0.1617/0.3227Lin 04（RMSE/差异）0.1831/0.3435210.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0196/0.0697Diaz 13（RMSE/差异）0.1442/0.2634Lin 04（RMSE/差异）0.1617/0.2854校准校准校准30 00 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测10.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0214/0.0366Diaz 13（RMSE/差异）0.1199/0.2444Lin 04（RMSE/差异）0.1279/0.1993110.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0451/0.0951Diaz 13（RMSE/差异）0.0609/0.0996Lin 04（RMSE/差异）0.0291/0.0918210.90.80.70.60.50.40.30.20.1我们的（RMSE/差异）0.0132/0.0387Diaz 13（RMSE/差异）0.1541/0.3026Lin 04（RMSE/差异）0.1605/0.2885校准校准校准30 00 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测00 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1归一化观测123123图6.估计逆辐射响应函数使用另外两个图像集合与互联网照片和捕获的图像（在红框中）混合。显示了在三幅图像的R通道上与“Diaz13”[ 8 ]和“Lin04”[ 21 ]进行比较的结果和校准的地面实况。RMSE和差异在每个图的图例中。第二个例子在图的底行。6其中“Lin04”[21]显示了比我们更好的结果，我们所有的估计都显示了最接近校准地面真实值的形状（具有最小RMSE/差异）。我们的方法的高精度部分是由于我们使用校准的地面真值来解决指数模糊度，但是这里的实验证明，我们的方法能够可靠地联合估计一组图像的逆响应函数，直到相同的指数模糊度。6. 讨论我们提出了一种方法来执行辐射校准的图像从互联网上的照片集。与传统的辐射定标问题相比，网间照片具有广泛的未知相机设置和响应函数，这些设置和响应函数既不可访问也不可调整。我们解决这个具有挑战性的问题，通过使用场景的重复率，这是假设是一致的，在所有的图像。本文提出了一种基于秩最小化的多响应函数联合估计的优化方法。所提出的方法的有效性证明使用合成和真实世界的数据。目前，我们需要假设3D重建对于提取共享相同表面法线的点是足够可靠的。随着辐射校准问题的解决，结合使用互联网照片的光度3D重建[29]以进一步提高3D重建的质量将是有趣的。尽管我们的解决方案自然不受白平衡和曝光的影响-由于单个图像的时间设置，我们只能通过辐射校准将场景辐射恢复到线性缩放值（对于每个颜色通道）。解释的白平衡和互联网照片的曝光时间设置是一个有趣的未来话题。目前的方法不能处理具有严重噪声的图像，并且需要补偿由比率操作引起的噪声放大的甚至更鲁棒的解决方案确认我们感谢Joon-Young Lee提供[19]的代码博信施和松下幸由新能源和工业技术开发组织（NEDO）委托的一个项目支持。施博信也得到了JSPS KAKENHI Grant的支持，编号JP17K12722。杨世杰获新加坡MoE学术研究基金MOE 2016-T2-2- 154资助;新加坡国家遗产委员会遗产研究基金; SUTD数字化制造与设计中心（DManD），由新加坡国家研究基金会（NRF）支持;NRF，新加坡总理办公室，根据其IDM期货基金倡议和环境&水技术战略研究计划，并由PUB，新加坡国家水务局管理;本资料是根据国家研究基金会在虚拟新加坡 奖 第 2009 号 下 的 部 分 研 究 / 工 作 而 编 写 的 。NRF2015VSG-AA3DCM001-014。归一化辐照度归一化辐照度归一化辐照度归一化辐照度归一化辐照度归一化辐照度4747引用[1] A. Badki，N. K. Kalantari，和P.参议员鲁棒辐射校准的动态场景在野外。InProc. of International Conference onComputational Photography，2015. 二、四[2] Y.-- C. Chang和J.F. 里德RGB校准用于颜色输入机 器 视 觉 中 的 年 龄 分 析 IEEE Transactions on ImageProcessing，5（10）：1414-1422，1996。2[3] T.陈文M. Cheng，P. Tan，A. Shamir和S.- M. 胡Sketch2photo：互联网图像蒙太奇。ACM Transactionson Graphics （ Proc. of ACM SIGGRAPH Asia ） ， 28（5）：124：1- 124：10，2009. 2[4] A. Y.-- S. Chia，S.卓河K.古普塔，Y.- W. Tai，S.- Y. 小周，P. Tan 和 S. 是 林 书 网 络 图 像 的 语 义 着 色 。 ACMTransactions on Graphics（Proc.关于ACM SIG-GRAPH Asia），30（6）：156：1-156：8，2011。2[5] K.戴尔M. K.约翰逊，K。Sunkavalli，W. Matusik，和H.菲斯特。使用在线照片集进行图像恢复。国际计算机视觉会议论文集，2009年。2[6] P. E. Debevec和J.马利克恢复高动态范围从照片中得到的辐射图在proc 关于ACM SIG-GRAPH，1997年。2[7] M.迪亚兹和P.斯特姆。利用照片集进行辐射校准。 在proc 2011年国际计算机摄影会议。2[8] M. Diaz和P.斯特姆估算光度特性从 图 像 集 合 。 Journal of Mathematical Imaging andVision，43：93-107，2013。二、六、七、八[9] Y. 古川湾Curless，S.M. Seitz和R.塞利斯基-向互联网规模的多视图立体。在proc 计算机视觉和模式识别，2010年。一、二[10] Y. Furukawa和J.庞塞准确、密集和强大的多功能查看立体视觉。IEEE Transactions on Pattern Analysisand Machine Intelligence，32（8）：1362-1376，2010.一、二、五[11] M. D. Grossberg和S。 K. 纳亚尔空间建模相机响应功能。IEEE Transactions on Pattern Analysisand Machine Intelligence，26（10）：1272-1282，2004.二、四、五[12] J. Hays和A. A.埃夫罗斯场景完成使用数百万照 片 ACM Transactions on Graphics （ Proc.of ACMSIGGRAPH），26（3），2007. 2[13] Y. Hwang，J. - S. Kim和我S.奎恩 基于差值图像噪声建模采用了高斯分布。IEEE Transactions onPattern Analysis and Machine Intelligence，34（7 ）：1329-1341，2012。6[14] I. Kemelmacher-Shlizerman，E.谢赫特曼河Garg，还有S. M.塞茨探索photobios。ACM Transactions on Graph