未知遮挡物下的非视线成像

1使用未知遮挡物恢复隐藏场景亚当湾 1马内尔·巴拉达德1克里斯蒂娜·斯拉姆波利迪斯2 威廉·T.Freeman1，3 Gregory W.沃内尔1{adamy，mbaradad，billf，gww}@ mit.edu，cthrampo@ucsb.edu1麻省理工学院，2U.C.圣巴巴拉，3谷歌研究摘要我们考虑了一个具有挑战性的问题，即从漫反射表面上投射的微弱阴影中推断出隐藏的运动场景。被动非视线（NLoS）成像方面的最新研究表明，场景和漫射表面之间存在遮挡物体显著改善了问题的条件反射[2]。然而，该工作假设遮挡器的形状是先验已知的。在本文中，我们放宽了这一往往不切实际的假设，扩大了被动闭塞的NLoS成像系统的应用范围。我们将未知场景和未知遮挡物的联合恢复问题归结为一个盲解卷积问题，提出了一种简单有效的两步算法。在第一步，该算法利用场景中的运动特别是，它利用了现实场景中的运动通常是稀疏的这一事实第二步是更标准的：使用正则化，我们通过遮挡估计来解卷积以求解隐藏场景。我们证明了我们的方法的有效性，在各种设置的仿真和实验。1. 介绍对不可直接看到的场景进行成像，也称为非视线（NLoS）成像，是一个困难且经常不适定的问题。最近，它已成为一个活跃的研究领域，具有广泛的应用，包括搜索和救援，反恐和交通[3，4，2]。过去依靠人类可见光来成像隐藏场景的方法可以分为两类。主动方法将光引入到场景中，并利用引入光的已知或测量的属性，例如返回时间，对隐藏场景进行成像[28，23，27，10]。另一方面，被动方法完全依赖于场景的环境光，例如观察平面上的二次反射，以推断隐藏场景的内容[25，4，2]。这两种方法通常图1：该图显示了我们的方法可以应用的假设场景在左边，我们可以看到一扇门，但我们使用我们在本文中提出的方法，摄影师可以尝试通过观察门来重建房间的图像，也许是通过使用椅子提供的遮挡和人提供的运动。这是真的，即使椅子和人都是不可见的。假设有一些直接可见的观察者和隐藏的场景（见图）。①的人。 在这项工作中，我们把这个可见区域称为观察平面。被动方法的缺点在于，在现实世界的设置中，只能观察到二维表面（参见例如，图1），但产生这些观察的场景是三维的。因此，该问题本质上是不适定的。过去的方法通过假设场景位于低维流形上，从而仅重建场景的低维投影[25，4]，或者在重建时利用现实场景的强空间先验来解决这个问题[2]。我们的方法属于前一类，因为我们假设场景和遮挡物都位于平行的平面上。这允许我们将投射在观察平面上的阴影建模为这两个平面的简单卷积。虽然到目前为止已经有大量的先前的工作表明，它是可能的使用存在的一个oc-1223112232cluder推断隐藏场景的结构[25，4，24，2]，这项工作，据我们所知，是第一个这样做的盲目的方式，这意味着我们不知道先验的结构遮挡。过去利用遮挡的工作要么使用场景校准来在系统可以工作之前获得遮挡物的精确图片[24，2，21]，要么限于遮挡物具有一些基本的常见形状的情况，如针孔，pinspeck或边缘[25，4]。这个问题的盲目性加剧了非视线成像已经令人生畏的挑战。然而，我们希望这将使我们的方法广泛适用于遮挡物复杂但无法进行预校准的情况，例如交通或搜索和救援[3]。2. 背景这项工作从过去的工作中汲取灵感，属于两大类：第一种是NLoS成像，特别是基于遮挡的NLoS成像，第二种是盲去卷积的过去工作。据我们所知，这项工作是第一次将这两个研究领域综合成一个算法，做一些新颖的事情：仅对隐藏场景和未知遮挡物作最小假设，就得到隐藏场景的二维视图。2.1. 非视线成像2.1.1主动方法过去在主动NLoS成像中的工作已经证明了使用飞行时间（ToF）相机[28，23，13，10]解析隐藏场景中的结构的可能性，包括计数人[27]，推断物体的大小和运动[12，19，9]以及2D空间中的物体跟踪[14]。特别地，Pandharkar et al.[19]使用ToF相机来解决部分未校准设置中的移动场景，Velten等人。[26]使用它们从角落后面恢复3D结构。Thrampoulidis等人[24]表明基于遮挡物的成像也可以应用于活动设置。2.1.2被动方法最近，对基于遮挡物的成像方法的兴趣激增Torralba和Freeman [25]是最早注意到环境中的物体可以形成“偶然”相机的人之一，使解决隐藏结构变得更简单。特别是，他们利用了这样一个事实，即许多普通物体的行为近似于pinspeck或针孔。此外，在2019年，Saunderset al.[21]使用pinspeck遮挡器来解决2D场景。基于遮挡的方法也被用于查看角落[4]和推断光场[2]。编码孔径图2：左：具有移动场景、遮挡器和观察墙的真实场景。右：我们的场景模型。摄影[16，31，20]也可以被认为是一种基于遮挡的成像。2.2. 盲解卷积过去在盲去卷积领域的工作主要集中在图像去模糊[17，6，15，5]，尽管也有应用于通信[7]和控制系统[1]的工作。最近，兴趣盲反卷积图像去模糊已经恢复由Fergus等人。在[8]中。过去的盲去卷积方法通常使用局部搜索方法，包括总变差最小化[6]和交替投影[29]。过去也有多帧盲反卷积的工作，应用于天文图像的去模糊年龄[22，11，18]。3. 场景3.1. 设置我们的场景模型由三个要素组成：隐藏的移动场景、遮挡器和观察平面。我们将每个元素建模为平行的2D平面。参见图2的图示。隐藏的场景被假定为一个集合的dif- fuse反射器，照射光均匀地在所有方向上，并对遮光剂和观察平面。隐藏的场景也被假定包含一些运动。未知的遮挡物被假定为位于公共平面上的一组完全不透明的 我们假设隐藏场景、未知遮挡物和观察平面相对于它们的大小都相距相当大的距离。这允许我们调用近轴成像假设，如[30，4]。观测平面被假定为完全的朗伯平面。在模拟中，我们还假设观察平面是白色和均匀的，并且所有到达观察平面的光都来自场景;在实验中，12233Tt因此，我们使用均值减法来解释具有环境“滋扰”光源的非白色、非均匀观测，这种方法也用于其他工作（例如，[4]）。这使我们能够将我们的方法应用于最现实的sce- narios，对核心算法进行最小的调整。我们将探讨其他偏离我们在第6节中提出的理想情况的影响。3.2. 光传播我们在第3.1小节中描述的假设意味着，平移场景中的光源将对应于它在观察平面上以相反方向投射的阴影的简单平移关于为什么会这样，以及当这些假设被违反时，模型如何偏离现实的更详细的解释，请参见第6节。我们将光通过系统的传播建模为场景与遮挡物的2D卷积。这是因为脉冲光源的平移将简单地平移由遮挡物投射的阴影参见[30]，他们使用与我们相同的基于卷积的光传播模型在第6节中，我们详细介绍了这个模型的鲁棒性，在第7节中，我们给出了实验结果，包括真实世界的实验。在本文的模拟中，我们假设我们看到了场景和墙上遮挡物的完整卷积。如果场景是一个大小为xs×ys的平面，遮挡物是一个大小为xocc×yocc的平面，这对应于（xs+2xocc）×（ys+2yocc）的观测值。然而，在实际设置中，可能无法看到完整的场景的卷积和墙上的遮挡物。因此，在实验情况下，我们将观察到的壁的尺寸表示为xobs×yobs。很容易使我们的算法适应场景和遮挡物之间只有部分卷积可见的情况，如第二节所述。第四和第五个。但是，当然，xobs和yobs越大，关于隐藏场景的信息就越多，重建效果就越好。4. 封堵器估计我们的盲解卷积算法包括两个步骤。第一步从观测影片中估计2D遮挡物，这是本文的主要贡献我们将在本节中描述此步骤。在第5节中，我们描述了更标准的第二步，它使用估计的遮挡物恢复电影。4.1. 预赛令Y ={Y [0]，. . . ，Y [T]}是观察到的视频，其中每个Y[t]对应于视频帧。 让你 为Y[t]是视频的的帧，使得其每个像素等于该像素在整个视频上的时间平均值。此外，请考虑：（a）减去平均值的视频Yμ={Y[0]-是的。 . . ，Y[T]−Y<$}，即，视频的差异，从原始视频的平均值;（b）差视频YD={Y [1]-Y [0]，. . . ，Y [T]-Y [T-1]}，即，离散观 察 到 的 视 频 的 时 间 导 数 。 类 似 地 ， 令X={X[0]，. . .，X[T]}是场景的地面实况视频，并且令Xμ和XD是场景的减去均值的地面实况视频以及离散时间导数。地面实况录像的录像Xμ和XD是以与上述相同的方式相对于X定义的在这一点上，请注意减去均值的视频和差值视频之间的细微但重要的差异我们使用观察到的差异视频来估计遮挡物，并且在重建运动场景时使用观察到的均值相减视频。使差异视频优选用于遮挡物估计的是以下事实：大多数真实的运动场景在其中仅具有几个运动对象;因此差异视频的每个帧是稀疏的。1最后，我们让A成为遮挡物。封堵器的每个元素都是0或1，1表示无封堵，0表示封堵。如第3节所述，我们可以将观察结果表示为场景和遮挡物2的卷积。因此，对于所有0≤t≤T，Y[t]=A<$X[t] ， Yµ[t]=A<$Xµ[t] ， YD[t]=A<$XD[t]。（一）给定Y（以及扩展后的Yµ和YD），我们的目标是学习X和A。我们将利用每个XD[t]都是稀疏的这一事实以及A是二进制值的这一事实。接下来，我们描述一个算法，该算法使用YD[t]来推断A的估计，我们将其表示为A。4.2. 算法描述非正式地，我们通过连续地将观察视频的随机选择的差异帧在此之前，我们要移动它们，使它们的点积最大化。1差分视频的稀疏性是我们算法工作的必要条件。然而，请注意，取时间导数会放大相对于信号的噪声。因此，在减去平均值的地面实况视频稀疏的情况下，优选使用减去平均值的观察视频而不是差异观察视频来进行例如，当场景中的大部分光由单个源发射时，将发生稀疏平均值减去地面实况视频。2在观察是彩色的情况下，公式1将分别适用于每个颜色通道。然后，我们可以运行与其他情况相同的算法，但在每个步骤中选择每个不同帧的单个颜色通道。122341D D2DD通过计算两个帧之间的相关性，我们可以有效地计算两个帧的所有可能的点积的集合由于差异帧的稀疏性，我们选择的随机差异帧之间的聚合重叠将可能对应于遮挡物的形状。算法在此及以后，我们使用上标（例如，Xi，j）来表示图像的单个像素或标记的单个条目，并且使用单个条（例如，|X|）来表示矩阵的元素级绝对值。请注意，在算法的整个过程中进行了验证。为了读者的方便，我们在图1中提供了算法的前两轮的3 .第三章。我们的算法包括三个步骤，我们重复，直到达到最大迭代计数。首先，存在预处理步骤，其目标是选择对应于稀疏地面实况差分帧的观测差分帧具体地，算法1通过随机选择帧来执行预处理步骤我们从实验上观察到，这种简单的解决办法产生了令人满意的结果.接下来是对齐步骤。在第一次迭代中，我们随机选择一个绝对差帧作为第一个封堵器A的估计值为1。 在每次迭代k=2，. . .接下来，我们将Ak-1视为视频帧，利用随机选择的新帧来获得遮挡物A的精确估计。为了更好地理解对齐过程的细节以及它产生遮挡物估计的原因，考虑“理想稀疏”帧的简单示例是有益的。假设我们有一个差异的地面实况框架，这是一个完美的冲动，（i1，j1），即， XD[1]i，j=δ（i−i1，j−j1），其中δ是二维克罗内克-δ函数。那么，很明显，YD[1]只是遮挡物A移动（i1，j1）。 在这种理想的情况下，我们立即获得一个很好的图片遮光器刚刚通过观察单个差分观测帧。不幸的是，在实践中，地面实况视频帧仅近似稀疏。因此，我们将差异观察帧建模为遮挡物的噪声移位特别地，对于tw o个这样的帧，令YD[1]i，j=Ai-i1，j-j1+n1和YD[2]i，j=Ai-i2，j-j2+n2，其中n1和n2表示噪声。对齐步骤的目标是创建−i1 −j1Z[1]i，j=Y[1]i，j=Ai，j +n<$，（2）Z[2]i，j=Y[2]i−（i2−i1），j−（j2−j1）=Ai−i1，j−j1+n。这在算法1中通过互相关YD[1]和YD[2]、找到相关性的最大值出现的位置并适当地移位原始帧来实现。这将使-图3：算法1初始化的工作示例，然后通过for循环进行单次传递。继续图。4.第一章图4：算法1的工作示例。programme i n i mize噪声项n_1和n_2。另见图3。第三步的目标是减少（2）中的噪声项并改进隐A矩阵的估计。最简单的去噪规则是返回ZD[1]和ZD[2]的平均值。相反，我们已经发现，对帧的绝对值的中值执行平均执行得更好。这解释了算法1中的通过采样100帧来运行完整的遮挡估计算法需要在笔记本电脑上花费几分钟。4.3. 与其他方法的这是有益的，以描述我们的应用程序之间的差异和大多数以前的文献中的盲反卷积。过去在盲解卷积方面的工作-12235算法1我们的算法用于估计遮挡物。设t为[0，T]中的随机整数。 设置A1=|YD[t]|. 对于[2，NumIter]中的k，将tk设为[0，T]中的随机整数。计算C=Ak−1|YD[tk]|.找到（i，j）：= argmax i，j Ci，j，其中按照惯例，我们将C0，0作为Ci，j的中心元素。i，j= 0。|YD[tk]|）be|YD[tk]|水平地移动了i个像素，垂直地移动了j个像素。Ak：=（Ak−1）（k−1/k）·（|YD[tk]|）（1/k）。在上一行中，上标表示元素级幂运算。裁剪结果Ak的零值项，直到它与Ak−1的形状相同。端该技术主要集中在图像去模糊中的应用[17，6，15，5]。通常情况下，这意味着，给定一个模糊的图像，用一个不稳定的相机拍摄，我们想表达模糊的图像作为一个未知的清晰图像和一个未知的模糊内核的卷积。这个问题在三个方面与我们的不同。首先，与我们的问题不同，我们可以假设未知的模糊核不仅是稀疏的，而且局限于一个小区域。其次，在我们的问题中，我们有关于遮挡物的额外信息：特别地，我们假设它是二进制值的。最后，在我们的问题中，我们有许多帧，每个帧都是与遮挡物卷积的不同（未知）稀疏核，这为我们提供了更多的信息。第一个区别意味着我们在重建算法中有更多的潜在自由度要处理;在[ 6，29 ]中用于去模糊的局部搜索算法在核的潜在大小大大增加时遇到困难。这使得它具有挑战性，联合起来。有关我们尝试的其他方法的更多细节，以及我们认为它们失败的原因，请阅读我们的补充材料。我们建议任何希望改进我们的结果的读者都应该阅读补充，以避免重复我们的错误。5. 场景重建本节描述了我们的方法，用于重建运动场景，给定的遮挡估计一般来说，我们从减去均值的观测影片Yµ3重建运动场景。为了执行重建，我们首先用公式表示矩阵Aλ，它描述了与估计的遮挡物Aλ的对应解相对应的线性变换。如果Yμ的大小为xobs×yobs，而包含运动的场景部分的大小为xs×ys，那么通过将y代入，Aμ将是大小为（xobsyobs）×（xsys）4的矩阵。一旦我们用公式直接将用于图像去模糊的盲反卷积算法移植到我们的应用中。此外，我们拥有的许多额外的框架给了我们更多简单地通过转换A/D来重建运动场景正则化：与信息与工作。特别是，每一帧都向我们展示了由不同稀疏核卷积的遮挡物这Xµ =λ（ATA+λI）−1ATY（三）给了我们许多不同的“意见”同一遮挡;当视频的长度达到无穷大时，即使在存在任意有限噪声的情况下，原则上我们也应该能够精确地表征遮挡物的形状，这似乎是自然的。当然，这种直觉应该如何扩展到具有固定帧数的实际视频尚不清楚，但是问题的本质（具有非请注意，在公式3中，Xµ和Yµ都是平坦的。转化为载体;也就是说，它们不是大小分别为（xs，ys）和（xobs，yobs）的矩阵，而是大小为xs，ys和xobs，yobs的向量。如果我们正在重建RGB图像，我们分别对三个颜色通道中的每一个进行等式3的计算，然后将它们组合成单个图像。固定的移动场景）自然地适用于一种方法，我们首先估计遮挡物，然后通过遮挡物估计尝试去卷积以恢复场景，而不是相反。在确定本文中使用的方法之前，我们尝试了各种其他方法，但都失败了。我们尝试了一种寻根方法来解决盲解卷积问题，一种基于相位恢复的方法（使用ADMM），我们尝试了一种简单的场景梯度下降和oc-3如果观察平面是完美的白色和均匀的，并且除了场景之外没有来自任何地方的“讨厌的光”源，则可以使用原始的观察影片。4在实验设置中，移动场景的大小（x s，y s）可能是未知的。在这种情况下，我们建议手动调整场景的大小，在larger（xs，ys）的一侧出错。如果选择的（xs，ys）太小，重建将受到过度约束，并将产生无意义;另一方面，如果选择的（xs，ys）太大，扩展的区域将包含噪声，但与信号相对应的场景子集将保持可理解。µ12236z2在等式3中，可以调整正则化参数λ以获得最佳性能。我们通常发现λ值在1到10之间在实验环境中产生最好的6. 偏差在第3节中，我们描述了我们为了保证观察将反映遮挡物与场景的卷积而做出的假设。为了清楚起见，我们在这里重复这些假设。首先，我们假设场景、遮挡物和观察位于平行的2D平面上。第二，我们假设场景、遮挡物和观察点-光，则光源对表面上的光强度的贡献c将为：cIdAcos（θ）（4）R2假设我们有两个平行的平面，p1和p2，距离为z.在这种情况下，我们可以使用Eq。图4中所示的方法来导出两个平面中的一个平面上的强度为I的光源对另一个平面上的面积为dA的（x，y）处的小块的贡献在这种情况下，贡献简化为：相对于它们的大小，它们相距甚远第三，我们假设观察平面是完全朗伯的、白色的或均匀的。zdAcI（x2+y2+z2）3/2（五）当然，在大多数现实世界中，这些假设很少（如果有的话）成立。那么，我们在这里提出的算法在实践中是无用的吗？不，事实上。如果没有别的，在第7节中，我们提出了我们的算法在实验环境中的结果，其中所有这些假设都被违反，这些结果表明，我们的算法可以在现实世界中使用的设置，以近似恢复隐藏的场景和遮挡。然而，我们认为更详细地描述违反上述假设所引起的扭曲是有益的6.1. 非平面或非平行物体考虑以下不正确的平面性假设的示例：假设我们假设遮挡物是一个圆盘，但它实际上是一个球体。正如在第二节中所解释的。在图3中，观察是遮挡物与场景的卷积，因为平移场景中的脉冲光源对应于平移其在观察上的对应阴影。如果遮挡器是圆盘，则这是真的，但如果它是球体，则不是通常，平行圆盘在观察面上的阴影是一个圆，而球面的阴影是椭圆，椭圆的偏心率随光源的（x，y）图5说明了这一点，并显示了当错误地将遮挡球体视为圆盘时使用的简单场景的重建。6.2. 附近物体假设场景、遮挡物和观察相对于它们的尺寸彼此远离在基于遮挡物的成像中是常见的[30，4]，并且通常被称为远场假设。做这个假设的好处射线光学模型告诉我们，如果一个面积为dA的小平面与强度为I的光源的距离为r，并且表面法线与入射光成θ现在我们可以更准确地理解场景、遮挡和观测到的变化“相对于它们的尺寸而言相距甚远”。当z对任一平面上的所有（x，y）均为x 2 + y 2时，则等式 5简化为c I dA，并且在p 1上的任何点处的光源对p1上的任何点的贡献P2将是相同的，而与它们在任一平面上的位置无关。这是平移场景中的光源以简单地平移其观察到的阴影的必要条件，这又是光学平面反射场景和遮挡物的卷积的必要条件，如第3节中所讨论的。参见图5，其为附近场景的模拟重建，而不正确地假设它是遥远的。6.3. 观察平面上的缺陷大多数表面不是完全均匀和白色的。从观测视频中减去平均帧将有助于在一定程度上减少观测平面然而，观察平面上的颜色变化仍将导致可见伪影，因为观察平面的较暗区域将比较亮区域对光度的总体增加响应更小。非朗伯曲面构成了更大的挑战。如果观察平面是充分非朗伯的，那么离开表面的最重要的反射将不是漫射的，而是将作为入射光的角度的函数强烈地变化。这将使我们的算法混淆，并可能使其输出无用。然而，一个充分非朗伯曲面也可能使问题更容易解决，如果观察平面是镜面状的！我们没有显示一个模拟的例子，对应于观察平面上的缺陷图。5，因为它们的效果与简单噪声没有太大区别，我们使用正则化来解释（如第5节所述）。然而，在第7节中，我们展示了观察平面包括可见缺陷的实验结果。12237图5：平面性假设和远场假设对重建的影响的图示。最上面一行显示了真实设置的草图;在这三种情况下，假定的设置都是左边的设置。中间行显示了使用第5节中描述的方法生成的最左侧图像的重建，下面一行显示了三种情况下的脉冲响应示例这里显示的所有数据都是模拟的，没有噪音，以隔离每个假设的影响。7. 结果在本节中，我们将总结我们的模拟和实验结果我们展示了我们的遮挡物重建，以及重建视频的一些静止帧。我们把大部分的结果留给补充材料，然而，因为运动场景的重建最好是以视频的形式看到的。7.1. 模拟在本节中，我们展示了理想场景下的模拟结果（第6节中探讨的所有假设都假设完美）。这个感人的场景是一个受欢迎的电视节目的简介。地面实况遮挡器通过随机相关过程生成。假设观察平面显示具有遮挡器的运动场景的全观测平面上的信噪比为25 dB。图6示出了遮挡物恢复的结果，以及从运动场景恢复的静止帧。7.2. 实验和与过去工作的比较令人惊讶的是，在撰写本文之前，几乎没有什么工作是为了恢复正面（而不是自上而下）的全色图像而图6：在Secs中呈现的遮挡物恢复和场景重建算法的输出。图4和图5使用25dB下的模拟观测的差帧。看到一个完整的恢复视频的补充材料。被动设置（即不使用主动定向照明）中场景的2D图像。 直到2019年，最接近的是Bouman等人的工作。在[4]中，但是在该工作中示出的全色重建集中于1D场景重建，而不是2D。然而，在2019年，Saunders et al.[21]表明，高保真2D全彩色图像可以使用针斑封堵器恢复他们的实验结果在两个重要方面与我们的不同。首先，他们假定的形状的遮挡（pinspeck）的知识，虽然不是其在三维空间中的位置。这使他们充分了解成像系统，直到输出的平移和缩放其次，他们的结果是从一个静止图像中收集的，有效曝光时间为3.5秒，而我们的结果是从一个移动场景的100 FPS视频中绘制的（尽管所示的重建是在5帧地面实况视频上平均的，代表大约0.05秒的曝光时间）。这意味着信号强度的差异。在[21]中只显示了LCD显示器场景的结果;为了便于将我们的结果与他们的结果进行比较，我们在图8中包括了LCD显示器上显示的卡通场景以及重照明下的真实场景。正 如 我 们 在 图 8 中 看 到 的 ， 我 们 基 于 监 视 器 的recruitment的质量远远低于[21]。我们认为，重建质量的这种差异主要是由于我们的系统我们认为，两种设置之间的SNR差异也可能起次要作用。图7显示了封堵器沿-12238图7：在实验设置中第4节中给出的遮挡物恢复算法的输出，以及地面实况遮挡物。这是图8第二行所示重建中使用的封堵器恢复。图8：在各种不同的实验设置下，来自重建视频的静止帧顶行：场景是一个卡通视频，在液晶显示器上播放。中间一行：场景是一个移动的人，由200W的定向照明照亮下图：Saunders等人的结果。[21]这是一个比较。Saunders et al.证明了当封堵器的形式已知时，对我们的结果的潜在改进。参见小节7.2进一步讨论。与其地面实况对应物。该恢复的遮挡器用于图8中的真人实验中的场景重建。8. 结论这项工作是第一次，据我们所知，研究盲目的，完全未校准的非视线成像的被动设置，并产生实验结果。我们相信，未来许多最实用的NLoS系统将是未经校准的，因为在各种各样的环境中，最明显的是交通中的自动驾驶系统，人们不能依赖于对周围环境有详细的预知。现实世界的场景是不断变化的;我们认为，有关NLoS系统的工作应该反映这一现实。然而，我们认为，在这一新问题上仍有可能取得巨大进展。特别地，我们的结果仍然是相当低的分辨率，并且为了实现它们，我们不得不引入高水平的照明（在2- 3 m的区域上大约200 W的照明-我们相信这与在直射阳光下的场景相比，在直射阴影下观察，但是此时该比较仍然是推测性的，并且这表示比典型的室内场景强得多的照明）。我们希望未来的工作将能够解决在现实世界中的照明更暗的情况下基于盲遮挡的成像问题;事实上，我们相信这种进展对于这些类型的系统在实践中证明有用是必要的。此外，我们注意到，我们的封堵器恢复算法在恢复更复杂的封堵器时更困难-这是不幸的，因为过去的工作[30，16]显示更复杂的封堵器通常会导致更有利的重建。这是否代表了一个基本的权衡，或者未来的盲遮挡恢复算法是否能够像恢复简单的遮挡一样容易地恢复复杂的遮挡，还有待观察。此外，我们在这里提出的算法可能适用于更广泛的设置，没有太大的困难。特别是，看到我们的算法适应于遮挡器和观察平面垂直的设置（例如树在地面上投射阴影）可能非常有趣。我们提出的算法将这项工作扩展到场景固定但遮挡物移动的场景也是非常自然的。我们探索了这种可能性，但发现很难从算法的第一步得到好的结果，即。估计固定场景。在修改后的问题中，这个固定的隐藏场景比原始问题中的固定遮挡物受到的约束要少得多，因为它可以在三个颜色通道上取很大范围的值，这使得它更难推断。然而，我们认为这是未来研究的一引用[1] S.- I. Amari，S. C.道格拉斯A. Cichocki和H. H.杨基于自然梯度的多通道盲解卷积与均衡无线通信中的信号处理进展，第一次IEEE信号处理研讨会，第101-104页。IEEE，1997年。2[2] M. Baradad，V. Ye，A. B. Yedidia，F. Durand，W. T.自由人，吉。W. Wornell和A.托拉尔巴推断光场12239从阴影中。In Proceedings of the IEEE Conference计算机视觉和模式识别，第6267- 6275页，2018年。一、二[3] P. V. Borges，A. Tews和D.哈登工业环境中的行人检测：在角落里看到。在Intelligent Robots and Systems（IROS），2012 IEEE/RSJ国际会议上，第4231-4232页。IEEE，2012。一、二[4] K. L. Bouman，V.Ye、叶绿条叶蝉A.B. Yedidia，F.杜兰德G.W. Wor-nell，A. Torralba和W. T.弗里曼。将拐角转换为摄像机：原则和方法。在国际计算机视觉会议上，第1卷，第8页，2017年。一二三六七[5] M. 炮具有相位的空间不变图像模糊的盲解卷积IEEETransactionsonAcoustics ， Speech ， andSignalProcessing，24（1）：58-63，1976. 二、五[6] T. F. Chan和C.-K. 黄。全变差盲解卷积。IEEE图像处理学报，7（3）：370二、五[7] F. C. C.德卡斯特罗C. F. De Castro和D. S.阿兰特斯信道均衡的并行盲解卷积。《通讯》，2001年。ICC 2001年。 IEEE国际会议，第2卷，第366-371页。IEEE，2001年。2[8] R. 费格斯湾辛格A.Hertzmann，S.T. Roweis和W.T.弗里曼 。从 单张 照 片中 消 除相 机抖 动 在ACM 图 形交 易（TOG），第25卷，第787-794页中。ACM，2006年。2[9] G. Gariepy，F.托诺利尼河Henderson，J.Leach和D.Fac-cio. 检 测和 跟 踪隐 藏 在 视野 中 的运 动 物体 。 NaturePhotonics，10（1）：23-26，2016. 2[10] F.海德湖肖，W. Heidrich和M. B.胡林漫反射镜：使用廉价的飞行时间传感器从漫射间接照明进行3D重建。在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition中，第3222-3229页，2014年。一、二[11] M. Hirsch，S. Sra，B. Sc hoülk opf和S. 伤害。空变多帧盲反卷积的有效滤波流程在计算机视觉和模式识别（ CVPR ） ， 2010 年 IEEE 会 议 上 ， 第 607-614 页 。IEEE，2010。2[12] A. Kadambi，H. Zhao，B. Shi和R.拉斯卡使用飞行时间传感器进行遮挡成像。ACM Transactions on Graphics（ToG），35（2）：15，2016. 2[13] A. Kirmani，T. Hutchison，J. Davis和R.拉斯卡利用瞬态成像技术观察拐角处。计算机视觉，2009年IEEE第12届国际会议，第159-166页。IEEE，2009年。2[14] J. 克莱因角彼得斯，J。马尔坦岛Laurenzis和M.B. 胡林使用2d强度图像跟踪视线外的物体。科学报告，6：32491，2016。2[15] D. Krishnan，T. Tay和R.费格斯。使用归一化稀疏性测量的盲反卷积。在计算机视觉和模式识别（CVPR），2011 IEEE会议上，第233-240页。IEEE，2011年。二、五[16] A.莱文河Fergus，F. Durand和W. T.弗里曼。图像和深度从 一 个 传 统 的 相 机 与 编 码 光 圈 。 ACM 图 形 交 易（TOG），26（3）：70，2007年。二、八12240[17] A. Levin，Y.Weiss，F.Durand和W.弗里曼。理解和评估盲解卷积算法。2009. 二、五[18] C. L. Matson，K.Borelli，S.杰弗里斯角C. Beckner Jr，E.K. Hege和M.艾德哈特空间目标高分辨率地基成像的快速最优多帧应用光学，48（1）：A75-A92，2009。2[19] R. 潘达卡， A. 维尔滕， A. Bardagjy， E. 劳森M. Bawendi和R.拉斯卡在杂乱环境中估计移动非视线目 标 的 运 动 和 尺 寸 。 在 计 算 机 视 觉 和 模 式 识 别（CVPR），2011 IEEE会议上，第265-272页。IEEE，2011年。2[20] R. Raskar、A. Agrawal和J.汤布林编码曝光摄影：使用抖动快门的运动去模糊ACM Transactions on Graphics（TOG），25（3）：795-804，2006。2[21] C. Saunders，J. Murray-Bruce和V. K.戈亚尔普通数码相机的计算潜望镜。Nature，565（7740）：472，2019. 二七八[22] T. J. 舒尔茨天文图像的多帧盲解卷积JOSA A，10（5）：1064-1073，1993. 2[23] S.什雷斯塔角，澳-地Heide，W. Heidrich和G.韦茨斯坦多相机飞行时间系统的计算成像。ACM Transactionson Graphics（ToG），35（4）：33，2016.一、二[24] C. Thrampoulidis、G. Shulkind，F. Xu，W. T. 弗里曼J. Shapiro，A.托拉尔巴F.Wong和G.沃内尔利用非视线主 动 成 像 中 的 遮 挡 。 IEEE Trans-actions onComputational Imaging，2018。2[25] A. Torralba和W.T. 弗里曼。偶然的针孔和针孔摄像头 。 International Journal of Computer Vision ， 110（2）：92-112，Nov 2014. 一、二[26] A. 费尔滕，T.威尔瓦赫尔湖，澳-地古普塔A。韦拉拉哈万G. Bawendi和R.拉斯卡使用超快飞行时间成像恢复拐角周围Nature communications，3：745，2012. 2[27] L. Xia，C.- C. Chen和J. K.阿加瓦尔利用kinect深度信息进行人体检测。在计算机视觉和模式识别研讨会（CVPRW），2011年IEEE计算机协会会议上，第15-22页。IEEE，2011年。一、二[28] F. Xu，L. 申，D. 文卡特拉曼河 Lussana，F. 维拉F.扎帕，V.K.戈亚尔湾Wong和J.夏皮罗利用单光子照相机的光子效率计算成像。在计算光学传感和成像中，第CW 5D-4页。美国光学学会，2016年。一、二[29] Y. Yang，N. P. Galatsanos和H.斯塔克基于投影的盲解卷积JOSA A，11（9）：2401-2409，1994. 二、五[30] A. 耶迪迪亚角Thrampoulidis和G.沃内尔计算成像中孔径设计的分析与优化在2018年IEEE声学，语音和信号处 理 国 际 会 议 （ ICASSP ） 上 ， 第 4029-4033 页 。IEEE，2018年。二三六八[31] C. Zhou，S. Lin和S. K.纳亚尔编码孔径对，用于散焦深度和散焦去模糊。International Journal of ComputerVision，93（1）：53-72，2011。2