连续神经映射：从序列观察学习隐式场景表示

15782连续神经映射：从序列观察学习隐式场景表示闫子科1田宇欣2史雪松3郭平3王鹏3查宏斌11北京大学EECS学院机器感知（MoE）重点实验室-SenseTime机器视觉联合实验室2北京航空航天大学自动化与电气工程学院3英特尔中国实验室zike. pku.edu.cn，tianyuxin@buaa.edu.cn，{xuesong.shi，ping.guo，patricia.p.wang} @ intel.com，zha@cis.pku.edu.cn连续神经映射批训练t图1：连续神经映射从序列数据中学习场景属性。通过在单个网络的共享权重中记忆过去的经验，我们消除了每次存储整个数据集或从头开始学习的需要。摘要最近的进展使一个单一的神经网络作为一个隐式的场景表示，建立空间坐标和场景属性之间的映射函数。在本文中，我们作出了进一步的持续学习的隐式场景表示直接从连续的观察，即连续神经映射。所提出的问题设置弥合了批量训练的隐式神经表示与机器人和视觉社区中常用的流数据之间的我们引入经验重放方法来解决连续神经映射的示例性任务：从连续深度图像逼近连续的带符号距离函数（SDF）作为场景几何表示。我们首次展示了一个单一的网络可以随着时间的推移不断地表示场景几何形状，而不会发生灾难性的遗忘，同时在准确性和效率之间实现了有希望的权衡。1. 介绍场景表示将视觉感官数据转换成紧凑的形式。最近的趋势[58，34]表明，空间坐标x和场景属性y之间的映射函数y=f（x;θ）可以用作由单个神经网络θ参数化的隐式场景表示。这种新的模式引起了极大的关注：在连续和可微函数空间中定义的神经网络可以被训练以在场景尺度上恢复细粒度细节，具有有效的存储器消耗，这提供了优于替代方案的巨大益处。然而，隐式神经表示的批量训练在处理可能无休止的数据流时是不切实际且低效的。为了处理连续观测并获得随时间变化的全局一致表示，传统方法转向数据融合范式。离散化场景表示在存储器低效的参数空间中被预定义，并且根据每次感知的观察来更新。新兴的神经表征范式和15783·--联系我们传统的数据融合范例解决了一个关键问题：我们如何从连续的观察中不断地学习隐含的神经表征？在本文中，我们介绍了一种新的连续神经映射的问题设置。其中心思想是保持一个不断更新的神经网络在每一个时间，以近似的映射函数f（）在环境中。在训练期间，过去的观测值（x1：t，y1：t）被边缘化并被求和为紧凑的神经网络参数θt神经网络不仅充当序列数据的存储器，而且还对整个环境内的场景属性进行预测。预测更新方式导致在不断探索环境时自我改进的映射函数，从持续学习的角度来看，这类似于人类的学习场景。我们通过处理来自序列深度图像的SDF近似来实例化所提出的连续神经映射问题。我们提出了一种经验重放方法，提取过去的经验来指导预测，而不会发生灾难性的遗忘。实验结果表明，该方法优于批量重新训练/微调基线，并获得与国家的最先进的方法相当的我们工作的主要贡献概述如下：- 我们是第一个解决从序列数据中连续学习隐式神经场景表示的问题，即连续神经映射;- 我们处理的问题SDF近似从连续的神经映射设置下的序列数据，优于竞争的方法;- 我们提出了一种经验重放方法，学习场景几何形状不断没有灾难性的遗忘。存储器消耗和训练时间是小于批量重新训练基线的量级。2. 相关工作所提出的连续神经映射设置位于隐式神经表示、3D数据融合和连续学习的交叉点。在本节中，我们回顾了每个领域中最相关的工作，并强调了建议的问题设置的主要差异。2.1. 内隐神经表征隐式神经表示需要一个神经网络作为空间坐标和场景属性之间的连续映射函数。形状条件表示将坐标x和潜在形状嵌入z连接起来，以将多个形状实例表示为y=f（x，z;θ）。形状嵌入z随后以局部方式进行，以恢复场景尺度下的细粒度细节[21，45，5]。输出属性从形状条件表征中推断出的y[2019 - 09 - 29]【2019 - 09 01：19：00】【2019 - 09 -19】【2019 - 09 01：00】【2019 - 09 - 19】【2019 - 1另一行使用神经网络直接从输入点集回归分解图元的参数，如mj=f（xi;θ）。然后将回归的基元参数分组在一起作为整个形状参数空间，将场景几何表示为y=y（m，j，x）。常用的基元包括超平面[14]、高斯混合[19，15，16]、卷[61]和本地飞机[8]。最 近 的 工 作 已 经 研 究 了 直 接 通 过 MLP （ 如 y=f（x;θ））从空间坐标到场景属性的映射。在位置编码[34]、傅立叶特征映射[60]或周期性激活[58]的帮助下，可以很好地保留高频细节。我们将隐式神经表征扩展到连续学习的方式，其中隐式表征可以直接从序列数据中学习，而无需计算上昂贵的重新训练或灾难性的遗忘。2.2. 增量深度融合传统的深度融合范例旨在保持预定义的输出表示而不是隐式网络参数。坐标与输出表示之间的映射通过确定性数据分配来完成，其中输出表示的参数通过根据流式观测的加权平均来递增地更新。用于增量深度融合的最常用的表示包括体积TSDF [10，37，40，66，12]和surfel [46，67，22，54，55]。由于表示是在连续输出范围内定义的，离散化是不可避免的。通常进行后处理以将离散表示转换为防水网格[28]或将场景渲染为视图相关的密集图像。最近的进展已经培育了基于学习的深度融合方式。[4，72，11]试图找到用于估计的单眼深度的紧凑且可优化的特征，其中整个场景由具有低维深度代码的关键帧集合表示。进一步的扩展利用神经网络来学习潜在空间[50，44，20，69，36，65]中的学习图像/深度特征的聚合作为全局场景表示。RoutedFusion [64]遵循传 统 的 TSDF 融 合 流 水 线 ， 并 学 习 如 何 更 新 体 积TSDF。然而，所有先前的方法将深度融合视为确定性可学习操作。另一方面，我们解决了知识融合的问题，作为一个不断学习（训练）的过程中，神经网络作为一个自我改进的场景表示与参数不断更新。2.3. 不断学习所提出的连续神经映射问题的目标是在每次新15784特定任务指标·D∈D∈ W∩DL∈ D我我中国∈我 我任务1任务2任务3丢弃适应新任务旧调保存完整所有任务(a) 多任务学习(b) 微调(c) 批量再培训(d) 不断学习图2：相关的学习范式。观察到达，导致自我改进的映射函数。这个问题设置属于持续学习[42]类别：流式数据不再被IID采样，而是与相邻数据高度相关。我们希望在新观察到的区域更新映射函数，同时保留先前访问过的区域的准确映射而不会忘记。在[13]之后，现有方法通常可以分为三种：正则化、参数隔离和重放。基于正则化的方法旨在通过惩罚重要参数的变化[23，71，6，1]或通过知识分解[26，47]来加强训练过程中的参数一致性。另一方面，参数隔离方法假设网络参数的不同子集归因于不同的任务，从而导致灵活的门控机制。每个子网络的隔离参数可以通过动态扩展网络[53，24，2，70，48]或通过任务特定的掩蔽[30，29，57]。最后，基于重放的方法存储样本或产生伪样本作为旧知识的记忆.特别注意的是，不同的样本选择策略[49，52]，山姆-知识转让。映射函数f（）用作3D环境的隐式神经表示，其可以在任何时间被查询以在给定空间坐标X的情况下预测场景属性。对于先前观察到的区域xΩ1：t，映射函数充当过去观察1：t的压缩记忆。这与反向传输有关[25，27]，其中神经网络不仅记住现有数据，而且在从新的观察者学习时，还可以更好地理解以前访问过的区域。 另一方面，对于看不见的区域xΩ1：t，映射函数用作预测器。可以促进前向转移，其提取知识和技能以用于未来的探索。因此，连续神经映射减轻了存储整个数据集1：t的需要，同时保留环境内的完整映射函数，保证快速收敛到新的观察结果。挑战所提出的连续神经映射问题的目的是找到在所有先前任务1之间共享参数θt的最佳神经网络，如下：arg min1ΣL（f（x; θt），y）（2）简单的生成策略[3，51，68]和优化控制约束[27，7]。在本文中，我们提出了一个经验的重新-θt D1：tD1：tPlay方法通过利用过去的经验来指导新观察的持续学习，以解决所提出的持续神经映射问题。3. 连续神经映射在本节中，我们将所提出的连续神经映射问题设置形式化。相关的学习范式的连接之后澄清。3.1. 问题陈述我们考虑3D环境W内的一般设置，其中连续数据Di被不断地捕获。数据Dt={（xt，yt）}nt由空间余元的nt主要挑战在于所提出的问题设置与传统的经验风险最小化（ERM）原则[63]之间的差距：流数据不会导致恒定的分布偏移。由于非平稳数据分布打破了iid采样的假设，学习解决方案需要对过去观测的总体分布进行建模，而不需要存储整个数据集D1：t。3.2. 与相关学习范式的虽然（2）中的客观性是时间上分离的任务（f（x;θ），y），（x，y）t的联合优化，但可以从所示在图2中。从最可靠的角度阐明我们的问题设置-纵坐标xtΩt和相应的场景属性yt，未指定观察区域。连续神经映射的目标是从连续学习由神经网络工作θt参数化的映射函数f（·）。观察到的数据Dt来描述从持续学习的角度来看，持续神经映射属于域增量[62]持续学习场景：我们的目标是利用来自连续数据的单个网络来保持全局一致的表示，其中数据分布变化并且目标保持不变。空间坐标和场景属性为：1任务是指数据分布的特定时间段y= f（x; θt），x ∈ W.（1）平稳且目标函数为常数[25]。保持适应新任务先前任务15785||Σ·3T3DDD---·||≫--|∇−||||∥∇∥−|L连续映射在时间t训练的网络图3：我们通过估计具有当前网络参数的第一帧的每点SDF值来验证遗忘问题。 f（x; θt）<0的百分比。01急剧下降的微调基线，而所提出的方法保持一个一致的准确度水平跨时间。另一方面，多任务学习将训练过程分成一组相关任务，并联合优化所有任务。对于我们的连续神经映射设置，任务边界是未知的，因此需要连续任务标识符，其随着时间的推移将训练数据连续地分配给特定任务。同时，向后转移解决了所有任务的恒定网络适应问题，这与传统的多任务学习相反，一旦模型部署，网络就会固定[13]。罚款-经验回放图4：在训练过程中，新观察到的数据被保存在固定大小的缓冲区内，以约束零水平集。离面样本由最后的网络参数引导以惩罚符号偏差。从闭合曲面中进行IID采样。我们进一步解决了一个更现实和更具挑战性的情况下，不断学习SDFs参数化的一个单一的MLP从流构成的深度图像。4.1. 溶液在实践中，我们将能量函数（2）分成具有相等权重的两个项：整定策略连续地维护单个网络，其中新任务的网络参数与上一个任务的网络参数一起初始化然而，由于神经网络往往是DΣ1：t−1L（f（x;θt），y）+L（f（x;θt），y），（4）Dt从“可塑性-稳定性困境”的角度[32]来看，早期任务的性能将在当前网络参数上降级（图33）3），即catas-trophic遗忘[31]。最后，批量重新训练保留所有先前观察到的数据xl：t以满足iid采样假设。然而，批量重新训练每次都从头开始学习新线性增长的训练数据数量导致昂贵的内存消耗和计算成本。4. 示例：SDF回归在本节中，我们在场景几何近似的任务上实例化所提出的连续神经映射。目标是（2）的特殊情况，其将映射函数f（）定义为由单个多层感知器（MLP），将3D表面表示为零水平集M：M={x∈R|f（x;θ）=0}，f（·）：R›→R.（三）在批量训练设置中，[17，58]研究了该问题连续SDF可以从定向点云数据拟合其中损失函数（f（x;θt），y）由数据项f（x;θ）、Eikonal项xf（x; θ）1、法向约束xf（x;θ）n和离面约束ψ（f（x;θ））= exp（αf（x;θ））组成，α 1遵循[58]。（4）中的分裂项可以理解为当前观测值t和过去经验1的组合约束：t-1。请注意，在所提出的连续神经映射设置中，原始数据1：t−1的整个序列不应保留，我们采用经验重放方法来模拟过去的经验，如图所示4.第一章4.2. 经验回放如第1，所维持的神经网络充当先前观测的紧凑存储器。因此，具有由最后一个神经网络xi，f（xi;θt-1）nt近似的SDF值的随机坐标可以被视为从过去经验重放的iid样本，以正则化当前网络。重放的样本是双重的：1）离面样本，以正则化距离符号;2）零水平集样本，以正则化数据项和法向约束。对于离面样本xo，f（xo，θt−1），我们将点在时间t反向投影到相机坐标，方法我们微调f（x;θ）离面正则化子样品缓冲液Xt精度15786||1 2 3摄像头a +--摄像头b-+-实际+模型 我们使用单个5层SIREN MLP [58]，其中256作为我们的基本网络模型。基线。在[13，24]之后，微调基线在每个时间用最后的模型参数初始化，并且针对每个帧进行朴素训练;重新训练基线是用遵循SIREN [58]的带符号距离函数设置的整个数据序列来训练的。进一步研究的重放缓冲区的效果，我们还提供了一个重新初始化图5：很明显，红色表面后面区域的符号推理可能是假阴性的。我们需要结合先前的知识以更好地正则化离表面样本的符号。将它们与深度图进行比较。如示于图在图5中，截头锥体内的在表面前面的点应该是真阳性，而截头锥体内的在表面后面的点可能是假阴性。因此，我们将具有正SDF近似f（xo;θt−1）>0的样本或落在平截头体内的表面前面的样本标记为正，并将落在平截头体内的表面后面的样本标记为负SDF近似f（xo;θt−1）0。<然后，用于离表面样本的符号调节器被定义为：.exp（−α·f（x;θ）） 如果被假定基线，从每帧的缓冲区数据从头开始学习。采用Adam优化器，学习率为0。0001如果未指定，则每种方法的数据被训练1500个历元，而第一帧被训练10000个历元以确保良好的初始化。数据集。我们主要在合成ICL-NUIM客厅数据集上定量和定性地评估我们的结果[18]。对真实TUM数据集进行额外的定性评价[59]。由于批量重新训练基线的成本极高，整个序列被使用Open3D [73]估计法线并将其定向到相机位置。5.2.模型分析我们提供了一个深入的分析所提出的经验重放方法，通过比较它与foremen-f（x;θ）=exp（α·f（x;θ））如果为负（五）设定的基线和最先进的方法。我们建议读者参考我们的补充视频，以获得更好的可视化效果对于零水平集样本xz，一个直观的解决方案是构造体素网格并估计每个顶点的SDF值。然后可以容易地在提取的三角形网格上获得零水平集样本。然而，由于不完全观测，可能在看不见的区域中生成伪零水平集样本需要对每个体素网格的占用状态进行附加维护以消除错误的样本，这是存储器效率低下的。在这里，我们采取一个简单的解决方案来随机下采样以前的观察结果，并保持固定大小的缓冲数据[24]来正则化数据项f（xz;θ）。实验结果表明，这种简单的解决方案是有效的，足以存储以前的知识没有灾难性的遗忘。5. 实验在本节中，我们展示了所提出的连续神经映射设置成功地用从头开始的单个神经网络来表示恢复的准确性与竞争对手的方法相比，数量级更少的内存消耗。5.1. 实验装置实验在台式PC上进行，该PC具有Intel Core i7-8700（ 12 核 @3.2 GHz ） ， 32 GB RAM 和 单 个 NVIDIAGeForce RTX 2080 Ti。随着时间的推移不断变化。连续的神经映射不会忘记。我们首先评估遗忘的问题下，建议的连续神经映射设置。其目的是建立一个准确的映射空间坐标和相应的SDF值在以前访问过的地区。请注意，从合成ICL数据集采样的深度数据完全是零距离的表面样本。我们使用每次学习的网络参数θt计算每个帧的平均距离xt。如示于图6，所提出的方法实现了与批量重新训练基线相当的准确度，同时与微调基线相比消除了从SDF近似的2D可视化可以得出类似的结论。如示于图7中，微调基线快速忘记先前访问的区域的几何形状，而所提出的方法在移动传感器的探测期间保持逐渐改进的SDF近似。有效解决经验回放问题。我们进一步研究了经验重放在我们的连续神经映射设置中的作用。重温SEC。4.2、利用以往的经验初始化网络权值，正则化自由空间的符号，约束零水平集。我们发现，这三个问题是必不可少的问题，SDF回归序列数据，保证过去的知识转移准确SDF近似。32相机1摄像机a1578702004006000.0302004006001.0002004006000.038000200400帧60008008000200400帧60008008000200400帧6000800(a) 批量重新训练（0. 002/0。003）（b）微调（0. 496/0。627）（c）我们的（0。003/0。004）图6：总体平均值/标准差的准确度热图。(m)ICL数据集上的每种方法。（m，n）处的热图值是使用第n个网络参数对来自帧m的所有点的平均SDF近似。值得注意的是，所提出的方法保持一致的精度为所有帧，而微调基线遭受灾难性遗忘严重。+0−图7：从帧100到800的SDF近似的ICL数据集上的顶视图可视化。微调基线（顶部）遭受灾难性的遗忘，而我们的（底部）从顺序数据中不断恢复场景几何我们首先研究网络初始化的效果，通过比较它对重新初始化基线。如示于图8，当新帧到达时，通过权重初始化的知识蒸馏导致更快的收敛和更好的结果。图9显示了重新初始化基线的性能由于缺乏来自先前网络参数的参数初始化而显著恶化。值得注意的是，即使在10000次训练之后，重新初始化基线也不能恢复可比的高频细节另一方面，引导符号正则化对于消除由遮挡引起的假负距离场是至关重要的（参见图1B）。（五）。如示于图10、由过去经验引导的离面样本用作可靠的正则化以约束距离函数的符号。我们还可以通过实验发现，存储具有相同大小的每个帧的固定数量的缓冲区的简单图6、图7和图7历元图8：与重新初始化相比，帧之间的参数共享有利于知识分解，从而实现更快的收敛和更好的性能。补充材料表明，在没有重放缓冲区情况下训练网络会导致灾难性的遗忘。方法我们重新初始模型模型模型精度15788(a)重新初始化（1500epochs）（b）重新初始化（10000epochs）（c）重新训练（d）我们的图9：使用近似SDF值提取的网格。所提出的方法实现了对计算昂贵的重新训练基线的可比结果，并优于重新初始化基线。即使训练10000个epoch，通过重新初始化基线也不能很好地恢复场景几何的高频细节图10：在没有最后一个网络的指导下，由部分遮挡引起 的 假 阴 性 SDF 近 似 可 能 生 成 伪 零 水 平 集 表 面（ 左 ） 。 我 们 利 用 过 去 的 经 验 来 缓 解 这 个 问 题（右）。准确性和效率之间的权衡。由于重放缓冲区的固定大小，我们的方法保证了每个帧的恒定训练时间（约6分钟，1500个历元）。虽然需要额外的存储器来存储缓冲区数据，但由于批次大小被等分并归因于每次迭代时的当前数据和缓冲区数据，因此不会牺牲训练时间。相反，批量重新训练基线将从第一帧到最后一帧的数据作为整个批量数据集，导致由不断增加的训练数据产生的线性缩放的训练时间所示如图1所示，当#87帧到达时，批量重新训练基线将花费大约13个小时来训练整个数据集1500个epoch。因此，当与批量重新训练基线比较时，我们获得了数量级更小的训练时间，并且具有相当的准确性过去观测的存储量也小了几个数量级。另一方面，当与微调和重新初始化基线相比时，通过利用过去经验的指导所提出的连续神经映射确保以全局一致的方式进行增量网络参数更新，当与替代基线相比时，实现了效率和准确性之间的良好权衡。与最新技术水平的比较。我们还比较了国家的最先进的方法在maintained模型的大小和提取的网格精度。对于RoutedFusion [64]，我们使用2cm的体素大小，对应于512× 3分配体素的网格分辨率。对于LIG [21]，我们使用25cm的部件尺寸来满足点密度。如图12，我们的符号距离函数的连续特性导致在看不见的区域中的伪零水平集表面，因此导致低重建精度。然而，如果我们按照竞争的方法，根据以前的观察结果来推理每个体素网格的占用状态，只提取三角形15789图11：合成ICL（顶部）和真实TUM（底部）数据集上的增量更新几何结构。网格是可视化的顶点法线。我们建议读者参阅补充材料以了解更多细节。表1：表示的参数大小和生成的网格模型的云/网格距离误差（m）。方法是说STD.参数RoutedFusion [64]0.04030.06875123LIG [21]我们0.01060.05840.01460.211569，795×32198,657我们的（蒙面）0.00440.0010十 九 万 八千六百五十七图12：提取的网格模型的误差图。大多数错误的表面位于看不见的区域（右）。通过根据作为掩蔽模型的观察指定用于网格提取的体素索引，网格的准确性优于竞争对手（中间）。网格周围的占用体素，整体精度-执行国家的最先进的方法（表。①的人。值得注意的是，我们只维护一个大小小于800KB的网络，通过不断学习来实现mm级的精度这与我们在图中SDF近似的平均准确度一致。六、隐式表示的连续性消除了体素化的必要性，从而保证了更紧凑和更有表现力的表示。所提出的方法的贡献也可以从融合的角度来理解：而不是保持SDFy的离散化值，我们诉诸于连续的有符号距离函数的参数空间。SDF值的体积融合被网络参数的增量更新所取代，这些网络参数是从序贯观测如示于图11，可以在合成和真实数据集上从增量更新的网络中提取准确和平滑的表面。6. 结论在本文中，我们介绍了一种新的连续神经映射问题，旨在弥合流行的批量训练的隐式神经表示和机器人和视觉应用中常用的流数据之间的差距。我们的主要目的是辨别一个持续的学习解决方案是否可以消除批量数据保存和重新训练的方式，而不会发生灾难性的遗忘基于坐标的MLP的需要。答案是肯定的。在处理SDF回归问题时，连续神经映射受益于过去经验的指导，并使单个网络能够从顺序观察中逐步建模场景几何。这为具有在线要求的任务带来了巨大的潜力此外，一般的问题，lem设置变成一个渐进的地图为中心的方式场景理解。利用神经网络的表现力作为过去连续观察的记忆或未来探索的预测器可能是令人兴奋的未来工作的途径。基于连续神经映射范式的潜在方向包括如何实现实时应用的更快收敛，如何在单个网络内连续编码多个场景属性，以及如何利用不同的网络架构和学习技术来增强表达能力和预测质量。致谢我们感谢匿名评论者提出的富有成效的意见和建议 。 本 工 作 得 到 了 国 家 重 点 研 发 计 划（ 2017YFB1002601 ） 和 国 家 自 然 科 学 基 金（61632003，61771026）的支持。15790引用[1] RahafAljundi ， FrancescaBabiloni ， MohamedElhoseiny，Marcus Rohrbach，and Tinne Tuytelaars.记忆感知突触：学习什么（不）忘记。在欧洲会议中计算机视觉（ECCV），2018年。[2] Rahaf Aljundi ， Punarjay Chakravarty ， and TinneTuytelaars.专家门：通过专家网络进行终身学习。 在IEEE计算机视觉和模式识别（CVPR）上，2017。[3] Craig Atkinson ， Brendan McCane ， Lech Szymanski 和Anthony Robins。伪排练：在没有灾难性遗忘的情况下实现深度再学习。神经计算，428：291[4] Michael Bloesch、Jan Czarnowski、Ronald Clark、StefanLeutenegger和Andrew J Davison。Codeslam-learning一个紧凑的，可优化的表示密集的视觉冲击。在IEEE计算机视觉和模式识别（CVPR）上，2018年。[5] 作 者 ： Rohan Chabra Lenssen ， Eddy Ilg ， TannerSchmidt，Julian Straub，Steven Lovegrove，and RichardNewcombe.深局部形状：学习局部sdf先验，用于详细的3d重建。在欧洲会议中计算机视觉（ECCV），2020年。[6] Arslan Chaudhry 、 Puneet K Dokania 、 ThalaiyasingamAjan-than和Philip HS Torr.用于增量学习的黎曼步行：理解遗忘和不妥协。 在欧洲会议上。计算机视觉（ECCV），2018年。[7] Arslan Chaudhry，Marc有效的终身学习与创业板。在国际Conf. on Learning Representations（ICLR），2019.[8] Zhiqin Chen，Andrea Tagliasacchi，and Hao Zhang.Bsp-net：通过二进制空间划分生成紧凑的网格。在IEEE计算机视觉和模式识别（CVPR）上，2020年。[9] 陈志勤和张浩。学习生成式形状建模的隐式字段。在IEEE Conf. on Computer Vision and Pattern Recognition（CVPR），2019。[10] Brian Curless和Marc Levoy。从距离图像建立复杂模型的体积法。在SIG-GRAPH，1996中。[11] 简·查诺夫斯基，特里斯坦·莱德洛，罗纳德·克拉克，和安德鲁·J·戴维森.深层因素：实时概率密集单目猛击。IEEE Robotics and Automation Letters，5（2）：721[12] AngelaDai ， MatthiasNie ßner ， MichaelZoll höfer ，ShahramIzadi，and Christian Theobalt.Bundlefusion：使用动态表面重新整合的实时全局一致3d重建。ACMTrans. Graphics，36（3）：24，2017.[13] Matthias Delange、Rahaf Aljundi、Marc Masana、SarahParisot、Xu Jia、Ales Leonardis、Greg Slabaugh和TinneTuytelaars。持续学习调查：在分类任务中挑战遗忘。IEEE传输模式分析机器内部，2021年。[14] Boyang Deng、Kyle Genova、Soroosh Yazdani、SofienBouaziz、Geoffrey Hinton和Andrea Tagliasacchi。东方网：可 学 习 凸 分 解 。 在 IEEE 计 算 机 视 觉 和 模 式 识 别（CVPR）会议上，2020年。[15] Kyle Genova 、 Forrester Cole 、 Avneesh Sud 、 AaronSarna和Thomas Funkhouser。三维形状的局部深度隐式函数。在IEEE计算机视觉和模式识别（CVPR）会议上，2020年。[16] Kyle Genova 、 Forrester Cole 、 Daniel Vlasic 、 AaronSarna、William T Freeman和Thomas Funkhouser。使用结构化隐函数学习形状模板。在国际计算机视觉会议（ICCV），2019年。[17] Amos Gropp、Lior Yariv、Niv Haim、Matan Atzmon和Yaron Lipman。用于学习形状的隐式几何正则化在国际Conf. on Machine Learning（ICML）. 2020年。[18] 安库尔·汉达，托马斯·惠兰，约翰·麦克唐纳和安德鲁·J·戴维森。rgb-d视觉里程计、3d重建与slam之基准在IEEE Intl. Conf. 机器人和自动化（ICRA），2014年。[19] 阿米尔·赫兹，拉纳·哈诺卡，拉贾·吉里斯和丹尼尔·科恩-或者。 Pointgmm：一个用于点云的神经GMM网络。 在IEEE计算机视觉和模式识别（CVPR）上，2020年。[20] Mengqi Ji，Juergen Gall，Haitian Zheng，Yebin Liu，and Lu Fang. Surfacenet ： An end-to-end 3d neuralnetwork for multi-view stereopsis. 在 国 际 Conf. onComputer Vision（ICCV），2017.[21] Chiyu Jiang，Avneesh Sud，Ameesh Makadia，JingweiHuang，Matthias Nießner，and Thomas Funkhouser.三维场景的局部隐式网格表示 在IEEE会议计算机视觉和模式识别（CVPR），2020年。[22] Maik Keller ， Damien Lefloch ， Martin Lambers ，Shahram Izadi，Tim Weyrich，and Andreas Kolb.基于点融合的动态场景实时三维重建。在国际Conf. on 3DVision（3DV），2013.[23] James Kirkpatrick，Razvan Pascanu，Neil Rabinowitz，Joel Veness ， Guillaume Desjardins ， Andrei A Rusu ，Kieran Milan，John Quan，Tiago Ramalho，AgnieszkaGrabska- Barwinska，et al.克服神经网络中的灾难性遗忘。Proc. National Academy of Sciences，114（13）：3521[24] Soochan Lee，Junsoo Ha，Dongsu Zhang，and GunheeKim.无任务连续学习的神经元Dirichlet过程混合模型。在 国 际 Conf. on Learning Representations （ ICLR ） ，2020.[25] 在我看来，莱索特、文森特·洛莫纳科、安德烈·斯托扬、达维德·马尔托尼、大卫·菲利亚特和纳塔利娅·迪亚斯-罗德里格斯。持续学习机器人技术：定义、框架、学习策略、机遇和挑战。信息融合，58：52[26] 李志忠和Derek Hoiem。学而不忘。IEEE传输模式分析机器内部，40（12）：2935[27] David Lopez-Paz和Marc'Aurelio Ranzato。持续学习的梯度情景记忆神经信息处理系统进展，2017年。[28] 威廉·E·洛伦森和哈维·E·克莱恩。移动立方体：一种高分辨率三维表面构造算法。在SIG-GRAPH，1987中。15791[29] Arun Mallya，Dillon Davis，和Svetlana Lazebnik.背驮式：通过学习屏蔽权重，使单个网络适应多个任务。在欧洲会议中 计算机视觉（ECCV）[30] Arun Mallya和Svetlana Lazebnik。Packnet：通过迭代修剪将多个任务添加到单个网络。在IEEE会议 计算机视觉和模式识别（CVPR），2018。[31] Michael McCloskey和Neal J Cohen。连接主义网络中的灾难性干扰：顺序学习问题。学习与动机心理学，24：109[32] Mart i alMermillod，Au re'liaBu g a i ska，andPatrickBoni n. 稳定性-可塑性两难：研究从灾难性遗忘到年龄限制性学习效果的连续性。Frontiers in Psychology，4：504，2013.[33] Lars Mescheder，Michael Oechsle，Michael Niemeyer，Se- bastian Nowozin ， and Andreas Geiger.Occupancynetworks：Learning 3d reconstruction in function space.在IEEE计算机视觉和模式识别（CVPR）会议上，2019年。[34] 作者 ：Ben Mildenhall，放 大图 片作 者： Jonathan T.Barron，Ravi Ramamoorthi和Ren Ng. Nerf：将场景表示为用于视图合成的神经辐射场。在欧洲会议中计算机视觉（ECCV），2020年。[35] Seyed Iman Mirzadeh 、 Mehrdad Farajtabar 、 RazvanPascanu和Hassan Ghasemzadeh。理解培训制度在持续学习中的作用。在神经信息处理系统（NIPS）的进展，2020年。[36] Zak Murez、Tarrence van As、James Bartolozzi、AyanSinha、Vijay Badrinarayanan和Andrew Rabinovich。图集：端到端的三维场景重建从构成的图像。在欧洲会议上。计算机视觉（ECCV），2020年。[37] Richard A Newcombe、Shahram Izadi、Otmar Hilliges、David Molyneaux 、 David Kim 、 Andrew J Davison 、Pushmeet Kohi、Jamie Shotton、Steve Hodges和AndrewFitzgibbon。运动融合：实时密集表面映射和跟踪。在IEEE和ACM Intl. Sym.混合和增强现实（ISMAR），2011年。[38] Michael Niemeyer、Lars Mescheder、Michael Oechsle和Andreas Geiger。占用流量：通过学习粒子动力学进行4D重建。在国际Conf. on Computer Vision（ICCV），2019.[39] Michael Niemeyer、Lars Mescheder、Michael Oechsle和Andreas Geiger。差分体绘制：学习隐式3D表示没有3D监督。在IEEE计算机视觉和模式识别（CVPR）会议上，2020年。[40] Matt hiasNießner，MichaelZollh？ fer，ShahramIzadi，andMarc Stamminger.利用体素散列法进行实时三维重建。 ACM Trans. Graphics，32（6）：1 -11，2013.[41] Michael Oechsle、Michael Niemeyer、Christian Reiser、Lars Mescheder、Thilo Strauss和Andreas Geiger。学习隐式表面光场。在国际Conf. on 3D Vision（3DV），2020.[42] German I Parisi ， Ronald Kemker ， Jose L Part ，Christopher Kanan，and Stefan Wermter.持续终身学习神经网络：审查. 神经网络，113：54-71，2019。[43] 郑俊朴、彼得·弗洛伦斯、朱利安·斯特劳布、理查德·纽科姆和史蒂文·洛夫格罗夫。Deepsdf：学习连续符号距离函数用于形状表示。在IEEE计算机视觉和模式识别（CVPR）上，2019年。[44] DespoinaPaschalidou ， OsmanUlusoy ， CarolinSchmitt，Luc Van Gool，and Andreas Geiger.Raynet：学习用射线势进行体三维重建。在IEEE计算机视觉和模式识别（CVPR）会议上，2018年。[45] PengSongyouPeng ， MichaelNiemeyer ， LarsMescheder，Marc Pollefeys，and