基于图像的液体表面检测

13811基于图像的液体二维表面检测作者：George W.Orosco和Michael C.加州大学圣地亚哥分校{frichter，rorosco，yip}@ ucsd.edu摘要在这项工作中，我们提出了一个解决方案，从图像数据重建液体的挑战性问题。重建液体的挑战在于，由于折射率、不透明度和环境反射的变化，不能使用深度感测和颜色特征，这在先前的刚性和变形表面上的重建工作中是没有面临的。因此，我们仅限于表面检测（即，二元掩模）作为观察，并且不假设关于液体性质的任何先验知识。提出了一种新的优化问题，该问题通过最小化来自粒子的渲染表面和表面检测之间的误差，同时满足液体约束，将液体重建为粒子我们提出了这个优化问题的求解器，并且不需要训练数据来应用它们。我们还提出了一个动态预测种子重建优化从以前的时间步。我们在模拟和两个新的液体数据集上测试了我们提出的方法，我们开源了1，因此更广泛的研究社区可以继续在这个未开发的领域中开发。1. 介绍为了成功地在我们生活的3D世界中导航并与之交互，需要对3D几何的理解这一要求的重要性可以从相机重建方法的众多进步中看出，由于其信息丰富和成本低廉，相机是理想的传感器。已经针对各种场景提出了基于表面的重建的解决方案，例如具有动态对象的刚性未知环境[31][21]。刚性假设也被提升以处理可变形表面[17，30]。重建领域的突破性发展已进入下游应用，如机器人操作[43]和手术组织跟踪[23]。然而，更复杂的场景（如流体）的重建仍然是一个未开发的领域。液体不像1https://github.com/ucsdarclab/liquid_reconstruction图1.顶行和底行图示出了我们提出的用于分别从内窥镜相机和将巧克力牛奶倒入杯子中的人重建液体的方法我们的重建方法最大限度地减少了2D表面检测损失，同时满足液体约束，而不需要任何先前的训练数据。其结果是一种有效的液体重建技术，已在模拟和真实数据上得到验证，如图所示。刚性和变形物体通常是湍流的，并且可以表现出平移、剪切和旋转运动[33]。描述流体运动的已建立的Navier-Stokes方程已被应用于生成流体的有效图形渲染[4]。流体的运动也因其是气体还是液体而不同。气体是可压缩的，并且已经探索了从图像重建[9]。液体，不像气体，是不可压缩的，每天人类的互动，依靠容器和重力来形成它们的形状（例如。装咖啡的马克杯）。通过在3D中完全重建液体，可以显著改善复制与液体交互的人类任务的自动化工作，例如机器人酒吧服务[44]，手术期间的自主血液抽吸[16]和污水处理服务[42]。然而，从液体中重建液体的挑战13812··不i=1图像仍然未被探索，并且使用简化的算法或端到端模型来指导这些自动化效果。我们提出了一种方法来重建和跟踪液体从视频中使用最少的信息。这导致了第一种仅利用碰撞环境、重力方向和2D表面检测的知识来重建液体的技术。观察仅限于2D表面检测（即，二元掩模），因为液体的颜色基于它们的折射率、不透明度和环境而变化很大。此外，常见的深度传感器（例如，Microsoft的Kinect或Intel的RealSense）将由于未知的折射率而表现不一致。通过将观察数据限制为仅2D表面检测，我们提出的重建方法可以直接应用于任何检测到的液体，并且不需要关于液体的任何先验信息（例如，不需要训练数据）。为此，我们的贡献是：1. 提出了一种利用考虑液体约束的粒子表示来重构液体的新的优化问题，2. 基于先前的时间步用动态预测来播种优化，3. 以及分支策略，以动态地调整重构液体中的颗粒数量。2.2.液体检测和模拟配准虽然之前没有进行液体的直接重建，但是已经在检测图像帧中的液体并与模拟配准方面进行了工作。无人驾驶地面车辆已经检测到了大量的水[34，35]，并且在自主机器人抽吸手术期间已经检测到了流动的血液[37]。在倾倒任务期间的液体也已经使用光流[45]和深度神经网络[40]检测到。本文的范围是重建的液体，这些检测方法可以利用到我们提出的方法，通过supplying观察的液体表面。Mottaghi等人能够直接从图像中估计容器中液体的体积[ 27 ]。还对机器人浇注进行了液体模拟与真实世界的注册[14，39，41]。然而，这些技术需要关于被重建的液体的先验信息，例如事先知道液体的体积。同时，在这项工作中，我们只假设先验知识的重力方向和碰撞环境，并使用一种新的分支策略，以动态调整的重建液体的体积。尽管如此，我们还是尽最大努力将Schenck和Fox最近的模拟配准工作[ 41 ]整合3. 方法设pt={pi}N是R3中的粒子集，表示-的扩展与源估计技术，以显示其适应性，为未来的应用与液体。为了使我们提出的方法成为基线，我们收集并开源了新的液体数据集，以便未来的研究人员可以在这个未开发的领域进一步发展。2. 相关作品2.1. 流体重建在科学和工程中，历史上已经使用了几种传感器形式来捕获流体流动。纹影成像[1，2，6]、粒子图像测速法[12]、激光扫描仪[15]和结构光[13]都已被开发用于捕获流体。然而，这些专用传感器并不常见，并且通常昂贵，因此使它们不如可见光谱传感器理想。这导致了在可见光层析成像领域中的大量发展，其中使用流体的2D图像投影的组合来在3D中重建流体该领域的最新发展已经有效地将流体与基于模拟的流体动力学[7]配准，并且仅需要几个相机视角来进行有效重建[9，48]。然而，这些方法不考虑不可压缩的流体、液体，并且仅关注自由空间中的气体（即，无碰撞）。在时间t处读取重构的液体。 为了估计平均值-特定位置，并因此重建液体，我们假设仅知道识别液体表面的二进制掩码图像。通过最小化检测表面和从颗粒重建液体表面之间的损失来I（·）。具体地，优化问题是：argminLIt，I（pt） s.t. C（pt）=0（1）其中液体约束C（）被应用于粒子位置，因此它们表现得像液体。这里考虑的位置约束是密度和碰撞，图中给出了直观的解释。二、求解位置约束并从中导出速度，为大时间步长提供了稳定的基于粒子的模拟[25，29]。类似地，我们利用由位置约束引起的类液体动力学来从视频序列（即，从t到t+1）。下面的方法详细介绍了我们的解决方案，以优化-图1示出了（1）中所示的分解问题的分解图，并且在算法1中示出了概要。首先，描述位置约束C（）及其各自的求解器。 第二，呈现的表面--pt完整的解决方案仅依赖于顺序数据，138132····Xp=C（p）wSDF（p+dk）（3）c k←±±±不我不不不←碰撞约束密度约束图像损失算法一：输入：先前的液体粒子位置和速度pt-1，vt-1，图像It输出：更新的液体粒子位置和速度pt，vt//粒子预测1ptpt-1+vt-1t+1gt22 对于no次迭代，对于n，j次迭代，//应用位置约束4对于nc次迭代，5pc←solveCollision（pt）6pt←pt+pc10.solveDensity（pt）8pt←pt+ p//最小化图像丢失对于ni次迭代，10I（pt）←renderSurface（pt）图2.一个可视化的解决方案（1），按照左上角，左上角，11p←p+@LI，I（p）/@p浅灰色），密度约束通过保持恒定的密度来确保液体的不可压缩性，并且最终使检测表面（以黑色绘制）和表面绘制（以半透明蓝色绘制）之间的图像损失最小化。解释了在粒子位置上的face、faceI（）及其分量，以使损失最小化。在投影梯度下降方案中应用约束求解器和表面损失梯度来求解（1），如算法1的第4至11行所示。第三，找到粒子的数量，N，以重建液体和添加或删除粒子的策略进行了详细说明。最后，从时间步长t到t +1的颗粒的预测被定义为从检测到的液体的视频I1，. ......、 IT3.1.液体粒子在优化（1）时用于重构液体的两个位置约束是碰撞和密度。碰撞约束确保表示重构液体的粒子中没有一假设Cc（）是粒子的碰撞约束，它表示为：其中，relu（）是整流线性单位函数，并且SDF（）是场景的带符号距离函数。当它为0时，满足碰撞约束，通过使所有粒子脱离碰撞（即，粒子位置处不再有负SDF值）。为了使粒子脱离碰撞并满足碰撞约束，采用有限差分法近似计算了一个//调整粒子数12如果局部极小条件，则13pt←duplicateOrRemoveP article（pt）//更新粒子速度14vt←（pt-pt-1）/t15vtdampVelocityAndApplyViscocity（pt，vt）16returnpt，vt梯度（2），并且颗粒沿着梯度台阶移动。这是为粒子pi计算的，如下：我我我Ck2K其中K是有限样本方向的集合（例如，[1，0，0]，[0，1，0]，[0，0，1]），wk是有限差分权重，d是样本方向的步长。有限差分权重被最佳地计算[8]并缩放，使得求和的结果向量被归一化。进行归一化，使粒子向上移动到当前碰撞深度Cc（pi），而不是在无碰撞空间中。碰撞约束被迭代地求解并应用于粒子，如Al-出租m1中的第5行和第6行所示。第二个约束，密度，确保液体不可压缩。基于颗粒的液体表示的密度可以使用与平滑颗粒流体动力学（SPH）相同的技术来表示[11，24]。SPH模拟计算流体力学的物理特性，如密度，使用插值技术与核心算子围绕粒子的位置。右侧和底部，粒子位置用红色绘制。碰撞约束将粒子推离碰撞（绘制不13814X·X||-||-⇢X1..X0⇢⇢⇢⇢⇢⇢⇢λs⇢j=1W（||pi-pj||，h）W（λp，h）n@Ci（p）@pj⇢⇢类似地，我们计算粒子pi处的密度N（1）A（||pi-pj||，h）（4）j=1其中W（，h）是具有半径H.这与SPH模拟相同，除了没有质量项，因为每个粒子被设置为表示重建液体中的相等质量。使用（5）的第i个粒子的密度约束可以写为：问题公式化，已经提出了多个解决方案[18]。我们采用的可微分渲染器是Pulsar，它将每个粒子渲染为球体[22]，因为它目前是基于点的几何渲染的最新技术用于最小化检测曲面和渲染曲面之间差异的损失是对称平均绝对百分比误差（SMAPE）：LI，I（p）=1X|Iu,v-ˆIu,v(p)|（九）Ci（p）=Ci（p）-1（5）Npu，v2I|Iu，v|+的|u，v（p）|公司简介⇢⇢0式中，φ0是被重构液体的静止密度[3]。该密度约束在0处得到满足，这在重构液体在每个颗粒位置处达到静止密度时发生。沿着约束的梯度迭代地采取牛顿步骤以满足（5）中的密度约束。每一牛顿步长，ΔPΔ，计算如下：C（p）=-rC（p）. rC>（p）rC（p） +I-1C（p）其中，Np是图像上的像素数，并且Np用于稳定除法。选择SMAPE是因为在原始的脉冲星工作中使用了`-1损失[22]，SMAPE是`-1损失的对称版本在算法1中，第10和11行是可微分渲染器被集成到我们的重建技术中的地方，梯度步长为1。3.3. 添加和去除颗粒必须找到粒子数N来求解（1），因此这是一个混合整数优化问题。其中，C1（·）=[C1（·）， . ......你 好。 ，CN（·）]>，则偏导数为@Ci（p） 1（pi-pj）N为了求解N，我们使用基于以下启发式：如果渲染的表面区域较小比检测到的表面积，复制一个粒子，N+ 1，=@pi0W0（pipj，h）||pi-pj||（七）反之亦然，以去除粒子N1。 分支策略在确认局部最小值已被@Ci（p） =@pj（pi-pj）⇢ 0||pi-pj||0（||pi-pj||，h）达到当前粒子数。这通过取平均图像损失梯度并检查其是否小于阈值来确定：其中W0（·，h）是平滑核运算r的阶。2..你好N（4）和（4）中的算子，RNN稳定了反转，阻尼系数为零。在SPH模拟中强制不可压缩性，类似于这里提出的密度约束，当粒子具有少量邻居时，N@Lk=1..I，I（p）@pk..宾馆（10）使粒子聚集[26]。 因此，我们使用Mon-通过加入以下人工压力，术语：其中，S是阈值，并且如果在并集上的交集(IoU)小于阈值：I（p）N◆λS伊科--（八）中国（11）我其中λs，λp，λn是根据原工作[26]设定的密度约束用人工压力项迭代求解，并应用于粒子，如算法1中的第7行和第8行所示。3.2.可区分的液体表面渲染在（1）中最小化以重建液体的损失是在检测表面I和重建表面I（·）之间。这相当于不同的渲染j=1（六）I\ I（p）这是门槛。 选择IoU而不是SMAPE其中，13815损失，因为Pulsar使用混合值渲染每个球体，因此渲染的图像将具有[0，1]的值，因此随着渲染更多球体，即使球体具有完美的轮廓拟合，SMAPE损失也会增加。同时，IoU直接测量轮廓拟合，这与我们的分支策略启发式一致。如果满足这两个标准，则假设由于粒子数量而导致的局部最小值，并且触发复制或移除粒子该分支逻辑在算法1的第12和13行中处理。13816-⇢⇢·X⇢不不t-1⇢tt-1⇢02NJI⇢ ⇢⇢0N⇢ ⇢⇢0为了证明我们提议的液体侦察的有效性-复制或移除粒子时，碰撞约束将保持不变，密度约束观察，1。 . -是 的 、IT. 设pi= 0，pi= 0，成为最佳选择相应复制粒子时将增加，移除粒子时将减少。因此，选择复制或删除的选择，以最好地满足密度在时间t和t1，来自解（1活泼地则时间t的诱导速度为：vi=（1-λd）（pi-pi）/λt（17）约束，因此在调整粒子计数后求解（1）时的初始粒子位置保持最接近密度约束流形。 显式编写并使用`-1损失来描述与约束流形的接近度，要复制或删除的粒子的索引通过求解来找到ing其中，λd [0，1]是速度阻尼因子，是时间步长。为了实现一致的运动，XSPH粘度[38]适用于：2019-05 - 25 00：00：00 00： 00||pi-pj||（18）t tvN Nj=1j（p）t t最小值X|Ck+（p）|+|Ci+（p）|最小值X|Ck-（p）|其中λv表示所施加的粘度的量。在-⇢ ⇢ik=1ik i⇢（十二）如算法1中的行14和15所示，在液体重构的每个时间步之后计算诱导速度。对于重复和恢复方面以及Ck+（·），Ck-（）分别是在复制和移除第i个粒子之后在粒子k诱导速度和重力用于使用运动方程向前预测粒子到t+1新的密度约束被评估为：pi i⇤¯i十二（十九）Ck+（p）=1⇢⇢0N+1个W（||pk-pj||（h）-1（13）j=1t+1=pt+vtt+2gt其中g是重力矢量。该前向预测在算法1的第1行中完成。阻尼和粘度不仅代表物理性质，而且还提供10- 1 1 -1||pk-pN+1||（14）用于复制第i个粒子（因此pN+1=pi），10-12 - 2016刘晓波（||pk-pj||（h）-1（15）J 我调整参数以稳定下一时间步的初始化。阻尼λd决定了对预测的依赖程度，而粘度λv则调整了速度的一致性4. 实验Ck-（p）=Ck（p）-1W（||pk-pi||（16）用于移除第i个粒子，其中Ck（p）是在复制或移除粒子之前在粒子k最后，通过明确计算每个潜在i的损失（即，在复制或删除每个粒子之后计算损失）并选择产生最小损失的i，从而复制或删除最符合密度约束的粒子，来解决（12）注意，由于在（14）和（16）中导出的简化，这可以被有效地计算。3.4.液体预测在基于位置的流体模拟中，每个时间步长的约束都会更新粒子的位置，这反过来又会引起粒子的速度[25]。这些约束引起的速度与其他外力（例如重力）组合用于使颗粒在时间上向前移动，以使颗粒进行液体状运动。这里使用类似的方法来重新创建通过时间的液体状运动，从而能够从视频13817·联系我们结构的方法，我们测试了模拟和两个现实生活中，数据集进行比较研究。这些实验将在接下来的章节中解释，并给出第一个实现细节。其次，介绍了我们的数据集及其收集方式。最后，我们解释了我们的比较研究和它在数据集上的结果。4.1. 实现细节所 有 的 算 术 ， 例 如 。 牛 顿 的 密 度 约 束 步 骤（6），是用PyTorch实现其GPU集成[ 32 ]。碰撞约束（2）及其解决方案（3）是用SPNet的ConvSP算子及其PyTorch 包装器[ 41 ] 实现的 ， 内 核 K =[ 1，0，0]，[0，1，0]，[0，0，1]，步长d等于S D F（）的分辨率。 静止密度是通过设置粒子之间的静止距离生成的，因为这更易于调整。通过将1000个颗粒填充在球体中并计算球体的颗粒密度，将颗粒之间的静止距离转换为静止 然后，将求解（5）和（6）的密度约束参数设置为静止距离0。6h，Wp=102，W（·）被设置为Poly6和Spiky13818·······源步骤1三号线ArUco标记第1ArUco标记尾迹2图3.图的顺序（左上，右上，左下，右下）显示了液体如何填充模拟喷泉。请注意第一步如何填充一致的形状，但当下降到第二步时会出现明显的湍流，使其成为场景的一个具有挑战性的组件。另一个挑战是在喷泉填充的第三步和最后一步时，由于体积大，必须使用大量的颗粒进行重建，因此测试重建方法的可扩展性分别用于密度估计和梯度步骤的核[28]。可微分渲染是用Py-T3D框架工作[36]完成的，并且λs=10-2。阈值添加/去除颗粒的最佳条件为：εs=10~（-3），εI=0。9分别速度阻尼和粘度系数设为λd=0。2且λv=0。75尊重我的意思。算法（1）中的参数被设置为n_o= 30，n_j= 2，n_c= 5，n_i= 5，并且n_I= 0。02.所有数据集都是立体的，因此最初的四个粒子可以放置在第一液体检测的立体计算的3D位置最后一个参数SDF（）分辨率和粒子交互半径h根据数据集进行设置，因为它们需要根据重建的比例进行4.2. 数据集模拟喷泉：第一个数据集是在一个三步喷泉上生成的，如图所示。3，Blender [5]。液体模拟使用所有默认值，但粘度设置为0.001除外。SDF（）从分辨率为1cm的喷泉中生成，粒子相互作用半径h设置为1cm。场景使用1080p、24fps立体摄像机渲染，渲染后的液体遮罩直接从Blender输出。对于这个模拟数据集，地面实况液体网格可用于评估我们的重建。3D IoU的度量用于捕获我们重建的形状精度，并计算为：图4.左图显示了用于内窥镜液体数据集的硅腔的自上而下视图，并且在三次试验的标记点处用注射器注射液体。右图显示了我们的倒奶实验设置的相机图像。请注意，牛奶部分被杯子阻挡，因此测试重建处理闭塞的能力。用补充材料中的等式（21）中所示的色场来生成v×el表示中的uid，V× el（p）体素网格以3cm的分辨率计算内窥镜液体：第二个数据集使用自定义硅腔，该硅腔是用3D打印底片模制的，因此可以为其生成SDF（）。腔为11cm × 9.5cm，SDF（）分辨率设置为1mm，颗粒相互作用半径h设置为5mm。为了将SDF（）转换为摄像机框架（即优化颗粒的坐标框架），将ArUco标记[10]放置在已知位置的腔体如图所示，在三个不同的位置用注射器注射大约50毫升的水进行三次试验。4.第一章水与红色染料混合，因此可以应用颜色分割来检测液体表面。液体视频是使用达芬奇研究套件立体内窥镜记录的，其为1080p，30fps [19].倒牛奶：第三个数据集是一个人把巧克力牛奶倒进杯子里，如图所示。4.第一章杯子高9cm，直径7cm，SDF（）分辨率设置为1mm，粒子相互作用半径h设置为6.5mm。 将杯子放在一张纸上，在标记位置有一个ArUco标记[10]。Aruco标记和已知的纸张几何图形提供了将SDF（）转换为相机帧的转换。采用颜色分割的方法检测巧克力牛奶的液面。液体视频是使用Stereo Labs的ZED Stereo Camera以720p 15fps录制的。4.3. 比较研究我们通过比较研究表明，我们所提出的方法的有效性。比较的配置包括：IoU3D =V[V（p）V\V（p）（二十）• 无约束[22]（即无密度或碰撞约束），仅图像丢失其中，V和Vω（p）分别是模拟液体和重建液体的体积表示重建的液体-• 无密度约束• 无碰撞约束步骤2步骤313819步骤1步骤2步骤3图5.左边的图显示了来自模拟喷泉数据集的IoU 3D结果以及液体到达场景中不同步骤时的时间标记点。请注意，我们提出的方法和均匀比较如何能够在第一步中达到70%的IoU3D，并在非常长的时间内保持良好的重建，湍流模拟继续进行。在场景的湍流期间，我们的重建方法的示例如右图所示同时，比较的方法遇到内存限制并崩溃（需要大于24GB的内存）或无法有效收敛。图6.从左到右，图像列是正在重建的液体的内窥镜图像，其中：无约束，无碰撞约束，无预测，我们的方法，以及我们的源估计技术。第一行渲染图中的虚拟摄像机的位置与真实内窥镜相似，显示了从该角度来看，红色颗粒与液体的真实图像对齐。第二行显示了另一个渲染的透视图，以及我们提出的方法如何正确地在3D中重建液体前三个比较无法正确重建，因为它们没有利用液体动力学（即，落入重力并与空腔碰撞• Schenck Fox[41]约束代替我们提出• DSS[46]用于渲染梯度而不是Pulsar• 均匀随机选择，用于复制或删除粒子，而不是求解（12）• 无颗粒预测（算法1中的第1行）• 我们的完整方法• 我们的源估计在源位置添加粒子，并在下一小节当移除碰撞约束（即，无约束和无碰撞比较），粒子预测也必须关闭，否则粒子将永远下降，由于重力。在没有密度或碰撞约束的情况下，该方法等同于可微分渲染[22]，从而提供基线比较。Schenck Fox提出了自己的基于头寸的流动性约束对于恒定密度[41]（即取代C），结合到这个方法中进行比较。我们还与另一个最近开发的用于基于点的几何的可微渲染器（称为可微表面溅射（DSS））进行了比较[46]。最后，实现了一个源估计技术，以突出如何所提出的方法可以扩展。执行细节的申克福克斯，DSS和我们的来源比较给出了补充材料。所有数据集的对比研究视频和收敛统计数据在补充材料中，并给出了一些亮点。模拟喷泉数据集的定量结果如图所示。5，它显示了我们提出的方法在动荡的长期场景中是多么有效。图6示出了来自内窥镜轨迹的结果以及我们提出的方法如何利用液体动力学来正确地拟合腔形状。从牛奶倾倒实验，结果显示在图。图7和图8的结果表明，我们提出的方法能够推断遮挡区域中的液体并重建下降流。13820图7.从左到右，图像列是来自Pouring Milk数据集的图像，该图像正在重建：无密度约束，Schenck Fox约束[41]，DSS [46]，我们的方法和我们的源估计技术。第一行渲染图中的虚拟摄像机的位置与原始图像相似，显示了从该角度来看，红色颗粒与液体的真实图像对齐第二行显示了鸟瞰视角以及我们提出的方法如何正确地在3D中重建液体无密度约束和DSS [46]比较由于图像丢失的过度拟合而无法正确重建，并且无法在遮挡区域中进行推断与此同时，Schenck Fox约束[41]约束变得不稳定，并将颗粒溅到杯子外面。图8.最左边的图像来自Pouring Milk数据集，该数据集正在使用均匀比较（中间）和我们的方法（右侧）进行重建。我们的方法是能够重建下降流，不像均匀比较，由于新的粒子插入和删除的方法。5. 讨论和结论我们的方法是第一种方法来重建液体的碰撞环境，重力方向，和2D表面检测的知识。我们将范围限制为2D表面检测，因为液体颜色因反射和折射而变化太大。我们的实验突出了我们的方法通过广泛的液体（模拟，水和牛奶）和相机（窄宽视场和15，24- 30fps）的普遍性。在补充材料视频中，当使用源估计扩展时，观察到一致的粒子流我们设想，源估计扩展将有利于下游机器人自动化应用，例如机器人酒吧护理[44]和手术中的止血管理[37]，其中需要预测液体。我们发现，密度约束、碰撞约束和预测对于推断超出2D图像损失至关重要，如图所示。6和图7 此外，在更长和更湍流的场景中，液体特性的缺乏可能导致会导致不稳定性并使混合整数优化器崩溃（大于10，000个粒子）。密度约束可以与反映液体不可压缩性和其他液体性质的其他约束（例如Schenck Fox然而，我们无法稳定Schenck Fox(5) 它的求解器在我们所有的数据集上都是稳定的。对于可微渲染也是如此，我们发现Pulsar在我们的应用程序中比DSS更健壮，因为DSS需要我们观察到的法线并不一致。我们的粒子插入和移除策略是有效的，甚至能够插入粒子以重建如图1A所示的下降流。8.在我们的方法中有大量的超参数，但这是在解决混合整数优化问题时所期望的。然而，我们发现了一个集合，它概括了我们的各种数据集，并且交互作用radius，h调整了我们重建的有效分辨率（即，较小的h给出更密集的重构）。我们在重建方法中观察到的伪影是深度的模糊性，这是由于我们的观察仅限于液体的2D表面检测。液体动力学的结合确实有助于克服内窥镜液体实验中的这一挑战，如图11所示。六、然而，在倒奶实验中，牛奶的顶层是稍微不平衡的，这在图中看得最清楚。9在柔软的金属材料中。在未来的工作中，我们打算通过修改（1）来更好地解决模糊性，以纳入多个时间步，从而优化动态。致谢这项工作得到了NSF职业奖#2045803和美国陆军TATRC的支持。F. Richter通过NSF研究生研究奖学金获得支持。13821引用[1] 布拉德利·艾奇逊，沃尔夫冈·海德里希，伊沃·伊尔克。面向背景纹影成像的光流算法评价。流体实验，46（3）：467- 476，2009。2[2] Bradley Atcheson、Ivo Ihrke、Wolfgang Heidrich、ArtTevs 、 Derek Bradley 、 Marcus Magnor 和 Hans-PeterSeidel。非定常气流的时间分辨三维捕获。ACM图形交易（TOG），27（5）：1-9，2008。2[3] 肯尼斯·博丹，克劳德·拉库尔西埃，马丁·塞尔文。约束流体。IEEE Transactions on Visualization and ComputerGraphics，18（3）：516-526，2011。4[4] 罗伯特·布赖森。计算机图形学中的流体模拟。CRC Press，2015. 1[5] Blender在线社区。Blender -3D建模和渲染软件包。Blender基金会，Stichting Blender基金会，阿姆斯特丹，2018。6[6] Sa'BDalsons ， GrahamOHughes 和 BruceRSutherland 。 用“合成纹影”进行全场密度测量流体实验，28（4）：322-335，2000. 2[7] 玛 丽 - 莉 娜 · 埃 克 特 ， 基 元 · 乌 姆 ， 尼 尔 斯 · 瑟 里 。Scalarflow：用于计算机动画和机器学习的真实世界标量传输流的大规模体积数据集。ACM Transactions onGraphics（TOG），38（6）：1- 16，2019。2[8] 本特·福恩伯格任意间距网格上有限差分公式的生成。计算数学，51（184）：699-706，1988。3[9] 埃里克·弗兰兹芭芭拉·索莱弗和尼尔斯·瑟里流体重建的全球运输与学习的自我监督。在IEEE/CVF计算机视觉和模式识别会议论文集，第1632- 1642页，2021年。一、二[10] 塞尔吉奥加里多-胡拉多拉法埃尔Munnoboz-Salinas，弗朗西丝科·乔是马德里人，曼纽尔·杰是马林·吉姆·内兹。在遮挡下自动生成和检测高度可靠的模式识别，47（6）：2280-2292，2014. 6[11] 作者声明：Robert A Gingold，Joseph J Monaghan.光滑颗粒流体动力学：非球形恒星的理论和应用。皇家天文学会月报，181（3）：375-389，1977。3[12] 伊恩·格兰特。粒子图像测速技术综述。机械工程师学会会刊，C部分：机械工程科学杂志，211（1）：55-76，1997。2[13] Jinwei Gu ， Shree K Nayar ， Eitan Grinspun ， Peter NBel-humeur，and Ravi Ramamoorthi.用于恢复非均匀参与 介 质 的 压 缩 结 构 光 。 IEEE transactions on patternanalysis and machine intelligence，35（3）：1-1，2012.2[14] TatianaLo' pezGuev ara ， NicholasKTaylor，MichaelUGut-mann，Subramanian Ramamoorthy，and Kartic Subr.适应性浇注：使用快速但近似的流体模拟来教机器人不溢出。机器人学习会议（CoRL），2017年。2[15] Tim Hawkins，Per Einarsson，and Paul Debevec.时变参与 介 质 的 获 取 。 ACM Transactions on Graphics（ToG），24（3）：812-815，2005. 2[16] Jingbin Huang，Fei Liu，Florian Richter，and Michael CYip.使用可微分流体模拟的外科止血血液抽吸的模型预测控制。IEEE机器人与自动化国际会议，2021年。1[17] MatthiasInnmann，MichaelZollhoüfer，MatthiasNießner ， ChristianTheobalt ， andMarcStamminger.体积变形：实时体积非刚性重建。欧洲计算机视觉会议，第362-379页。施普林格，2016年。1[18] Hiroharu Kato、Deniz Beker、Mihai Morariu、TakahiroAndo、Toru Matsuoka、Wadim Kehl和Adrien Gaidon。可 区 分 渲 染 ： 一 个 调 查 。 arXiv 预 印 本 arXiv ：2006.12057，2020。4[19] Peter Kazanzides，Zihan Chen，Anton Deguet，GregoryS Fischer，Russell H Taylor，and Simon P DiMaio.达芬奇手术系统的开源研究工具包2014年IEEE机器人与自动化国际会议（ICRA），第6434-6439页IEEE，2014。6[20] Michael Kazhdan，Matthew Bolitho，and Hugues Hoppe.泊松曲面重建在Proceedings of the fourth Eurographicssymposium on Geometry processing，第7卷，2006中。12[21] Maik Keller ， Damien Lefloch ， Martin Lambers ，Shahram Izadi，Tim Weyrich，and Andreas Kolb.基于点融合的动态场景实时三维重建。 2013年3D视觉国际会议-3DV 2013，第1-8页。IEEE，2013。1[22] 克里斯托弗·拉斯纳和迈克尔·佐尔霍夫。Pulsar：Effi-cient sphere-based neural rendering. 在IEEE/CVF计算机视觉和模式识别会议论文集，第1440-1449页，2021年。四、六、七、十三、十四[23] Yang Li，Florian Richter，Jingpei Lu，Emily K Funk，Ryan K Orosco，Jianke Zhu，and Michael C Yip.Super：用于外科机器人内窥镜组织操作的神经感知框架。IEEE Robotics and Automation Letters，5（2）：2294-2301，2020。1[24] 利昂·B·露西。裂变假说检验的数值方法。天文学杂志，82：10133[25] Macklin先生和MatthiasMülle先生。基于位置的流体。ACMTransactions on Graphics（TOG），32（4）：1-12，2013。二、五[26] 约瑟夫·莫纳汉。无拉伸不稳定性。计算物理学报，159（2）：290-311，2000. 4[27] 鲁赫·莫塔吉，康纳·申克，迪特尔·福克斯，阿里·法哈迪。看到半满的玻璃杯：关于液体容器的推理，它们的体积和内容。在IEEE计算机视觉国际会议论文集，第1871- 1880页2[28] Ma t thiasMüller，D a vidCharypa r，andMarkusHGross. 交互式应用的基于颗粒的流体模拟。计算机动画研讨会，第154-159页，2003年。六十一十二13822[29] Matthi asMuüller，BrunoHeidelber ger，MarcusHennix，andJohn Ratcliff. 基 于 位 置 的 动 态 。 Journal of VisualCommunication and Image Representation ，18（ 2 ）：109-118，2007. 2[30] Richard A Newcombe，Dieter Fox，and Steven M Seitz.动态融合：非刚性场景的实时重建与跟踪。在IEEE计算机视觉和模式识别集，第3431[31] Richard A Newcombe、Shahram Izadi、Otmar Hilliges、David Molyneaux 、 David Kim 、 Andrew J Davison 、Pushmeet Kohi、Jamie Shotton、Steve Hodges和AndrewFitzgibbon。运动融合：实时密集表面映射和跟踪。2011年第10届IEEE混合与增强现实国际研讨会，第127-136页。IEEE，2011年。1[32] Adam Paszke、Sam Gross、Soumith Chintala、GregoryChanan、Edward Yang、Zachary DeVito、Zeming Lin、Alban Desmaison、Luca Antiga和Adam Lerer。pytorch中的自动微分。2017. 5[33] 斯蒂芬·波普。湍流，2001年。1[34] 阿图罗·兰金和拉里·马蒂斯。基于颜色变化的白天水体2010年IEEE/RSJ智能机器人与系统国际会议，第215-221页。IEEE，2010。2[35] Arturo L Rankin，Larry H Matthies，and Paolo Bellutta.基于天空反射的白天水检测。2011年IEEE机器人与自动化国际会议，第5329-5336页。IEEE，2011年。2[36] Nikhila Ravi、Jeremy Reizenstein、David Novotny、Tay-lor Gordon 、 Wan-Yen Lo 、 Justin Johnson 和 GeorgiaGkioxari。使用pytorch3d加速3d深度学习。arXiv预印本arXiv：2007.08501，2020。6[37] Florian Richter，Shihao Shen，Fei Liu，Jingbin Huang，Emily K Funk，Ryan K Orosco，and Michael C Yip.使用基于图像的血流检测，辅助机器人吸引以清除术野进行止血。IEEE Robotics and Automation Letters，6（2）：1383-1390，2021。二、八[38] Hagit Schechter和Robert Bridson。幽灵球的动画水。ACM Transactions on Graphics（TOG），31（4）：15[39] 康纳·申克和迪特尔·福克斯可视闭环控制倾倒液体。在2017年IEEE国际机器人与自动化会议（ICRA）上，第2629IEEE，2017年。2[40] 康纳·申克和迪特尔·福克斯使用全卷积网络感知和推理液体。国际机器人研究杂志，37（4-5）：45