16231输入视频提取运动场提取模态运动示例网格点恢复材料特性视觉振动断层扫描：从单目视频估计内部材料特性伯蒂·TFeng Alexander C.奥格伦·基亚拉·达莱奥·凯瑟琳·L.加州理工水平位移垂直位移模式@5.52 Hz模式@5.52 Hz杨氏（帧t）0（帧t）0模式@39.33 Hz模式@39.33 Hz图1.方法概述。从一个显示物体振动的视频开始，我们提取了时间上的运动场，然后将此运动分解为图像空间模式。从可见网格点处采样的图像空间模式，我们能够恢复整个对象内部的杨氏模量和密度的体素化体积摘要物体对于人眼，确定在其表面上观察到的运动。我们提出了一种方法，估计从其表面振动的单目视频的对象的异质材料属性。具体而言，我们将展示如何估计杨氏模量和密度在整个3D对象与已知的几何形状。了解这些值如何在物体上变化，对于模拟其运动和表征任何缺陷都是有用的。传统的无损检测方法通常需要昂贵的仪器，通常只能估计均质材料的性能或简单地识别缺陷的存在。相比之下，我们的方法利用单目视频（1）从对象的子像素运动中识别图像空间模式我们在模拟和真实视频上演示了我们的方法。1. 介绍我们周围物体的细微运动是它们物理性质的线索这些属性包括刚度和密度，它们决定了物体对环境力的反应。作为人类，我们可以模糊地描述-材料的硬度或重量，例如当我们推断橡胶篮球通过敲击其表面会比陶瓷保龄球然而，大多数工程应用需要更高层次的细节，例如当航空工程师必须忠实地模拟机翼如何对风湍流作出反应在计算机视觉和图形学中，对物体材料属性的完整表征这些场景需要进行非破坏性测试，以在不改变物体的情况下获得物体的物理特性。我们提出了视觉振动层析成像，一种直接从单目视频中提取的振动信号估计物体材料特性的方法。大部分无损检测（NDT）都集中在测量振动，以识别具有已知几何形状的结构中是否存在缺陷然而，NDT工具通常不用于确定具有异质内部结构的物体中的物理性质的精确空间分布我们表明，我们可以测量振动作为2D视频中的子像素运动，然后使用此运动来约束3D材料属性估计。与现有无损检测技术相比，视频具有多项优势：接触式传感器和激光测振仪可进行点测量，++16232××≈表面振动的空间密集测量。虽然激光测振仪价格昂贵且专业化，但相机无处不在且用途广泛。虽然现有的基于图像的技术需要立体摄像机进行3D运动跟踪，但我们的方法表明，在许多情况下，您只需要一个monocular视图。我们的启发性见解是，在固定的几何形状下，物体的材料属性决定了它的运动。相反的方向也是正确的：运动决定了材料的属性，直到一个比例因子. 如果运动很小， 它可以被分解为在自然频率下的独立模式，从而使其本身成为连接模式和材料特性的简明数学方程。这个链接为我们的物理约束优化方法奠定了基础我们的任务的关键挑战是处理不完整和2D（而不是全场）模式。尽管有这些挑战，我们表明，我们可以估计材料的属性，从图像空间运动和恢复全场模式。本文首先回顾了有关的工作以及模态与材料性质之间的理论关系.然后，我们将展示如何从视频中提取图像空间模式并恢复材料属性（图1）。1显示了该方法的概述）。我们展示了我们的方法对三维几何形状的模拟数据，并讨论了阻尼和模型失配的影响。最后，我们提出了对真实数据的概念验证实验，表明我们能够对鼓头上看不见的材料不均匀性的形状这些实验表明，在更具挑战性的环境中的方法的未来的承诺。12. 相关工作2.1. 从图像和视频中进行在计算机视觉中，场景理解是一个重要的目标，其中包括许多任务，表征材料。以前的工作已经从图像中估计了材料类别[3，27，37]和表面属性[22，38]。与静态图像相比，视频已被用于估计材料属性，尽管这些通常限于特定的对象类别，例如工厂[4其他工作已经从3D点云[25，48]和已知的外力[52]推断出材料属性，但是这样的测量比2D视频更难获得。 这是一个有前途的一步，一般的方法来估计材料的性能，但它是有限的均匀化性能。类似地，其他人已经使用视频数据来识别结构模式[8，20，53]。Davis等人演示了如何可视化图像空间模式并将其用于合理模拟[12，13]。1项目网址：http://imaging.cms.caltech.edu/vvt2.2. 传统无损检测无损检测（NDT）是一个总括性术语，用于收集材料或结构的数据而不损坏它。通常，目标是识别会改变对象预期行为的缺陷或材料不一致性。激光振动测量[14]和数字图像相关（DIC）[9]是测量表面位移的常用工具。激光测振仪已用于检查建筑结构[32，35]和材料[7，15]的完整性。DIC还用于识别2D结构中的缺陷[16，21，41，43，51]。两种激光器Brometry [28，29]和DIC [19，42]可用于模态分析，其中涉及识别结构的模态频率虽然通常被视为验证工具而不是直接推断材料特性的手段，但恢复的模态信息已用于求解均质化材料特性[11，18]。然而，据我们所知，模态分析还没有被用来解决更具挑战性的反问题量化的异质性在本文中解决。3. 背景3.1. 模态分析每一个物体都有共振或自然频率。在每个共振频率下，物体以特定的形状周期性地振动，称为模式。线弹性体的振动可以分解成独立的模态。在有限元法（FEM）中，我们将对象建模为网格，网格由每个具有材料属性值的元素组成确定物体振动的机械性质E和ν定义了顶点之间连接的刚度，而ρ定义了质量分布。在该离散化模型中，n-n刚度矩阵K描述了每对共n个自由度之间的刚度，并且n-n质量矩阵M描述了每对自由度之间集中的质量。模式u和频率ω是广义特征值问题的特征向量-特征值解：Ku= ω2μ。（一）如图2所示，材料性质的微小变化（在固定几何形状内）导致模态运动的微小变化。由于大多数固体材料的泊松比为0. 3[33]，影响运动的主要性质是杨氏我们的方法是基于这样的见解，即在一个对象的表面上的模式形状可以揭示这些属性的内部空间不均匀性。3.2. 单目材料估计我们先建立一个简化的逆问题.假设我们完美地测量所有模式u和频率ω，则通过等式1、我们有以下16233××^ ^您的位置：∥ −∥Σ。 ^Σ.ΣΣ^ℓ·∈杨氏模式KU不可见模自由报看到了贪婪的伊甸园MU不可见模自由报看到了贪婪的伊甸园不可见共振频率图2.材料属性的微小变化会影响运动。此处，圆形膜的一个小区域从“原始”到“原始+缺损”变得更硬此更改在所示模式中显示为轻微我们建议使用所观察到的模态运动的微小变化来恢复缺陷的位置和形状。最小化问题：K，M=arg minKU MU~2，（2）K、M2其中U是其列是模式u的矩阵，并且Λ是包含特征值ω2的对角矩阵。对于已知几何，这是关于K和M的凸问题。然而，Eq。2要求我们可以访问所有3D模式和频率。相比之下，我们将使用实验观察到的图像空间模式，引发以下挑战：1. 不可见自由度（DOF）。 我们通常只观察到物体的一小部分。例如，当用单目相机观察3D立方体时，人们最多可以看到投影到两个运动方向上的三个侧面考虑一个8x8x8的立方体网格，它有（8+ 1）3= 729个顶点。有三个运动方向，它有3729= 2187个总自由度。 但是，一个单一的单目视图的三个方面的立方体只能观察到217个顶点，在两个方向上的运动，共计2217 = 434图像空间自由度。仅这一点就限制了我们对8x8x8立方体观察不到20%2. 隐形模式。从理论上讲，对于离散网格，有多少自由度就有多少模态。然而，我们只能在低于相机的奈奎斯特采样率（FPS/2）的频率下捕获模式。3. 噪声除了相机噪声，还有运动提取的噪声，特别是在非纹理区域。由于数据有限，求解K和M的问题（方程。（2）不适定。[2]如图3所示，观测数据通常只占所涉及矩阵的一小部分。4. 方法图3.广义特征值方程（Eq. 1）定义了K，M和U，ω2之间的关系。矩阵U具有对应于模式的列和对应于DOF的行。向量ω2包含相关的特征值。我们希望在给出关于U和ω2的部分信息的情况下求解K和M。特征提取和图像空间模式识别，以及（2）求解与观察到的图像空间模式最佳匹配的材料特性输入是对象的视频，其网格是已知的，并且我们假设它在线性弹性下振动（即，小动作）。输出是两个3D图像，显示整个对象的体素化杨氏4.1. 从视频运动提取：由于我们的方法依赖于小的，通常难以察觉的运动，我们需要一种方法来从视频中提取为了量化位移，我们使用Wadwha等人的基于相位的方法。[47]，该方法计算复杂可操纵金字塔中的局部相移[34，39，40]。该方法具有优于其他跟踪方法（例如，光流）对微小运动的鲁棒性，低至0.001像素[11]。使用Fleet和Jepson [17，46]提出的方法将相移转换为像素位移。为了提高信噪比，我们过滤掉离群像素（即，位移幅度的前该步骤的结果是每个帧的运动场，其量化每个像素相对于第一帧的水平和识别图像空间模式：模式只是发生在特定频率的周期性运动，因此我们希望它们在运动幅度的功率谱中表现为峰值与之前提取图像空间模式的工作一样[10，12，13]，我们对运动场进行离散傅立叶变换，以在频率空间中分析它们。为了使这更具体，令x t（x，y）和y t（x，y）分别是帧t处每个像素（x，y）处的水平和垂直位移。这些位移场的跨时间的1D FFT产生复值的ΔxΔ（x，y）和ΔyΔ（x，y），对应于频率，ciesf =（FPS/T）Hz（对于[1，T]）。运动动力在频率f处，则被定义为“drop”2（下降，x我们的目标是使用视频的运动特征来估计材料属性。这包括两个阶段：（1）莫-2对于已知的几何形状和完整的模式和特征值信息，K和M完全确定到比例因子。ping（x，y）表示法以清楚起见）。功率谱中的峰值峰值fλ理想地对应于自然频率fλ，图像空间模式，由 Re ∆x ℓ∗，Rey.在网格顶点处采样图像空间模式：1.0差异-1.0diag（啊！2原件+原件缺陷16234Σ^^∥-γ^βiw，v∈RmMe是1我我的封闭形式解U=[u1. -是的-是的uk]，然后z=我我我我我在3D到2D投影矩阵附近，用户手动识别若干“参考”网格顶点的像素位置使用P，我们将所有网格顶点从其3D坐标映射到2D图像坐标。然后，我们在可见网格顶点的像素位置为特征值方程：（sK）u=ω2（sM）u。为了解决这种模糊性，我们选择最小化w与平均值w′的偏差。如果没有w′，则w′，v′ 的 相对差异将不会改变，并且对于缺陷表征，我们通常只关心相对变化。由此产生的优化问题写为：模式j，我们构造一个包含视界的向量γj-每个网格顶点在Q′w，v=arg min.αu介子P ui−γ^i（五）在q个网格顶点中，向量γj具有以下形式：2q其中，xi是水平（像素）位移，yi是αw2¨2αv′2¨2.Σme=1Σ2Σγj=[αx1，αy1，. -是的-是的 ，nxq′，nyq′，0，. -是的-是的，0]∈R、（3）+2百万瓦特2+2百万伏特2+MMwe/m−w<$顶点i的垂直（像素）位移。看不见的-S.T. K = weKe，M = veMe，标记的位移指定为0，对于符号我们把它们放在矢量的末端e=1Ku=ω2e=1i^iMu i，i = 1，. - 是的- 是的，k，4.2. 估计材料属性矩阵K和M是杨氏模量和密度的函数。虽然通常表示为全局矩阵，但它们可以分解为局部矩阵，局部矩阵随局部材料属性线性缩放。因此，K和M都可以写成“单位”局部矩阵的加权和。具体来说，我们体素化的体积包含- ING网格，使每个体素包含一个子集合的网格元素。给定每个体素的杨氏其中αu、αw和αv是平衡客观项的超参数。正则化权重（αw和αv）的影响将在补充材料中讨论。4.2.2优化策略如Eq.6，我们近似求解Eq。5通过问题的对偶公式化。Eq.中的特征约束5是太严格，直接执行，所以我们把它们作为二次处罚的对偶的权重惩罚项是一个对偶变量，我们应用对偶上升法K=weKe和M= veMe，（4）逐渐增加这些惩罚权重。其中Ke=1和e=1.Σk¨¨∗∗2我们使用FeNiCS[2]组装的trices，m是体素的数量。 这使得我们可以将K和M表示为：向量w，v∈Rm的函数。w，v= arg minw，v∈Rm2kK，M ∈Rn×nui∈Rn，i=1，.，KKi=12yi<$Kui−ω^iMui<$2（六）+αu4.2.1优化问题2K李普i=1-γ^αw2¨2αv′2¨2.ΣmΣ2Σ数据匹配目标： 假设我们有k模态的ob-其中，γi和ωi是第i个观察到的图像-+2百万瓦特2+2百万伏特2+ΣΣMMwe/m−w<$空间模态和固有频率。我们我想确定逐体素杨氏而密度值v，当组合成整体刚性时，S.T. K =weKe，M =veMe。e=1e =1度和质量矩阵，导致3D模式u1，. - 是的- 是的 这就是Eq。6是一个非凸问题，但它是二次的，同意γ。- 是的- 是的，γ当投影到图像空间时。对于固定的ui，它是关于w，v的二次函数，^1^k对于固定的w，v。我们的程序是迭代计算匹配目标是使Pui正规化：对于每个i。[w，v，步我们根据下式更新对偶变量：为了使解决方案定义明确，我们选择最小化w的总平方变化（TSV），v，这鼓励空间平滑。 而且由于yt+1=yt+η？Kt+1ut+1−ω^2Mt+1ut+1？、（7）我们同时估计刚度和质量，如果我们不限制材料属性值的范围，目标函数可以变得任意低;这是因为通过因子K22K2K，M ∈Rn×nui∈Rn，i=1，.，K相应的自然频率。假设我们观察到i=1e2我2由于我们不知道全场3D模式，因此需要将它们作为决策变量。直觉上，数据-2e=116235s缩放K和M仍然满足广义其中η >0是双变量更新速率。一旦决策变量收敛，我们就输出最小化解z=[w，v]。w和v是按体素估计的杨氏16236×≥5. 模拟实验我们测试我们的方法上的模拟振动的三维立方体的5.1. 创建合成数据立方体模型：我们将立方体建模为10x10x10的六面体网格，类似于体素网格。每1000 vox-els被分配一个杨氏选择的材料特性分别类似于果冻和粘土（E果冻= 9000Pa，ρ果冻= 1270kg/m3，E粘土= 5 106Pa，ρ 粘土= 7620kg/m3）。我们设置齐次泊松比ν = 0。3[33]。振动动画：一旦立方体分析计算立方体我们选择一个初始条件，模仿“采摘”立方体的一个角落（例如，初始位移矢量（0. 5，0。5，0。5）厘米的顶部前角），并保持底面固定。由此产生的模拟表示自由振动与Dirichlet边界条件。模拟时间为6秒，每秒2000帧。根据计算的位移，我们通过使用matplotlib绘制立方体表面上随机点的运动来创建立方体随时间变形的动画[24]。5.2. 实施和评估详细信息模式选择：我们使用scipy4.1.对于给定的模拟，这导致大约20大多数峰值对应于真实模式或真实模式的线性然而，一些峰值并不对应于真实模式;我们在合成结果中包括这些假模式，以最好地模拟真实视频的分析。推理立方体网格：我们在8x8x8的六面体网格上进行推理。由于模拟是用10x10x10网格完成的，因此我们的结果表明对轻微网格不匹配的鲁棒性。在给出的结果中，仿真模型和推理模型使用线性元素。超参数：对于每个来自模拟数据的结果，αw=10−10，αv=10−7，w<$=9000。保持这些超参数不变，我们在12个具有各种缺陷的立方体的数据集上运行超参数搜索，以确定α u的良好值（等式11）。6）和η（Eq. （七）.在测试αu∈ {1，10，100，1000}和8种模式10种模式15种模式20种模式True（一）相关系数= 0.440.490.670.730.720.740.680.70（b）第（1）款0.280.320.430.420.460.450.51零点五一图4.具有不同缺陷的两个合成立方体的重建。给定的运动提取的图像空间模式的范围从8归一化相关一般随着模式数量的增加而增加。(b)由于缺陷较小且更靠近立方体的底部，在那里没有运动，因此更容易判定变量w和v分别被初始化为9000 [Pa]和1270 [kg/m3]的均匀值（原始材料的真实值）。评估：我们的方法恢复了材料性能的相对变化（见第二节）。4.2.1）。因此，估计的杨氏模量和密度的归一化3D图像应当匹配真实的归一化性质。我们使用估计图像和地面实况图像之间的归一化相关性作为重建分数。评估估计特性的另一种方法是验证它们产生与真实特性相同的图像空间模式和自然频率（见补充材料）。5.3. 结果图4示出了具有出现在不同位置处的缺陷的两个不同立方体的结果。这些结果是从嘈杂的，运动提取的图像空间模式。随着更多的模式被观察到，逆问题变得更好地约束，锐化内部缺陷的图像。还要注意，靠近立方体顶部的缺陷比靠近底部的缺陷更容易识别。这是因为立方体的底部是固定的，因此提供较少的运动信号。复杂几何形状：为了演示更复杂几何形状上的方法，图5显示了斯坦福兔子[44]材料属性我们将包含兔子的四面体网格3的体积体素化为8x8x8网格，并将每个网格元素匹配到元素到最近的体素，导致每个体素大约21个元素。η∈ {0. 1，0。5，1，2，5，10}，我们决定设置αu= 10，如果输入模式的数量为10;否则，αu= 1。对偶变量y总是初始化为1，其中η= 1。的3兔子表面网格来自www.thingiverse.com/ thing：151081，四面体化是用TetWild [23]完成的。16237y = 1y = 2y = 3y = 4y = 5y = 6y = 7y = 8y = 9y = 10（一）真侦察阻尼对数功率谱7种不同的模式相关系数= 0.26 0.4412种不同的模式图5.从（真实）图像空间模式重建斯坦福兔子。显示了沿y轴的体素所示兔子的单目视图的20个真实图像空间模式用于该重建。接下来，我们考虑现实世界数据可能出现的一些挑战：几何不匹配和阻尼。更（b）第（1）款相关系数= 0.27 0.31在补充材料中提供了对模型失配的研究5.3.1几何不匹配图6显示了当推理网格的尺寸与立方体的真实尺寸不匹配时会发生什么。我们逐渐增加推断的立方体几何在x方向上的长度，从1到1.4倍的真实长度。缩放在一个方向上的长度的结果在一个逐渐退化的缺陷大小的估计。然而，即使有30%的几何误差，我们仍然能够区分出在立方体的中心区域存在缺陷。图7.从两个模拟阻尼立方体的重建。进行两种不同施力的模拟（在2000FPS下3秒）：（1）立方体的顶前角的小的初始位移（“顶前拨拉”）和（2）其顶后角的小的根据运动幅度的对数功率谱选择模式（在线图上标记为点）。不对称性在确定有多少个不同的模式是可观察的方面起着作用当立方体在其材料属性分布上变得更加不对称时，其重复的本征频率变得更加分离。由于（b）中的缺陷比（a）中的缺陷更偏离中心，因此在那些模拟中可识别更多不同的模式在（a）中，仅观察到7个图像空间模式，重建质量与图4一致，图4仅示出了真zzX1x 1.1x1.2x1.3x1.4x当给定8个模式时，粗略的缺陷重建（注：在（b）中，虽然观测到的模数大于10，但我们给出了αu=1而不是10时的重构。）我们发现，果冻立方体表现出显着的阻尼：从一个真正的视频，我们估计在12.5 Hz和0.01999在15.5 Hz的临界阻尼比为0.01749。通过COMSOL中的真实模拟，我们发现阻尼带来了更少的可观测模式的额外挑战我们可以通过从多个模拟中提取模式来增加观察到的模式的数量，图6.几何模型不匹配。从10个运动提取的图像空间模式，我们推断各种不正确的几何形状的网格，延长推断的几何形状的宽度的倍数的真实宽度。杨氏模量的计算结果5.3.2阻尼真实世界的对象表现出各种类型的阻尼，这可能会影响其模式的频率和相对相位。为了模拟阻尼，我们将瑞利阻尼纳入我们的合成立方体。我们的阻尼参数估计戴维斯和Bouman等人概述的程序。[11]，他们将洛伦兹曲线拟合到运动功率谱中的峰值以估计阻尼比。初始条件例如，“拔”立方体的顶后角将导致与“拔”其顶前角略有不同的模态表达式。图7示出了阻尼立方体的重构。从两种不同的采摘条件，我们能够提取76. 现实世界的实验为了证明我们的方法在现实世界中的潜力，我们将其应用于鼓头和果冻立方体的真实视频。通过鼓头，我们实现了重建，使人们能够辨别不同的缺陷形状，为缺陷发现和表征提供了概念验证，yXy密度侦察杨氏真真侦察16238条（凝胶）1圈（凝胶）1个圆圈（亚克力）2个圆圈（亚克力）5.4厘米之前之后之前之后之前之后之前之后图8.从鼓的真实视频重建。所示缺陷为凝胶条、凝胶圈、丙烯酸圈和两个丙烯酸圈，应用于鼓头的下侧。对于每个缺陷，我们记录了鼓缺陷前后的视频。人们无法在视频帧中看到缺陷，但在应用我们的方法后，我们能够将缺陷成像为刚度和密度的变化对于每种类型的缺陷，之后（凝胶棒）模式@78.35 Hz133.84赫兹58.40赫兹197.68赫兹94.31赫兹140.37赫兹84.87赫兹225.97赫兹105.19赫兹148.71赫兹119.33赫兹291.26赫兹120.06赫兹158.87赫兹161.04赫兹357.64赫兹从缺陷中获得更大的质量对于丙烯酸缺陷，这种变化仅出现在缺陷的边缘。这可能是因为丙烯酸圈比凝胶硬得多，凝胶会随着橡胶膜弯曲。这些结果表明，我们提出的方法不仅可以用于识别缺陷的存在，而且可以识别其形状。6.2.真实立方体为了进一步了解实际挑战，我们在一个真正的果冻立方体上进行了一项实验，图9.从鼓的真实视频中提取图像空间模式，在引入缺陷之前和之后。这里显示的缺陷仅显示垂直运动。我们的方法3D Jello立方体的阻尼对提取足够的图像空间模式用于高保真缺陷重建提出了挑战;尽管如此，我们能够识别立方体中的异质性。有关实验设置、推理模型和超参数的详细信息，请参阅补充材料6.1. 真鼓我们在真实鼓头的数据集上测试了我们的方法，每个鼓头在表面下都有一个缺陷。这些缺陷是由两种材料造成的：指甲硬化凝胶（涂在表面下面）或丙烯酸塑料圈（粘在表面底部）。尽管2D膜的所有自由度在视频中都是可见的，但求解材料属性仍然是不适定的，因为我们观察到有限数量的投影模式（见图2）。第9段）。结果：图8示出了包括缺陷之前和之后的各种鼓头的估计杨氏模量和密度。对于这两种材料，缺陷表现为刚度的亮区。有趣的是，凝胶和丙烯酸的密度估计不同对于凝胶缺陷，密度图中有一个明亮的填充区域，对应于-粘土缺陷该物体在两个方面比鼓形膜更具挑战性：（1）Jello的高阻尼，可能是由于其含水量，以及（2）立方体几何形状中不可见的DOF的大比例立方体的尺寸为4.9 x 4.7 x 4.5 cm，而矩形粘土缺陷的尺寸为2.2 x 2.9 x 1.4 cm。我们记录了立方体在不同初始变形条件下的三个视频（例如，在一个视频中，我们抬起并快速释放了立方体的顶部前角多个视频使我们能够识别更多独特的模式和平均重复的模式。我 们 创 建 了 两 个 与 真 实 Jello 立 方 体 可 比 较 的COMSOL模型设定果冻和粘土的杨氏模量值，使自然频率与观察到的一致。Rayleigh阻尼参数的估计方法提到的第二节。5.3.2. 如示于图10，具有缺陷的模拟立方体的COMSOL图像空间模式与从真实Jello立方体捕获的那些相似。结果：图11示出了我们的方法应用于Jello立方体的真实视频数据重建是使用六个独特的，运动提取的图像空间模式。正如我们在图中的发现所预期的那样。4和7，我们能够恢复只有一个大规模的估计材料- rial属性与六个约束模式。尽管如此，在真实的3D模型中识别出不均匀性之前密度+刚度16239房模拟8.06 Hz9.70 Hz 19.35 Hz21.49 Hz22.90 Hz31.93 Hz8.07 Hz 9.75 Hz 19.50 Hz 20.13 Hz 20.96 Hz 30.23 Hz图10.从具有内部粘土缺陷的果冻立方体的真实视频中提取图像空间模式（显示了从具有缺陷的立方体的COMSOL模拟识别的真实图像空间模式以用于比较（每个观察到的图像空间模式都有一个相应的模拟模式，在图像空间和本征频率上都相似。缺陷观视频帧151482391内部缺陷真实数据220727内部缺陷模拟数据均匀模拟数据模式的频率。对于振动低于100 Hz的大型结构 [26，30，36]，智能手机相机理论上提供了足够的时间频率。振动更快的物体需要高速相机。诸如通过频闪的时间混叠之类的技巧可以扩展相机的能力。将这种技术应用于现实世界的物体的主要挑战是捕获足够的图像空间模式，以高保真度恢复内部缺陷。阻尼导致可以执行的模式的数量减少。我们证明，阻尼果冻立方体，我们（一）（b）（c）仍然可以恢复一些信息，从只有六个图像-图11.从缺陷立方体和均匀立方体的真实数据重建与从模拟数据重建。所有重建都使用6种图像空间模式和相同的超参数，并使用相同的颜色映射图绘制。如图10所示，在（a）给出的模式和（b）给出的模式（a）比较类似于(b)而不是（c），表明有6个模式，我们可以区分有缺陷的立方体和均匀的立方体。用我们的方法。我们进一步将该真实数据重建与从均匀立方体和具有缺陷的立方体的模拟数据获得的重建进行比较，表明我们实现的解决方案与模拟缺陷立方体的解决方案相似，而不是与模拟均匀立方体的解决方案相似（图1）。第11段）。我们已经展示了一个在真实立方体上实现模拟质量的示例。需要做进一步的工作，以实现跨各种对象的一致结果。额外的摄像机视图是一个合理的、简单的解决方案。7. 限制我们的方法假定材料是各向同性的线弹性材料.只有当物体的运动很小时，线性弹性才能满足此外，我们假设几何形状是，至少粗略地，提前知道（见图2）。（六）。目前，我们已经用高速摄像机验证了我们的方法.我们还没有展示消费级相机的方法，带来额外的挑战，如图像压缩和噪音。通常，所需的硬件取决于幅度和频率。空间模式（第6.2节）。即便如此，在许多物体中，阻尼将构成更重大的挑战。今后，可以通过机械振动台激发模态来解决获取更多模态观测值的问题。8. 结论我们已经表明，即使在图像中看不到的区域中，也可以从单目视频中恢复3D对象的空间变化的材料属性。这可以通过将2D表面运动分解成图像空间模式，然后求解与观察到的模式一致的杨氏模量和密度值来完成我们在从2D鼓头到3D兔子的合成和真实世界观测数据上展示了我们的方法。我们的研究结果强调，单目视频是一种简单但功能强大的数据来源，用于了解我们周围物体我们相信，视频是进一步研究无损检测的一个很有前途的领域，将日常的视觉传感器变成材料表征的工具致谢作者要感谢Michael Rubinstein和Bill Freeman的有益讨论。这项工作由BP资助。B.T. F由NSF GRFP奖学金和Kortschak奖学金支持。C.D.和A.C.O. ac-知识支持来自DOE奖号DE-SC 0021358和NSF奖号一八三五七三五。+密度[kg/m3]杨氏模量[Pa]16240引用[1] COMSOL AB. Comsol multiphysics® v5.5. 5[2] Martin Alnæs ， Jan Blechta ， Johan Hake ， AugustJohansson ， Benjamin Kehlet ， Anders Logg ， ChrisRichardson，Johannes Ring，Marie E Rognes，and GarthN Wells.fenics 项 目 1.5 版 。 Archive of NumericalSoftware，3（100）：9-23，2015. 4[3] Sean Bell，Paul Upchurch，Noah Snavely，and KavitaBala. 野 外 材 料 识 别 与 上 下 文 数 据 库 中 的 材 料 在Proceedings of the IEEE Conference on Computer Visionand Pattern Recognition，第3479-3487页，2015年。2[4] 基 兰 S. 克 里 斯 托 弗 · 巴 特 作 者 ： Jessica K. 作 者 ：Hodgins，PradeepK. Khosla，ZoranPop o v ic'，andSt evenM. 塞茨从视频中估计布料模拟参数.在2003年ACMSIGGRAPH/EurographicsSymposiumonComputerAnimation，SCA戈斯拉尔，德国，2003年。欧洲制图协会。2[5] Bernd比克埃尔，莫里茨B？cher，米格尔一Otaduy ， Hyunho Richard Lee ， Hanspeter Pfister ，Markus Gross，and Wojciech Matusik.设计和制造具有所需 变 形 行 为 的 材 料 。 ACM Transactions on Graphics（TOG），29（4）：1-10，2010. 2[6] Katherine L Bouman ， Bei Xiao ， Peter Battaglia ， andWilliam T Freeman.从视频中估计织物的材料属性。在IEEE计算机视觉集，1984-1991页澳大利亚，2013年。美国电气与电子工程师协会。2[7] Justin G Chen，Robert W Haupt，and Oral Buyukozturk.纤维增强聚合物加固混凝土结构不连续性非接触检测的声激光振动测量技术。材料评价，72（10）：1305-1313，2014。2[8] 贾斯汀G陈，尼尔Wadhw a，Young-JinCha，弗雷杜兰德，威廉T弗里曼和口头Buyukozturk。通过高速摄像机视频识别结构模态：运动放大.模态分析专题I，第7，第191-197页。施普林格，柏林，德国，2014年。2[9] TC Chu，WF Ranson和Michael A Sutton。数字图像相关技术在实验力学中的应用。实验力学，25（3）：232-244，1985. 2[10] 放大图片作者：Katherine L.作者声明：Justin G. Chen，MichaelRubinstein，OralBué yué koé ztué rk，Fre'doDurand，andWilliam T.弗里曼。视觉振动测量：从视频中的微小运动估计材料属性 IEEE Trans. 模式分析马赫内特尔，39（4）：732-745，2017. 二、三[11] Abe Davis ， Katherine L Bouman ， Justin G Chen ，MichaelRubinstein ， FredoDurand 和 WilliamTFreeman。视觉振动测量：从视频中的微小运动估计材料特性。在IEEE计算机视觉和模式识别会议论文集，第5335- 5343页，美国马萨诸塞州波士顿，2015年。美国电气与电子工程师协会。二、三、六[12] 阿贝·达维斯，贾斯汀·G·陈和弗雷·杜兰德。视频中对象的合理操作的图像空间模态基。ACM Transactions onGraphics（TOG），34（6）：1-7，2015. 二、三[13] Abe Davis 、 Michael Rubinstein 、 Neal Wadhwa 、Gautham Mysore、Fredo Durand和William T.弗里曼。可视麦克风：从视频中被动恢复声音。ACM Transactionson Graphics（Proc. SIGGRAPH），33（4）：79：1-79：10，2014。二、三[14] Franz Durst，Adrian Melling，and James H Whitelaw.激光多普勒测速原理与实践。NASA STI/Recon技术报告A，76：47019，1976年。2[15] Timothy Emge和Oral Buyukozturk。复合材料-钢界面声激光振动法远程无损检测。材料评价，70（12）：1401-1410，2012年。2[16] JoaJazoFeiteira ， EleniTsangouri ， ElkeGruyaert ，ChristineLors，Ghislain Louis，and Nele De Belie.以数位影像相关、声发射分析及扫描电镜原位加载监测聚合物基自愈合混凝土之裂缝移动。材料设计，115：238-246，2017。2[17] David J Fleet和Allan D Jepson从局部相位信息计算分量像 速 度 。 International Journal of Computer Vision ， 5（1）：77-104，1990. 3[18] Dora Foti，Mariella Diaferio，Nicola Ivan Giannoccaro，and Michele Mongelli.某历史塔楼的环境振动测试、动力NDT e International，47：88-95，2012. 2[19] NS Ha，HM Vang和NS Goo。数字图像相关技术模态分析 ： 在 仿 甲 虫 后 翅 人 工 翼 中 的 应 用 。 ExperimentalMechan-ics，55（5）：989-998，2015. 2[20] 还有埃姆雷·哈曼奇、乌特库·古兰、马库斯·霍尔茨内和埃莱尼·查齐。通过视频记录进行三维结构识别的新方法：磁共振跟踪。传感器，19（5）：1229，2019。2[21] 杰弗里·D·赫尔姆多裂纹扩展试件的数字图像相关。实验力学，48（6）：753-762，2008. 2[22] Yun-Xian Ho ， Michael S Landy ， and Laurence TMaloney.照明方向如何影响视觉感知的表面粗糙度。视觉杂志，6（5）：8-8，2006年。2[23] Yixin Hu，Qingnan Zhou，Xifeng Gao，Alec Jacobson，De- nis Zorin， and Daniele Panozzo. 四面 体网 格在野外。ACM事务处理图表，37（4）：60：1-60：14，2018年7月。5[24] J. D.猎人Matplotlib：一个2D图形环境。计算机科学与工程，9（3）：90-95，2007. 5[25] Meekyoung Kim ， Gerard Pons-Moll ， Sergi Pujades ，Seung-Chung Bang，Jinwook Kim，Michael J Black，and Sung-Hee Lee.人体软组织动画的数据驱动物理学。ACM Transactions on Graphics（TOG），36（4）：12[26] Ali R Kolaini，Walter Tsuha，and Juan P Fernandez.航天器振动试验：益处和潜在问题. 飞机和航天器科学的进展，5（2）：165，2018。8[27] 刘策，拉万尼亚·沙兰，爱德华·H·阿德尔森，露丝·罗森霍尔茨。材料识别的贝叶斯框架中的特征探索。2010年IEEE计算机协会计算机视觉和模式识别会议，第239-246页IEEE，IEEE。2[28] 威廉·麦克弗森、马克·里夫斯、大卫·P·托尔斯、安德鲁·J·摩尔、朱利安·DC·琼斯、马丁·戴尔和克雷格·爱德华兹。用于模态分析的多点激光测振仪。应用光学，46（16）：3126-3132，2007. 216241[29] M Martarelli，GM Revel和C Santolini。用扫描激光测振仪进行自动机械系统与信号处理，15（3）：581-601，2001年。2[30] T.J. Memory、D.P. Thambiratnam和G.H.布拉梅德桥梁自振分析。工程结构，17（10）：705-713，1995. 8[31] Eder Miguel、Derek Bradley、Bernhard Mesaszewski、Bernd Bickel 、 Wojciech Matusik 、Miguel A Otaduy和Stev
我的内容管理
展开
