没有合适的资源?快使用搜索试试~ 我知道了~
动态三维重建中的时空关系和几何性质
1548动态三维重建Xiangyu Xu,Enrique Dunn美国新泽西州霍博肯市史蒂文斯理工学院{xxu24,edunn}@ stevens.edu摘要我们提出了一个通用的范例,从多个独立的和不受控制的图像源具有任意的时间采样密度和分布的动态三维重建。我们的图论公式模型的时空之间的关系,我们的观察在其3D几何形状和离散拉普拉斯算子的联合估计。为此,我们定义了一个三凸优化框架,该框架利用了欧几里得形状空间和描述其局部和全局拓扑的离散拉普拉斯算子之间的几何性质和依赖关系。我们提出了一个可重构性分析,实验上的运动捕捉数据和多视图图像数据集,以及探索应用于基于几何的事件分割和数据关联。1. 介绍基于图像的动态重建解决了非静止场景元素和观测它们的传感器之间的时空关系的建模和估计。这项工作解决了估计几何形状(即,欧几里德坐标)的时间演化的3D点集,其使用具有已知成像几何形状的非同步2D特征观测作为输入。我们的问题,跨越了轨迹三角测量和图像序列,自然出现在不协调的分布式捕获事件的背景下(例如,众包图像或视频),并强调了一对开放的研究问题:如何以数据依赖的方式表征和建模观测之间的时空关系?可用的空间和时间先验在估计过程中可能扮演什么角色(如果有的话)这两个问题的答案都与用来定义时间关联的抽象层次以及赋予我们的观察的解释范围紧密相关。 更具体地,时间抽象级别可以是定量的或有序的(即,捕获时间戳与时间戳)。排序),而假设的范围可以是特定于域的(即,时间采样周期性/频率、形状/轨迹基础的选择)或图1:多视图捕获产生一组无组织的2D观察结果。我们的图形配方的动态重建联合估计测序和3D几何。图像改编自[27]。跨域(基于物理的运动估计先验)。估计我们观测的绝对或相对时间值将需要对观测到的场景动态和/或采样时间信息的可用性(例如,图像时间戳或采样频率先验)。在没有这样的信息或先验知识的情况下,我们努力估计观测序列的基础上定义的成对的亲和力测量数据依赖的邻接关系为此,我们做出以下假设:A1)2D观测是3D点集的连续运动的样本;A2)(未知的和任意的)时间采样密度允许3D几何形状的近似局部线性内插;以及A3)时间接近意味着空间接近,但反之亦然(例如,重复或自相交运动)。在这样的原则下,我们可以解决由不同步的图像流组成的多视图捕获场景,或者更一般的1549不协调的异步摄影。我们解决了一个字典学习实例,具体的微分几何模型,其中每个字典原子对应于一个3D估计,而稀疏系数的集合描述了我们的观测之间的时空关系。我们的贡献是:• 动态侦察的图论公式结构问题,其中映射对于节点,3D几何是节点属性,时空亲和度对应于图的边。• 时空优先权的定义和实施(例如,各向异性光滑,拓扑com,紧凑性/稀疏性和多视图可重构性)。• 整合可用的每个流(例如,视频内)排序信息到全局排序先验中,Laplacian Spectral Signature的缩写。2. 相关工作在没有时间信息的情况下的动态重建是一个欠约束问题,类似于单视图重建[5,6,18,29,28,24]。轨迹三角测量中的一些现有工作在已知的排序信息和/或受约束的运动先验的假设下操作。沿着这些路线,Avidan和Shashua [6]从约束于线性和圆锥运动的点的2D观测估计动态几何形状。然而,在密集时间运动采样的假设下,已经成功地利用了运动平滑度的概念[25,26,45,46,35,42,43,36,30,31]。Park等人[25]通过直接余弦变换轨迹基与重投影系统的约束的线性组合来三角化3D点轨迹当基的数量不足和/或对象与相机之间的运动相关性大时,这种轨迹基方法具有低的可重构性。在[26]中,Park et al.通过N重交叉验证方案选择碱基数。Zhu等人。[45]将L1范数正则化应用于基系数,加强基的稀疏性,提高重构能力通过包括需要用户交互的少量关键帧。Valmadre等人[35]通过根据基零空间设置增益阈值来减少轨迹基的数量,并提出了一种使用高通滤波器来减轻不具有丢失的2D观测的场景的低可重构性的方法。Zheng等人[43,42]提出了一种字典学习方法来估计具有部分排序信息的3D形状,假设3D几何估计可以通过局部重心插值来近似(即,自表达运动先验),并开发了一个双凸框架,用于联合估计3D几何形状和重心权重。然而,自表达残差的统一惩罚和促进对称的权重系数,阻碍了该方法对非均匀密度采样。Vo等人[36]第三十六话调整,其使用显式物理先验联合优化相机参数、3D静态点、3D动态轨迹和相机之间的时间对准,但需要帧精确的初始时间偏移和低2D噪声。在NRSFM背景下开发更详细的时空模型的努力包括[2,3,4]。时间对齐是大多数动态3D重建方法的必要预处理步骤。当前的视频同步或图像排序[8,21,39,23,14,9]依赖于图像2D特征,而不是3D结构的恢复。像[8,39,33]这样的基于测序的方法对底层成像几何结构做出不同的假设。例如,虽然[8]倾向于近似静态成像几何结构,[39]倾向于使用大基线的查看配置。Basha等人[21]克服了静态相机的限制,并通过利用各个相机中帧的时间信息来提高精度。Padua等人[23]通过将问题框定为将N个观测映射到RN中的单条线来确定部分有序观测集之间的时空对齐,这明确地施加了全排序。与先前的方法不同,Gaspar等人[16]提出了一种不跟踪视频序列之间的对应特征的同步算法。相反,它们通过两个刚性 物体之间的相 对运动来同步 两个视频。Tuytelaars等人[34]基于仿射参考系下的观察光线的近似3D交叉来确定排序Ji等人。[19]联合同步一对视频序列,并通过最大化跨视频序列的两视图像素对应的时空一致性来重建它们通常观察到的密集3D3. 基于图的动态重建对于具有已知观看参数的单个图像中的一组2D观察,存在符合针孔相机模型的无限组似然3D几何估计我们证明,对于平滑3D运动的异步多视图动态重建,对每个3D估计的约束可以用其时间邻域来表示也就是说,我们的目标是在不依赖于特定于实例的空间或时间模型的情况下,在连续的3D观测之间执行空间一致性。正是在这一点上,我们遇到了一个先有鸡还是先有蛋的问题,因为我们需要在不受控制的异步捕获w/o时间戳或采样频率先验的上下文中定义时间邻域的概念。为了解决这个难题,我们使用空间接近度作为时间接近度的代理,这(如我们的第三个假设所规定的,即A3)不是普遍正确的。此外,考虑到观察到的事件为此,我们提出了动态三维重建15502离散微分几何的概念。3.1. 符号和预备我们考虑在具有已知的内在和外在相机矩阵Kn和Mn的N个图像{In}中观察到的P个动态3D点{XP}。Xp在In中的2D观测值由xn,p表示,而其3D位置由Xn,p表示。欧几里得结构矩阵所有图像中所有3D点的位置由矩阵表示X11. . . X1P用于它们的联合估计的优化框架。在实践中,L用一个函数α(·)来描述给定结构X的拓扑。值αij构成与3D形状相关的亲和矩阵Ai j在帧i和j处观察到。这些单独的值是通过在我们的优化框架内估计D和W变量来确定的因此,亲和度α函数将不会被显式定义,而是其值将从我们的优化结果中实例化,这建立在以下几何观察的基础上。X= X。. . ..(一)备注1(各向异性平滑度先验)。 的范数X N1。. . X NP其中每个行向量 Xnp∈R3 指定点的3D 每个矩阵行Xn,:∈R3×P,表示帧n中P个点的3D形状。结构运动图。 我们定义一个全连通的拉普拉斯算子加权)平均φ( vji)在其局部邻域。这是从逐点拉普拉斯定义ΣN图G=(V,E),并将每个输入图像In映射到顶点[LX]i,:=(φ)(vi)=Aij[φ(vi)−φ(vj)](4)Jvn∈V。一个多值函数φ(·)将一个顶点x映射到一个在形状空间中的点,允许解释X =[φ(v1);。 . . ;φ(vN)]. 边权值eij∈E由一个与形状空间中的点相关的函数α(·)确定,使得eij=αij=α(φ(vi),φ(vj)).离散拉普拉斯算子拉普拉斯算子是n维欧氏空间中的二阶微分算子,在笛卡尔坐标中等于未混合的二阶偏导数对于一个加权无规图G=(V,E),离散Laplace算子定义为Laplace矩阵:这意味着近似线性的3D运动段允许从少至两个相邻3D运动样本进行精确的重心内插相反,对于差地近似的非线性运动段的惩罚可以通过度值朝向亲和度值的乘法贡献来减轻,即,Aij= DiiWij注释2(折叠邻域先验)。拉普拉斯二次型的迹L=L[A]=D−A=diag(A·1)−A(2)N2其中A是图tr(XLX)=Aij||φ(vi)−φ(vj)|| (五)i、j值Aij对应于边权eij∈R≥0,D是图1L是半正定的,得到x<$Lx≥0,<$x∈Rn.方便的时候我们证明了L对A的显式依赖性。亲和矩阵分解成对亲和函数α(·)(与我们的3D估计相关)根据估计的条目Aij隐式定义。重要的是,这些亲和力值还编码图连接的,连接的这意味着全局亲和性的稀疏性,而非零Aij值意味着3D样本Xij和Xij之间的接近度。备注3(光谱测序先验)。V到向量f ∈ R N的任何线映射构成图的顶点的排序。因此,当f是已知的常数时,在仿射保持映射中,f的非平凡最小化将在L中产生近似在f中编码的仿射的条目。这一点源于ity)。给定先验未知的拓扑和分布在我们的3D评估中,我们做出以下设计选择:ΣNfL f=Aiji、j(fi-fj)2(6)1)不假设A是对称的,从而产生有向结构图。2)我们明确 地 对 分 解 A=DW 进 行 建 模 , 其 由 等 式 2 得 出 。(二)、L=D −A=D(I −W)(3)这种分解从相对亲和度权重中对每个节点的度值(用D编码)进行了估计节点的局部邻域的值这意味着通过将L3.3. 优化成本函数基于离散的拉普拉斯算子。公式表示优化问题:3.2.几何原理minX,LS(LX)+TX LX+R(L,Θ)+O(X,Θ),(7)我们利用我们的3D运动估计X及其离散拉普拉斯算子L之间的相互依赖性,通过[1][15,38,41,32,44,10,12]中使用了替代定义其中,Θ ={{xnp},{Kn},{Mn}}表示所有输入2D观测及其相机参数的聚合。每个成本函数项都涉及我们优化的一个特定方面。S(·)促进局部平滑,T(·)促进局部平滑,155122n nnpF加强邻里关系。对于有向图,我们定义拉普拉斯二次型的迹为↔tr(X<$ LX)=↔ΣNi、jAij||Xi,:−Xj,:||2(九)其中L=L[A+A]组合了外阶和次阶拉普拉斯矩阵,并且符合等式2中的定义。(五)、N×N矩阵X<$L[A+A<$]X的对角项是φ()的每个维度的拉普拉斯二次型,并且T在Eq.中的函数形式(7)由它们的总和给出:T. X<$LX<$=λ1<$NDW||X−X||2(10)Pi,jii iji,:j,:2图2:备注1和2的几何形状。在顶部:箭头表示选定的相邻样本,虚线表示其凸包。底部:对应的图边结构。线性拓扑结构,R(·)能增强光线间的一致性,而O(·)能减少重投影误差。为了简单起见,我们用以下术语定义问题变量:的L和X。然而,给定L对A的显式依赖性,我们将重新定义方程的联合优化。(7)将其归结为X、D和W上的三凸优化问题。接下来的两个部分描述了功能模型(S,最小化Tw.r.t. X(即固定A)吸引相邻元素的估计φ(vji)接近φ(vi)。相反,最小化Tw.r.t. A,促进选择附近的节点以形成紧凑的邻域,如由下式定义差向量的幅度的加权和φ(vi)−φ(vj/=i),<$Aij0的情况。强制观察光线约束。我们使用以下公式惩罚3D点Xnp到其已知视线的距离:||(Xnp−Cn)×rnp||2,其中rnp是平行于维翼射线RK−1[x<$1]的单位向量1]摄像机姿态参数由Mn=[Rn|− RnCn][43].从方程O的函数形式。(7)是T,R和O)在等式中使用。(7),估计的结构,操作变量(X、D和W)以及适用O(X,Θ)=N,Pλ2||第二章,(十一)||2,(11)n,pNP给他们.我们提出了我们的一般框架的两个变体分别解决{In}的元素上的全局时间排序先验的不存在和估计。4. 解决异步摄影我们考虑一个无序的图像集{In},并依赖于折叠邻域先验来估计亲和度函数矩阵,其连通性近似于链式结构连通性。我们解释这样的连接时间顺序关系,我们的观察。强制各向异性平滑。所述函数形式它是X的二次函数λ2的值取决于2D噪声水平和相机到场景的平均距离。实施多视图可重构性。查看几何图形在我们的3D估计的整体准确性中起着决定性作用(详细分析见第7节)。直观地,对于中高2D噪声水平,选择具有小基线的时间相邻相机将放大3D估计误差。为了促进在对应于相同特征轨迹的观看光线中具有有利会聚角的相机的选择,我们从等式(1)定义R(7)作为S(LX)=1||D(I-W)X||2P(八)λ3<$N,N,PR(L,Θ)=(D,NPi,j,pWij (rip·RJP(12)定义Eq的第一项。 (七)、 最小化Sw.r.t. X将函数值φ(vi)吸引向凸包de-在其局部邻域中,由所有φ(vj/=i)来精细化。比较,最小化Sw.r.t.L(即,D,W)促进其映射φ(v,j=i)满足重心插值这里,选择指的是在亲和矩阵中分配非零值Aij。W的每一行中的值(即,表示Vi的相对亲和度权重。因此,我们强制1)每行的和等于1,以及2)W中所有条目的严格非负性。此外,D表示有向图中每个节点的出度,类似于全局密度估计。我们将节点度值与W中的相对亲和度权重解耦。我们严格执行正度值Dii≥1,需要连接到至少一个相邻节点。15525. 解决不同步的图像流给定由多个图像流的聚合组成的图像集,我们确定部分排序(即,在不相交的图像子集内)。我们以两种不同的方式使用此信息:首先,我们从一个共同的流连续观测之间的空间平滑。其次,我们将不相交的局部序列整合到我们通过优化中。增强序列内一致性。我们定义W=Wvar+Wprior,其中Wvar构成我们估计的可变分量,而Wprior编码小的加性来自同一图像流的紧接在前的帧和紧接在后的帧的值。塌陷邻域先验将强制这种伪相邻3D估计相似。1553(a)与DTW匹配(b)弧距⊤λ1线性运动非线性运动重复运动X初始化X选择X初始化X选择X初始化X选择SrZE0.99560.99960.98070.99910.67540.7140Z0.996510.957010.97110.9934MDSZE0.994310.76140.70440.64210.6553Z0.996110.874110.93160.9732SHPZE110.43680.99960.33290.7912Z110.53250.99960.39470.7934图3:不同图像流中相同3D点的两个观测值之间的弧距离操纵L的光谱特征。对于给定的全局排序先验,以线嵌入f∈RN的所有图节点,我们修改方程。(10)是表1:Kendall秩相关与地面实况排序用于从初始和估计结构获得的测序这些方法对Z和欧几里德距离矩阵ZE进行操作,这两个矩阵都是从Xinit和Xopt计算的,X init和X opt分别表示初始3D结构和优化后的估计3D结构。.ΣΣN不fLf=D W(f-f)2.(十三)Pi,jIIIJIj6. 优化我们现在描述如何确定这样的线嵌入f。整合全局测序优先级。我们的目标是整合初步(例如,初始化)几何估计,Xinit,具有可靠但部分的测序信息(例如,单个视频帧定序)转换为全局定序先验。为此,我们将来自给定3D结构X的图像排序作为降维实例,其中目标是找到一个线映射,该线映射(尽可能多地)保留3D估计之间的成对邻近关系。虽然使用欧几里德距离作为成对接近度量适用于近似线性运动,但非线性运动流形(即,重复的或自相交的运动)可以将时间上远距离的观察折叠到线嵌入中的近距离位置。当量(7)是可变块X、W和D的三凸函数。我们使用ACS [17]策略,在固定其他两个变量块的同时对每个变量块进行优化对于第一次迭代,我们初始化D和X(待描述),然后我们以W、D和X的顺序交替地优化每个可变块,直到我们的成本函数在连续迭代中(阈值化)收敛。在X上优化。而可变块W和D是固定,成本函数(7)是块X没有任何限制。该二次规划问题的解是在成本函数的导数的零点处找到的变量值的集合。优化。 在西部。X和D固定,最小化S(LX),TX<$ LX,O(X,Θ)和R(L,Θ),通过动态时间弯曲的弧距离。 我们-内的形状的精细近似3D轨迹弧距离序列图像流,作为3D线段的总和产生W的二次方程、线性方程和常数值,使得成本函数为W的相邻观测值之间的长度,见图。3a.为了在图像流中推广这一概念,我们执行全局min1||D(I-W)X||2+λ1Di iWij||Xi,:−Xj,:||2通过动态时间规整(DTW)的近似序列间配准。我们的目标是分配给每个3D估计-WPFP2IJλ3<$N,N,P2沿着轨迹a匹配ta最近的线段(tb,tb)+(DiiWij(rip·rjp))i j j+1NPi,j,p在每个其他轨迹b a中,不违反任何S.T. W1N×1=1N×1,W≥0在我们的任务中的排序约束,我们定义t a→(t b,t b)t a→(tb,t b)ab(14)(十五)W的每一行都是独立的,并作为二次方程求解。i j j+1k>iLJl+1一旦完成所有分配,序列间弧长在ta和tb之间,简单地计算为1)dis-线性约束规划问题我们优化在[11]中,通过有效集方法并行地每一行。I l在线段(tb,tb)中对元素tb的距离)最接近在D上优化。 当X和W固定时,优化中国+1到tb,加上2)序列内弧之间的距离当量(7)得到一个关于对角线的bl值D.我们优化与Eq相同的方程(15)但t和tb。图3b示出了到点的弧距离,la b具有线性约束{tr(D)= 1,D≥0},将在ti和tl之间,作为绿线的长度。降低失真的方法。我们使用弧长来定义成对距离矩阵Z,从中我们得到通过谱排序(SR)[15,13]和多维尺度(MDS)[1],得到一个向量嵌入f∈Rn排序是通过对f进行排序来实现的。或者,我们解释Z作为一个完整的图度和为1。当优化W或D时,矩阵X由向量f替换,向量f通过以下之一从X的当前估计计算:前面描述的降维方法(例如,应用于Z的MDS)因此,第二项变为配对最短哈密尔顿路径(SHP)。表1比较ParticipantNf=IJDiiWij(fi−fj)2(16)N1554n,::,n2Fn,::,n2当使用MDS作为降维方法时,f近似地保留了成对的弧距离,允许在等式1内直接实现。(十六)、当使用SR时,f对应于图的Fiedler向量,其条目值的范围从-1到1;需要均匀缩放以便匹配当前结构估计X的范围。初始化。我们将度矩阵初始化为Dii=1/N。我们初始化在In中观察到的3D结构Xinit,通过每个vie wing射线rnp与其对应的vie wing射线r np=n,p的近似两视图伪三角剖分来初始化。从最收敛的图像Im,最小聚合伪三角测量误差,考虑到所有常见的观察点。7. 结构重建精度。我们分析了Lapalacian线性和二次形式如何影响我们对X的估计的准确性,假设:1)L是固定的,2)对地面真实时间邻接进行编码,以及3)无噪声的2D观测。这是一种optimize-ing方程(7)当省略项O和R时,得到邻点。类似地,LX中的每一行也将是局部运动平面上的向量。对于密集采样下的平滑运动,连续局部运动平面的三元组可以由公共3D平面πn近似。↔因此,向量L<$LX<$+λ1Ln,:X<$将包含在πn中,产生较小的bn值作为πn,并且观察射线rn接近正交。在图4c中,我们考虑由具有恒定会聚角的两个相机观察到的指向运动中心的圆周运动。在这种配置中,||-1和||B− 1||2是接近ly常数。||2are near l y constant. 我们改变角度β之间的观察方向和运动平面πn。图4d示出了对于接近正交于运动平面的观看方向获得更精确的重建。8. 实验8.1. 运动捕捉数据集我们合成了31个关节的人体3D运动的2D特征,帧速率为120 Hz [22]。我们选择了10个样本运动,每个平均有300帧。我们使用minX1||LX||2个以上Pλ1tr(XP↔(17)作为地面实况动态结构的3D关节位置并将它们投射到四个虚拟相机上的每一帧,我们将地面真值结构表示为X,由于每个点都是独立估计的,因此我们分析每个形状一个点的条件然后,X作为沿着观察光线的点是Xn=X n+l nrn,其中未知变量l n是沿着观察光线距地面实况的有符号距离,并且|L|是重建误差(即,深度误差)。当量(17)是一个无约束二次规划问题,通过将对l的导数设为零来求解;得到:Bl=b(18)好吧好吧. .r ⊤r参与者1.1N12D观察。 所有摄像头都有1000×1000分辨率,1000焦距,距离为3运动中心周围的距离四台摄像机不同步,帧速率高达30 Hz。精度通过平均3D重建误差来量化。我们的方法离散拉普拉斯算子估计(DLOE)与自表达字典学习(SEDL)[43],轨迹基(TB)[26],高通滤波器(HPF)[35]和第二节中的伪三角测量方法进行了比较。6. SEDL需要部分测序信息。TB和HPF需要完整的地面实况测序。我们包括一个版本的我们的B=(L L+λ1 L).. . ..r r N. . . r rN中国(19)通过强制执行利用地面实况排序的W的结构约束类似于HPF。1N参与变化的2D噪声。我们在2D观察上添加白噪声bn=(L<$LX<$+λ1Ln,:X<$)rn( 20)其中B是N×N矩阵,b是N×1向量,其第n个bn,L:,n表示L↔并且Ln:表示第n行。从等式(18)我们要做到重建误差的下限和上限,||−1||B||2≤||L||2≤||B−1||2||B||2||2(21)成像几何收敛。我们考虑两个摄像机交替捕捉运动序列,放置在离运动中心C足够远的地方,使得所有关节的视线会聚角可以近似为摄像机到运动中心之间的角度θ如图4a所示,我们将θ从0变化到π,并评估重建误差和上界,如图4a所示。4b随着观察光线接近正交性而减小。↔3D运动可观测性 向量Ln,:X,在等式中(20),1555n,:关于Std dev.从1到5个像素。 参数λ2和λ3固定为0.0015和0.02。根据图5a,重建精度随着2d观测误差的增加而降低我们的方法与需要测序信息的框架(如TB和HPF)相比具有竞争力改变帧速率。我们对运动捕捉数据集进行时间下采样,并在30 Hz,15 Hz和7.5 Hz的帧速率下进行实验,没有2D观察噪声。如图5b,在没有排序信息的情况下,我们的方法在较低帧速率下优于SEDL。使用完整测序信息的方法的结果是相当的。数据缺失。在投影到虚拟相机之前,我们随机抽取总3D点的10%到50%。重建误差比较仅限于SEDL和肺结核,因为其他方法不能恢复缺失的关节。根据图5c,我们的方法具有较低的重建误差,位于由X射线构成的局部运动平面上,是所有缺失的数据水平,与部分155614000||B||1012120002重构误差||B||-1个||B||10622-110000||B|| 2 ||B||2/10个800060004000200000 0.20.40.60.81cos()(c)入射角β(d)b项分析3.50.910.60.830.70.52.50.80.60.420.60.50.40.31.50.40.30.210.20.20.50.10.10123 4503015七点五30157.530帧速率(Hz)157.501020304050010203040502d高斯噪声的标准缺失关节丢失帧(a)噪声水平(b)帧速率(c)缺失点(d)非均匀密度图4:在(a,b)中指定的误差界限方程。(21)当相邻的观察光线接近正交时,变得“更紧”,并且重建误差减小。 在(c,d)中,当角度β接近π/2时,重建误差和||B||2下降。图5:不同条件下运动捕捉数据的重建误差据报平均处决20多(a)变戏法的(b)爬(c)滑雪数据类型运动类型求解器类型数量的相机帧数联署人数帧速率Kendall秩相关杂耍者非同步视频重复运动DLOE+MDS+W既往480186.250.8816爬非同步图像线性运动DLOE+MDS+W既往52745N/A0.8689滑雪非同步视频非线性运动DLOE+MDS+W既往613717N/A0.9526图6:多视图图像捕获实验。所有数据集均无并发观察结果。测序信息和具有完整测序信息的TB。密度不均匀。我们从运动序列中随机丢弃总帧的10%到50%。与我们的方法相比,其他方法的重建误差不成比例地增加,如图所示。5便士执行运行时间。在Intel i7- 8700 K CPU上优化三个变量的Matlab实现的平均运行时间如图所示8a,在可变数目的帧N上重建P= 31个特征。使用活动集在D上优化的时间复杂度方法[11]是O(min(3P,N)(PN+a2)),其中a是活动集中非零值的数量。然而,该阶段的估计变量的数量仅为N。优化W需要O(min(3P,N)(PN+a2)N),因为我们对W的每行使用相同的求解器。在X上优化是无约束凸二次规划问题,其等同于求解时间复杂度为O((NP)3)的线性方程组。由于W的稀疏性,最小化X或W的平均运行时间较小。迭代的总次数取决于初始化质量,报告的实验平均运行62.26次迭代。15||B||2||B||-1个2||B-1|| 210重建错误||B||-1个||B||22||B-1||||B||2250-5-10-1-0.50cos()0.51(a)收敛角θ(b)B项分析对数10平均欧氏重建误差(cm)平均欧氏重建误差(cm)平均欧氏重建误差(cm)平均欧氏重建误差(cm)1557(a)事件分割(b)多目标情景数据类型运动类型求解器类型数量的相机帧数联署人数帧速率Kendall秩相关舞蹈非同步视频非线性运动DLOE+W之前4300157.50.9802多人独立图像非线性运动DLOE+W之前4100157.51图7:Dancing和Toddler的结果[20]。不相交的跳舞段形成输入基准。估计的亲和矩阵的光谱可视化揭示了一组簇。对于Toddler,我们使用DLOE进行实例标识,详细信息请参见文本描述具有多个连接分量的图的拉普拉斯矩阵,每个事件一个连接分量。重要的是,对于每个组件,我们对其图像进行排序并重建其动态3D几何形状。Laplacian矩阵的谱分析可视化了这些事件/集群中的每一个的链状拓扑结构,参见图13。7A右上角8.4. 适用于多目标场景图8:优化运行时间和成本函数消融消融分析。我们分析了方程中不同项的贡献。(7)对于中等到高的2D噪声水平的场景,朝向重建精度。图8b显示了多个变体的结果观测射线项O对所有变体都是共同的。最佳性能通过实例对所有几何项进行优化来实现。8.2. 多视图视频和图像数据集已 知 相 机 几 何 形 状 的 图 像 实 验 包 括 Juggler[7],Climb [25]和Ski[27]数据集。我们通过删除并发观察来,当多个图像共享一个共同的时间戳时,随机选择一个相机。时间戳仅用于消除并发。对于Juggler,我们使用[40]检测到的关节位置作为2D特征。对于Climb和Ski,我们分别使用提供的2D特征轨迹和2D关节检测位置。图图6说明了我们的结果并描述了实验装置。8.3. 应用于事件分割我们考虑的情况下,动态重建的spatially共同定位,但在一个单一的聚合图像集捕获的时间不相交的事件。对于这种情况,我们得到给定在N个图像中观察到的M个主体,我们的聚合形状表示Xi:∈R3MP需要解决N个图像中M个主体之间的输入2D特征的数据关联[37]。为此,我们利用DLOE每个输入In,我们为每个主题创建代理图像Inq其中, 2)在聚合的代理映像集{I}上 执 行 DLOE|N≤q≤MN}(每个观察P个3D点),以将每个对象的运动重建为不同的事件。 3)基于第i个共同祖先In来关联{ I_q }的3D估计,从而为每个重构事件提供合并的时空上下文。 4)将所有子事件的2D特征聚合到单个2D形状表示中,强制来自每个事件的数据关联。 5)在N个原始输入图像上对聚合表示运行DLOE,以改进来自步骤2的解耦事件重建图图7b显示了两个目标场景的工作流结果9. 结论我们提出了一个数据自适应框架,用于建模视觉数据之间的时空关系我们的三凸优化框架优于最先进的方法,减少和不规则的时间采样的挑战性场景。公式和内部数据表示的一般性建议将鲁棒的动态3D重建作为视频的数据关联框架(a)单次迭代运行时间(b)消融分析1558引用[1] Herve 'Abdi。度量多维缩放(MDS):分析距离矩阵。测量与统计学百科全书。Sage,Thousand Oaks,CA,第1-13页,2007年。[2] Antonio Agudo和Francese Moreno-Noguer。基于正则化子空间并的可变形运动三维重建。2018年第25届IEEE图像处理国际会议(ICIP),第2930-2934页。IEEE,2018年。[3] Antonio Agudo和Francesc Moreno-Noguer。一个可扩展的,高效的,准确的解决方案,从运动的非刚性结构。计算机视觉和图像理解,167:121[4] Antonio Agudo和Francesc Moreno-Noguer。多变形体的鲁 棒 时 空 聚 类 与 重 构 IEEE Transactions on PatternAnalysis and Machine Intelligence,41(4):971[5] Shai Avidan和Amnon Shashua。线的轨迹三角测量:从单目图像序列重建沿着线移动的3d点在1999年IEEE计算机协会计算机视觉和模式识别会议集,第2卷,第62-66页中。IEEE,1999年。[6] Shai Avidan和Amnon Shashua。轨迹三角测量:从单目图像序列进行运动点的3D重建。IEEE Transactions onPattern Analysis Machine Intelligence,(4):348[7] Luca Ballan,Gabriel J Brostow,Jens Puwein,and MarcPolle- feys.基于非结构化视频的渲染:随意拍摄的视频的 交 互 式 探 索 。 ACM Transactions on Graphics , 29(4):[8] Tali Basha,Yael Moses,and Shai Avidan.照片测序。欧洲计算机视觉会议,第654Springer,2012.[9] 亚龙·卡斯皮,丹尼斯·西马科夫,米哈尔·伊拉尼。基于特征的序列间匹配。International Journal of ComputerVision,68(1):53[10] 墨尘,琼央,唐晓鸥。有向图嵌入。在IJCAI,第2707-2712页[11] Yuansi Chen,Julien Mairal,and Zaid Harchaoui.用于表示学习的快速和鲁棒的原型分析。在IEEE计算机视觉和模式识别会议论文集,第1478-1485页[12] 范仲。有向图的拉普拉斯算子和Cheeger不等式Annalsof Combinatorics,9(1):1[13] 范如刚。谱图论92号美国数学学会一九九七年。[14] Ahmed Elhayek , Carsten Stoll , Kwang In Kim , H-PSeidel,and Christian Theobalt.具有子帧精度的基于视频的多视频同步。在Joint DAGM(German Association forPattern Recognition)and OAGM Symposium中,第266-275页。Springer,2012.[15] Fajwel Fogel,AlexandreSerialrank:使用序列化的光谱排名。 神经信息处理系统的进展,第900-908页,2014年。[16] 蒂亚戈·加斯帕保罗·奥利维拉和保罗·法瓦罗无特征的两台独立运动摄像机的同步通 信 。 在欧 洲 计 算 机 视 觉 会 议 上 , 第 189-204 页 。Springer,2014.[17] Jochen Gorski,Frank Pfeuffer,and Kathrin Klamroth.双凸集和双凸函数优化:调查和扩展。运筹学的数学方法,66(3):373[18] 韩美和金田武夫。具有多个线性移动对象的场景的重建International Journal of Computer Vision,59(3):285[19] Dinghuang Ji,Enrique Dunn,and Jan-Michael Frahm.稠密动态场景建模的时空一致对应。欧洲计算机视觉会议,第3-18页施普林格,2016年。[20] Hanbyul Joo,Tomas Simon,Xulong Li,Hao Liu,LeiTan,Lin Gui,Sean Banerjee,Timothy Godisart,BartNabbe,Iain Matthews,et al. Panoptic Studio:一种用于社交互动捕捉的大规模多视图系统。IEEE Transactionson Pattern Analysis and Machine Intelligence,41(1):190-204,2017。[21] Yael Moses,Shai Avidan,et al.照片测序中的时空权衡。在IEEE计算机视觉国际会议论文集,第977-984页[22] MeinardMu? lle r, TidoR o? de r, MichaelClausen ,BernhardEberhardt,B jo?rnKr u?ge r,andAndreasWeeber. 文档mocap数据库hdm05.2007年[23] 弗拉维奥·帕多瓦,罗德里戈·卡塞罗尼,杰拉尔多·桑托斯,还有基里阿科斯·库图拉科斯.线性序列间比对。IEEE Transactions on Pattern Analysis and MachineIntelligence,32(2):304[24] 朴贤秀和亚瑟·谢赫根据单目图像序列的平滑铰接轨迹的3D重建。2011年国际计算机视觉会议,第201-208页。IEEE,2011年。[25] Hyun Soo Park、Takaaki Shiratori、Iain Matthews和YaserSheikh。根据一系列2D投影对移动点进行3D重建。欧洲计算机视觉会议,第158-171页施普林格,2010年。[26] Hyun Soo Park、Takaaki Shiratori、Iain Matthews和YaserSheikh 。 透 视 投 影 下 的 三 维 轨 迹 重 建 InternationalJournal of Computer Vision,115(2):115[27] HelgeRhodin , Jo? rgSp? rri , IsinsuKatircioglu ,VictorConstantin , Fre? de? ricMe yer, ErichMu? ller,MathieuSalzmann,andPascal Fua.从多视角影像学习单目3d人体姿态估计。在IEEE计算机视觉和模式识别会议论文集,第8437-8446页[28] 戴娜·西格尔和阿姆农·沙舒亚根据从移动相机看到的移动对象的视线切线测量的欧洲计算机视觉会议,第621-631页。Springer,2000年。[29] Amnon Shashua,Shai Avidan,and Michael Werman.圆锥曲线上的轨迹三角剖分。第七届IEEE计算机视觉国际会议,第1卷,第330-336页。IEEE,1999年。[30] 托马斯·西蒙,杰克·瓦尔马德雷,伊恩
下载后可阅读完整内容,剩余1页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 京瓷TASKalfa系列维修手册:安全与操作指南
- 小波变换在视频压缩中的应用
- Microsoft OfficeXP详解:WordXP、ExcelXP和PowerPointXP
- 雀巢在线媒介投放策划:门户网站与广告效果分析
- 用友NC-V56供应链功能升级详解(84页)
- 计算机病毒与防御策略探索
- 企业网NAT技术实践:2022年部署互联网出口策略
- 软件测试面试必备:概念、原则与常见问题解析
- 2022年Windows IIS服务器内外网配置详解与Serv-U FTP服务器安装
- 中国联通:企业级ICT转型与创新实践
- C#图形图像编程深入解析:GDI+与多媒体应用
- Xilinx AXI Interconnect v2.1用户指南
- DIY编程电缆全攻略:接口类型与自制指南
- 电脑维护与硬盘数据恢复指南
- 计算机网络技术专业剖析:人才培养与改革
- 量化多因子指数增强策略:微观视角的实证分析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)