1基于形状定制的连续尺度空间的Naeemullah Khan1、Byung-Woo Hong2、Anthony Yezzi3和Ganesh Sundaramoorthi11KAUST，沙特阿拉伯2Chung-Ang University，韩国3Georgia Tech，美国{naeemullah.khan，ganesh.sundaramoorthi}@ kaust.edu.sa，hong@cau.ac.kr，ayezzi@ece.gatech.edu摘要我们制定了一个能量的分割，设计有偏好的分割粗糙的图像结构，而没有平滑的区域边界。能量是通过对从区域内的热方程计算的尺度空间中的连续尺度进行积分来制定的。我们表明，能量可以优化，而不计算连续的尺度，而是从一个单一的尺度。这使得该方法与使用离散尺度集的能量相比在计算上是高效的我们应用我们的方法纹理和运动分割。在基准数据集上的实验表明，与离散尺度和其他竞争方法相比，连续尺度的分割精度更高1. 介绍利用低层线索进行图像分割在计算机视觉中起着图像由不同尺度的许多不同结构组成，因此尺度空间的概念[24]，它由图像的所有程度的模糊组成，一直是计算机视觉的核心在分割中整合尺度空间的需要是公认的[40]。此外，还有来自人类视觉研究的证据（例如，[18，35]），粗尺度，即，从高水平的模糊，主要是在精细尺度之前处理。这种从粗到精的原则导致了许多有效的算法，这些算法能够捕获解决方案的粗结构，这在计算机视觉中通常是最重要的。因此，分割算法自然会使用尺度空间并以从粗到细的方式进行操作。现有的结合比例的分割方法具有以下限制之一首先，大多数分割方法（例如，[6，25，2]）基于尺度空间考虑在整个图像上计算的全局尺度空间，其没有捕获存在不同尺度的分割的多个区域的事实，并且这可能导致图像中的重要结构的去除和/或位移，例如，当大的结构不存在时，在小的图像上，图像是模糊的，导致不准确的分割。第二，使用由粗到细原则的算法（例如，[5，33]）顺序执行（见图1），以便算法在较粗的尺度上运行，然后使用结果在较细的尺度上初始化计算。虽然这种热启动可能会影响更精细的尺度结果，但不能保证分割的粗略结构在最终解决方案中得到保留。在本文中，我们开发了一种算法，同时解决这两个问题。具体来说，我们formulate一种新的多区域能量分割，它集成了一个连续的规模从形状定制的尺度空间。这些尺度空间被限定在分割的区域通过在由热方程确定的尺度空间的连续体上积分，我们证明了这种能量对数据的粗结构有偏好，而不忽略精细结构。我们展示了它以并行的从粗到细的方式运行（见图1）。也就是说，它最初由数据的粗结构主导，然后分割数据的更精细结构，同时保留数据的粗尺度结构。我们提供了能量优化的解析解，这导致了比类似的能量集成离散尺度的计算更有效的方法。我们将我们的算法应用到纹理分割的问题，并显示我们的方法优于离散尺度空间和现有的最先进的水平。我们还将我们的方法应用于运动分割，展示了形状定制的连续尺度空间的优势，并展示了对现有技术的性能。1.1. 相关工作尺度空间理论[24，53，15，27]作为分析图像的理论有着悠久而丰富的历史，我们只提供简短的亮点。其思想是图像由各种不同尺度的结构组成（例如，树的叶子以与森林不同的尺度存在），因此为了在没有先验知识的情况下分析图像，必须考虑所有尺度的图像。这是通过在连续的核大小下模糊图像来实现的。的42404241顺序粗到细并行粗到细（我们的）图1. [顶部]：顺序的从粗到细方法使用从粗尺度分割的结果（红色）来初始化（黄色）较细尺度，并且可能会丢失粗分割解决方案的粗结构，而无需额外的解析。注意，粗尺度分割的结果是红色的左侧图像（模糊图像未示出），并且朝向右侧分割是在更精细的尺度下完成的。[底部]：我们的并行粗到细方法同时考虑连续的尺度，并且具有粗到细的属性。从左到右显示了演变过程最常见的核是高斯核，已知它是唯一满足某些公理的尺度空间，例如当图像模糊时不引入任何新特征[29]。尺度空间已经被用于分析图像中的结构（例如，[13、50、29、44]）。这在立体和光流[31]、重建[20，49]、宽基线匹配中的关键点检测[30]、匹配描述符的设计[17]、形状匹配[7]和曲线演化[43]等方面具有广泛的应用。高斯尺度空间也被用于图像分割，最明显的是纹理分割[14，39，6，25，42]，这在自然图像中经常发生[2]。虽然这些方法捕获重要的尺度信息，但它们使用在整个图像上定义的全局尺度空间，这不能捕获区域内特征的特征尺度，并且跨越分割边界模糊。各向异性尺度空间[40，4]已被应用于减少边界上的模糊，但这可能会模糊边缘不突出的区域。最近，[23]通过在分割的演变区域内局部计算尺度来解决这个问题。然而，仅使用离散数量的尺度，因此该方法不表现出从粗到细的行为。这种分割方法已经用各种优化方法进行了数值实现，包括水平集[38]、凸方法[41，26]和其他方法[47]。我们考虑的能量不是凸的，因此我们依赖于上的梯度下降。对目标函数进行了平滑处理，解决了平滑问题。结果用于初始化具有较少平滑的问题，其中显示数据的更精细细节希望这种精细的结果保留了粗糙解决方案的各个方面然而，如果没有额外的算法，如限制更精细的解决方案是周围的粗问题的解决方案，有没有保证，粗结构被保留时，解决更精细的问题。最近，[33]提供了分析并导出了点云匹配问题中对象平滑的封闭形式解决方案。我们的方法使用一个单一的能量集成在一个连续的尺度并行，而不是一个顺序的方法，其中多个能量从粗到细的解决。这保证了获得所需解决方案的粗尺度和细尺度方面由于我们也将我们的方法应用于基于运动的视频中分割运动对象的问题，我们突出了与这项工作最相关的文献的一些方面。 运动分割的方法是基于关于光流（例如，[45]）。 用于分割中的区域运动的分段参数模型用于例如，[52，10]。非参数扭曲用于运动模型（例如，[37、46、54]）。这里我们的目标不是估计运动，而是我们使用现有的技术进行运动估计，并通过仅用我们的新颖的连续尺度空间方法替换单个尺度公式来改进区域分割2. 连续体形状定制能量在本节中，我们构建了一个粗尺度的优先能量，而不会在片段之间进行模糊。为了实现这一点，我们引入了一个形状定制的连续尺度空间。形状定制尺度空间避免了区域间的模糊，尺度的连续性获得了从粗到细的属性。2.1. 形状定制的热尺度空间高斯尺度空间，通过在尺度（方差）的连续体上用高斯平滑图像来构造，可以通过使用热方程来推广到在任意形状的区域（图像的子集）(see图2）。当区域为R2时，热方程的解默认为高斯平滑.在区域R中定义的热方程为：∂tu(t,x)=∆u(t,x) x∈R，t>0曲线.我们考虑的能量涉及偏微分方程（PDE）约束的优化，因此我们建立在[3，11]的优化方法上。N=0x∈R，t>0u（0，x）=I（x）x∈R（一）从粗到精的方法，其中处理图像或目标函数的粗略表示，然后依次显示数据的更精细方面，在计算机视觉中有着悠久的历史[5]。在这些方法中，数据或其中u：[0，+∞）×R→Rk表示尺度空间，R<$<$R2是图像<$1的域（或子集），I：<$R →Rk（k≥1是通道数）是图像，<$R表示R的边界，N是单位外法线4242√i=1t= 0t = 2t = 8t = 50数据项可以在傅立叶域中写为：∫引理1假设I：R2→R且a=R2u（t，x）dx. 然后R2I（x）dx=图2. 形状定制的尺度空间（边界为红色的区域内的热方程的解）为不同的时间（尺度）。注意到精细尺度结构的快速扩散，以及持续的-∫∞∫0R2|u（t，x）− a|2d xd t =∫|2d ω，（3）|2d ω,(3)R2粗糙结构的张力。粗糙结构的持久性对于我们的粗到细分割方案很重要。其中H（ω）=12|ω|ω表示频率。，I表示F变换，并且向量到R，λ表示偏向量，λ表示拉普拉斯算子，λt表示相对于t的偏导数，t是参数化尺度空间的尺度参数。增加t表示增加平滑量。使用热方程的尺度空间的构造对于分割是有用的，因为它允许我们方便地计算分割区域内如果区域被选择为正确的分割，则这避免了跨越分割边界的模糊数据。然而，人们不知道先验的分割，因此在接下来定义的优化问题中，区域同时被尺度空间优化。2.2. 粗尺度优先能量高斯尺度空间在定义我们的粗尺度优先能量时是相关的，因为热方程在短时间内重新移动图像的精细结构，并花费更多的时间去除粗结构（见图2）[9]。因此，在热方程的尺度参数上对尺度空间进行积分的数据项优先考虑将粗结构与细结构分开的分割。因此，我们提出以下能量用于在连续尺度上进行分割积分：证据可以在补充材料中找到。函数H以线性速率衰减I的高频分量，因此能量优先于粗图像结构。如果不对尺度空间进行积分，傅立叶域中的能量将导致H= 1，这对粗结构和细结构具有相同的偏好。3. 优化和秤加权我们现在推导出能量（2）的优化方案，并提出和分析权重选择。3.1. 约束优化问题相对于区域优化能量（2）。由于能量的被积函数非线性地依赖于区域，由于热方程对区域具有非线性依赖性，因此能量不是凸的，因此我们应用梯度下降。为了计算梯度，我们将能量最小化表示为一个约束优化问题。也就是说，我们将能量（2）的最小化处理为在区域Ri和ui上定义的，约束是ui满足热方程（1）。该公式允许我们应用拉格朗日乘子的技术，这使得计算更简单，因为ui对Ri的非线性依赖是解耦的。由于（2）中能量的所有数据项具有相同的ΣNE=i=1∫ ∫TRi0|2w（t）dt dx + R e g（ε R i），|2w(t)dtdx+R e g(∂Ri),（二）形式，我们专注于计算任何一项的梯度为了便于记法，我们避免下标i表示区域的索引使用拉格朗日乘子，我们将能量表示为区域R，u的函数，其中T >0是最终时间，{Ri}N是K拉格朗日乘子λ：[0，T]×R→Rk，其中约束形成分割的区域，ai∈R是平均的ui（t，·），并且w：R+→R是对每个尺度进行加权的函数可以证明ai与t无关。u满足热方程：联系我们该能量是图像的均方误差，在所有尺度上的区域。它概括了常见的单尺度分割模型，包括分段常数Mumford-Shah（Chan-Vese [51，34]）。Reg表示将在实现中讨论的常用曲线正则化E（R，u，λ）=f（u）dx dt +0R联系我们（λλ·λu+ λ λtu）d x d t，（四）0R站点部分，第3.3节。为了进一步证明我们的能量的粗略偏好，我们将能量的数据项写入傅立叶域。为了简单起见，我们选择w（t）= 1;其他权重导致类似的结论。选择整个域作为一个区域，其中f（t，u）=（u-a）2w（t）。为了便于记法，我们已排除了对x，t的我们有还提供了具有u的一般函数f的平方误差的更一般形式。第二项来自热方程的弱形式。 按部分积分，42432将梯度从λ移动到λu给出了（1）中热方程的经典形式。因此，（4）中的第二项确实是由拉格朗日乘子得到的。现在我们可以通过导出u和λ中的优化条件来计算E（4）的梯度。详情见补充材料。在λ中进行优化只会导致原始热方程约束，因此我们通过计算E相对于u的导数（变分）来计算u的优化条件。这导致λ的解如下所示引理2（拉格朗日乘子λ的PDE）拉格朗日乘子λ满足以下具有强迫项的热方程，随时间向后发展∂tλ(t,x)+∆λ(t,x)=fu(t,u(t,x)) x∈R×[0，T]N=0x∈R×[0，T]，λ（T，x）= 0x∈R（五）其中fu表示相对于第二个参数的偏导数Duhamel引理3（拉格朗日乘子λ）（5）的解可以写成∫Tλ（t，x）= − F（s − t，x; s）d s.（六）3.2. 加权函数我们现在探索权重w的可能选择。权重的一些选择可以具有不需要计算尺度空间u的梯度的方便解，这使得计算成本比通用公式（9）便宜得多。如在实验中观察到的，所有都具有从粗到细的行为，但是每个在该性质的程度上不同计算结果见补充材料。正指数指数函数（ExpPos）：我们考虑权重w（t）= e1/α[（t/T）−1]1[0，T]（t），其中α >0，1表示指示函数。 这里权重随着标度而增加，使得0和T之间的最大标度的权重最大。我们在最后时刻截短。这是因为对于大尺度，图像太模糊而不能用于分割，并且非常大的尺度应该具有低权重或零权重。这种加权表现出我们所考虑的任何加权中最粗到细的行为。尽管这是理想的加权，但据我们所知，梯度（9）不能以不需要计算尺度空间的形式来写。 因此，它在计算上比其他方法更昂贵。我们考虑的权重。然而，典型地，T被选择为小的（例如，对于256×256图像，T= 10），与其他权重相比，可以节省成本。截断均匀权重（均匀）：我们认为不其中reF（·，·;s）：[0，T]×R→R是权函数w（t）=1[0，T]（t）。 这是用制服前向热方程（1）具有零强迫和在时间s评估的初始条件fu（u），即，在0和T之间的所有尺度上的重量。既然要避免非常大的尺度（T→∞），我们选择有限的T。当T很大（但仍然有限）时，梯度近似为F（t，x;s）=0x∈R×[0，T]12<$F（t，x; s）·N = 0x ∈ <$R × [0，T].RE·N |UT|、（10）F（0，x;s）=f （s，u（s，x））x∈R（七）其中u0是热方程的初始条件（原始数据），以及在f（t，u）=（u-a）2w（t）的情况下，λ可以是ex-1。被问及∫T.UT（x）−T<$UT（x）=Tu0（x）x∈RT·N= 0x∈R.（十一）λ（t，x）= −2 （u（2 s − t，x）− a）w（s）d s.（八）不（8）中的λ公式对于权重w的特定选择是方便的，因为当T变大时取极限会导致能量梯度可计算，而无需显式计算尺度空间u，如下一节所示。有了E的u和λ的优化条件，我们现在可以计算能量E相对于R的梯度，以λ和u表示：命题1E相对于边界向量R的梯度可以表示为：∫TUT是从0到T的尺度空间的积分，可以近似为（11）的解（见附录）。（10）的优点是它不需要尺度空间的显式计算，并且（11）可以有效地实际上，在R的梯度下降中，前一次迭代的解可以用作下一次迭代的热开始。对近似值的分析是补充性的。指数负指数（ExpNeg）：我们考虑权重w（t）=e−（1/α）t，对于所有t∈[0，∞），其中α>0。小的α值意味着只有小的∇∂RE=0[f（u）+λu+λtu]dt·N，（9）u4244规模是相关的。大的α值包括更大的尺度，这是期望的。使用这种加权的直观感觉是其中，N是NRR的法向量。它包括了相当大的规模，4245我我我我我我我我尺度连续体，ExpPos权重（Gi− Gj）Ni.为了实现亚像素精度，我们使用松弛的指示函数φi：φ→[0，1]，其中i=1，. . .，N来表示区域，类似于水平集方法[38]。Ri是哪里秤的连续体，统一重量φi大于φj，ji。用b表示法表示连续标度，ExpNeg重量用Gi乘以区域的法向量在（9）、（10）、（12）中的任一个中的Ri，其被定 义 在 整 个 区 域 Ri 中 。 我 们 将 它 从 Ri 扩 展 到 D（Ri），通过在D（Ri）中求解Gi 来实现Ri的小扩张。在区域之外的扩展被完成，以便φi的演化可以被定义在曲线周围，就像在水平集方法中一样。在[38]之后，为了将曲线转换为水平集演化，引起区域梯度下降的φi的更新方案是算法1。离散尺度算法1多区域梯度下降一曰： 输入：φi2：重复原生比例（无比例空间）分割演化→图3. 各种尺度权重的能量优化可视化。我们比较通常的分割的 本 地 图 像 规 模 ， 一 个 离 散 的 形 状 定 制 的 尺 度 空 间（STLD），Exp-Pos，均匀，和ExpNeg加权的连续尺度空间。对于本机图像比例和STLD，不显示从粗到细的行为。连续尺度空间给出了从粗到细的行为，ExpPos比其他权重更好。根据需要加权，它通过具有指数衰减的权重而忽略了所需的非常大的尺度，并且它具有不需要计算尺度空间的梯度的精确解。可以证明梯度是3：集合re gions：Ri={x∈N：i=ar gmaxjφj（x）}4：计算Ri的膨胀D（Ri）5：计算带像素Bi=D（Ri）D（\Ri）6：根据（9）、（10）或（12）计算Bi中的Gi7：如下更新像素x∈D（Ri）<$D（Rj）φτ+ πτ（x）=φτ（x）−πτ（Gi（x）−Gj（x））|φτ（x）|+ ε τ·εφτ（x）。8：将所有其他像素更新为φτ+ ετ（x）= φτ（x）+ ε τ·ετ φτ（x）。9：在0和1之间进行剪裁：φi= max{0，min{1，φi}}。十： 直到区域融合算法1的行7中的φi的更新涉及项φφτ，其提供曲线的平滑度。更复杂的正则化器（例如长度正则化器）N=aα（a+2u）−u U+1U212）可以使用，但我们已经发现这个简单的规则-0.000000 2α4 α2α−2| β-U2α|、（十二）化足够了。我们选择ε= 0。005在实验中，这并不需要调整，因为它主要是为了诱导，其中U2α解出（11），T替换为2α。像均匀加权，梯度产生的形式，不需要计算尺度空间。相对于均匀情形的一个优点是解是精确的。3.3. 多区域分割我们现在给出能量（2）的梯度下降的数值实现，当有多个区域时。涉及正则化的术语将在后面讨论。设GiNi是（2）中E的第i个被加数的梯度，其中Ni是Ri的外法线。例如，GiNi可以是表达式（9）、（10）、（12）中的任何一个。如[56]所示，在点x处评估的全能量的梯度是GiNi对所有i的和，使得x∈<$Ri。对于点x∈Rj，这产生梯度为4246计算φ导数的正则性。此外，考虑尺度空间自然会导致规律性。4. 应用于运动分割在这一节中，我们将展示如何将这一部分的结果应用于运动分割。运动分割是分割具有使用对象的多个图像计算的相似运动的对象和/或区域的问题。运动分割的挑战之一是通过稀疏的测量集合（例如，沿着图像边缘或角），因此运动信号通常仅对于稀疏位置中的分割是可靠的通过使用用于运动分割的能量的尺度空间公式，4247残留SS残留非SS非SS图4. 单个尺度下的运动残差是稀疏的（左列），导致难以在分割中使用这些线索（非SS）。连续尺度（SS）的运动提示提供了更丰富的信号（第2列），这改善了分割。分段-像素处的运动对于分割是可靠的（在无纹理或被遮挡的区域中为1，否则为0 在运动不明确的情况下，区域内的局部颜色直方图pRi用于分组。 如在光流[45]中典型的，我们将遮挡设置为残差的阈值：|I1（wi（x））−I0（x）|2>β}。优化涉及迭代交替更新扭曲和区域。为了更新扭曲，我们使用[55]中的扭曲估计方法。为了更新区域，我们使用上一节的结果，并使用负指数的指数权重，以提高计算效率。 这产生了第i个数据项的梯度，（13）近似注释（紫色）显示为一个框架（中间两个）和一个框架前几帧（右两帧）。 虽然非SS ap-α 212中的错误与我们的方法相比，方法在帧之间是微妙的，它们快速地跨帧传播。（1−m）（U4-u0U − 2|简体中文|）− m logpRi（I0）Ni，（十五）的运动信号被集成并且更显著地影响分割。该属性增加了运动分割的可靠性（图4），并且粗到细的方法捕获粗结构，而不会在开始时受到细尺度干扰的影响。在此基础上，我们将运动分割问题转化为尺度空间问题。设I0，I1：Rk→Rk是序列的两个图像，其中Rk是图像的定义域。对于给定的区域Ri，我们定义一个映射wi：Ri→ R2，我们称之为将I1向后翘曲到I0的翘曲或变形。我们假设I0和I1通过亮度恒定性假设通过w i相关，除了像光流中的典型作品那样的遮挡之外[45]。限定能量其中U是（11）的解，使用T= 2α，右手边u0侧岛然后，通过算法1给出Emseg的梯度下降，选择Gi作为（15）相乘Ni的分量。我们一帧一帧地应用我们的方法然后我们通过计算的扭曲将结果传播到下一帧，以在下一帧中热启动分割。5. 实验5.1. 纹理分割数据集和方法比较：我们首先测试我们的方法纹理分割，多尺度信息是重要的任务我们在[23]中使用的两个数据集上进行测试Brodatz合成数据集有198幅由Brodatz中的纹理和MPEG数据集中的随机形状生成的图像。第二个是真实世界的纹理数据集，它由256个纹理图像组成，这些图像是从照片中获得的。吴恩达Emseg=∫T[1−m（x）] |ui（t，x）|2w（t）dtdx−真实世界场景的拓扑图。我们使用RGB颜色通道和四个角度的分级定向梯度，作为fea，i=1Ri0m（x）logpRi（I0（x））dx+Reg（Ri），（13）Ri其中，ui是未被遮挡区域Ri|Oi中的I0与I1的后翘曲的差的尺度空间：.用于分割。由于本文的贡献是在连续尺度下使用形状定制的尺度空间，因此我们将其与[23]（STLD）进行比较，后者使用尺度空间，但仅考虑离散数量的尺度。作为参考，我们包括其他分割方法。我们使用缩写ExpPos、Uniform和ExpNeg表示正指数指数、均匀指数和负指数u0，i=I1（wi（x））−I0（x）x∈ Ri\Oi，（14）0x∈Oi指数权重在我们的方法。这些方法都是用一个标准的长方体镶嵌来初始化的。关于Brodatz的结果：首先，我们将Brodatz与并且m：m→[0，1]是运动模糊度函数。注意在m = 0的情况下，能量等价于在所有尺度上积分I0和I1的尺度空间之差（定义为I1wi在Ri\Oi中，I0在Oi中）。注意使用I1而不是I1wi，因为后者不对应到闭塞处的I0该能量要求选择区域，使得图像的所有尺度在0和T匹配. 运动模糊度函数m指示是否4248第3.2节中介绍的不同加权方案，针对STLD的连续体尺度空间为了比较权重而不是各种近似的质量，我们使用（9）计算梯度。图像为128×128，我们选择α=T=10（对应于使用在STLD中）用于所有权重。结果见表1。所有权重给出了类似的结果，并且都比STLD更准确。这表明使用4249Brodatz合成数据集轮廓区域指标我的GT-cov.随机的指数变种Info.ODSOISODSOISODSOISODS OISExpPos（我们的）0.410.410.800.800.790.790.680.68ExpNeg（我们的）0.390.390.780.780.770.770.68 0.68制服（我们的）0.400.400.790.790.78 0.780.680.68STLD0.330.330.710.710.70 0.700.740.74真实世界纹理数据集轮廓区域指标我的GT-cov.随机的指数变种Info.ODSOISODSOISODSOISODSOISExpNeg（我们的）0.600.600.910.910.910.910.450.45STLD0.580.580.870.870.870.870.590.59非STLD0.170.170.810.810.820.820.770.77微克[2]0.510.540.740.820.770.850.800.66gPb [1]0.500.540.74c0.840.780.860.800.65[21]第二十一话0.480.520.640.700.660.750.890.78SIFT0.100.100.550.550.590.591.441.44[19]第十九话0.080.080.740.740.750.750.950.95历史-5 [36]0.140.140.660.660.700.701.181.18历史-10 [36]0.130.130.660.660.700.701.191.19Chan-Vese [8]0.140.140.710.710.730.731.041.04拉丁美洲和加勒比[28]0.090.090.550.550.580.581.411.41全球历史[32]0.120.120.650.650.670.671.121.12表1. 纹理分割数据集的结果。使用轮廓和区域度量评估算法轮廓度量、地面实况覆盖（GT-cov）和rand指数的较高F-度量指示更好地拟合地面实况，并且信息的变化（Var.信息）指示更好地拟合地面事实。连续体尺度空间导致性能的提高。真实世界纹理图像上的结果：由于不同权重的所有结果都是相似的，我们现在使用Exp- Neg在真实世界纹理数据集上进行比较，因为它的速度。表1中的结果表明，α= 20时，连续尺度空间的精度大于离散尺度（STLD）。样品代表性目视检查结果见图5。接下来，我们使用ExpNeg加权来测试我们的方法与不同的α选择。我们还在速度和准确性方面与STLD进行比较。结果示于表2中。STLD的结果表明，一个以上的尺度是必要的，和更快的速度，使用更少的尺度会导致退化的分割。其次，ExpNeg的结果表明，在α的不同参数选择下，结果是稳定的。最后，在ExpNeg和STLD之间进行速度比较请注意，STLD中使用的每个尺度都需要PDE的解，而我们的ExpNeg方法只需要单个PDE。这使得我们的连续统尺度空间方法在计算上更便宜，如表2所示。我们的方法也只需要一个参数，而STLD需要选择一系列尺度。5.2. 运动分割数 据 集 ： 我 们 在 Freiburg-BerkeleyMotionSegmentation（FBMS-59）[37]数据集上测试了我们的方法。FBMS-59由两个集合组成-训练，29个序列，和测试，30个序列。视频范围在19到800帧之间，图像地面实况离散尺度ExpNeg（连续标度，我们的）图像地面实况离散尺度ExpNeg（连续标度，我们的）图5.真实世界纹理数据集上的示例代表性结果。 我们比较了最好的两种方法（我们的）和STLD（使用离散尺度空间）。STLD量表比较轮廓区域指标我的STLD量表ODS OISGT-cov.ODS OIS随机的指数ODSOIS变种Info.ODS OIS40.560.560.850.850.850.850.630.63200.550.550.840.840.840.840.640.644,8,12,16,200.580.580.870.870.870.870.590.59ExpNeg参数α比较轮廓我的区域指标GT-cov.随机的 指数变量Info.ODSOISODSOISODSOISODSOISα= 200.600.600.910.910.910.910.450.45α= 300.600.600.900.900.900.900.460.46α= 500.600.600.900.900.900.900.460.46速度比较方法平均迭代平均时间指数阴性（α= 20）STLD（量表4、8、12、16、20）12.9±4.416±4.110.3秒83.7秒表 2. 天 平 参 数 和 速 度 的 分 析 。 [Top] ： 离 散 尺 度 空 间（STLD）的不同尺度选择的组合。[中图]：连续尺度空间中不同α的结果，ExpNeg权重。[底部]：ExpNeg连续标度空间和STLD在单个处理器上的速度比较有多个对象。比较：为了证明我们的连续空间能量相对于相应的单一尺度能量的优势，我们与[55]进行比较。我们的方法用能量（13）代替了单尺度运动项。此外，不使用[55]中使用的额外正则化，因为4250训练集（29个序列）测试集（30个序列）PRFN/65PRFN/69[16个]79.1747.5559.42477.1142.9955.205[37]第三十七届81.5063.2371.211674.9160.1466.7220[48个]83.0070.1076.012377.9459.1467.2515[22日]86.9171.3378.352587.5770.1977.9225[55个]89.5370.7479.032691.4764.7575.8227ExpNeg（我们的）93.0472.6881.612995.9465.5477.8728表3. FBMS-59结果。在训练和测试数据集中的所有序列上的平均精度（P）、召回率（R）、F-度量（F）和检测到的对象数（N）。较高的值表示超级性能。所有方法都是全自动的。增加时间的框架图6. FBMS-59数据集代表性序列的样本视觉结果（紫色和红色的分割对象）。在所有尺度上积分的能量变化（我们的方法）通常比使用仅包含一个尺度的能量（非SS）对杂波不太敏感。尺度空间提供固有的正则化。由于我们测试的基准，我们也比较其他国家的最先进的方法，虽然我们的主要目的是显示的改进，发生仅仅使用我们的连续尺度空间能量。图1：我们用[45]中帧1和帧20之间的光流分割来初始化每个。参数：我们的ExpNeg加权方法需要（12）中的一个参数α。我们根据训练集中的几个序列选择α= 20。其他参数，例如，根据[55]选择直方图大小FBMS-59的结果：图6显示了我们的方法和单尺度方法的一些代表性视觉结果。表3显示了这两种方法以及其他现有技术方法的定量结果。视觉结果表明，我们的方法一般避免分散杂波，从而防止泄漏相比，单尺度的方法。在许多情况下，它还捕获了更多的对象。定量结果表明，我们在训练集和测试集上都将[55]的F-度量提高了约2%我们也有最高的F-措施的所有竞争的方法。计算成本：与[55]的总成本相比，我们的尺度空间所需的额外处理成本很小我们的方法在12核处理器上每帧平均约30秒的总时间上增加了约5秒（一个核）[556. 结论我们已经提出了一个通用的能量，重新制定传统的数据项分割问题。这种新的能源采用了形状定制的连续尺度空间。它具有两个重要特性：在区域内定义尺度空间，使得不同段中的结构不会跨越边界而模糊，也不会移位，并且具有由粗到细的属性。后者有利于获得所需分割的粗结构，同时连续获得更精细的结构，而不必依赖于几何学。我们的形状定制连续尺度空间相对于形状定制离散尺度空间具有两个主要优点：它们具有从粗到细的特性，忽略了分散注意力的细尺度结构，从而得到更精确的解，并且它们具有速度优势。我们已经展示了纹理和运动分割的应用在纹理分割中的两个基准数据集上的实验已经表明了形状定制的连续尺度空间相对于现有技术的重要性。在运动分割基准上的实验已经显示了多尺度信息在运动分割中的重要性：仅仅在标度上对公共运动残差进行积分改善了结果，从而得到了一种现有技术的方法。确认部分由KAUST OCRF-2014-CRG 3 -62140401、NRF-2014 R1 A2 A1 A11051941和NSF CCF-1526848资助我们非党卫军我们非党卫军我们非党卫军我们非党卫军我们非党卫军4251引用[1] P. Arbelaez，M.迈尔角Fowlkes和J.马利克轮廓检测与分层 图 像 分 割 。 PatternAnalysisandMachineIntelligence ， IEEE Transactions on ， 33 （ 5 ） ： 898-916，2011。7[2] P. Arbel a'ez，J. Pont-T uset，J. Barron，F. Marques和J.马力。多尺度组合分组在IEEE计算机视觉和模式识别会议论文集，第328-335页，2014年。一、二、七[3] G. Aubert，M.巴劳德岛Faugeras和S.让-贝松使用活动轮廓的图像分割：变分法还是形状梯度？SIAM Journal onApplied Mathematics，63（6）：2128-2154，2003. 2[4] J. - F.奥若尔湾Gilboa，T. Chan和S.奥舍结构-纹理图像分解 建模 、算 法和 参数 选择 .International Journal ofComputer Vision，67（1）：111-136，2006。2[5] A. Blake和A.齐瑟曼。视觉重建第二卷麻省理工学院出版社，剑桥，1987年。一、二[6] X. Bresson，P. Vandergheynst，and J.- P. Thiran。多尺度活动轮廓。International Journal of Computer Vision，70（3）：197-211，2006. 一、二[7] M. M.布朗斯坦和我。Kokkinos用于非刚性形状识别的尺 度 不 变 热 核 签 名 。 在 Computer Vision and PatternRecognition（CVPR），2010 IEEE Conference on，第1704-1711页中。IEEE，2010。2[8] T. F. Chan和L. A.维斯没有边的活动轮廓。图像处理，IEEE学报，10（2）：266 7[9] C. Chen和H. Edelsbrunner扩散速度快，持久性低。2011年国际计算机视觉会议，第423-430页。IEEE，2011年。3[10] D. Cremers和S.索阿托运动竞赛：分段参数运动分割的变分方法。International Journal of Computer Vision，62（3）：249 2[17] T. Hassner，V. Mayzels，and L.泽尔尼克庄园 在筛子和秤上。在计算机视觉和模式识别（CVPR），2012 IEEE会议，第1522IEEE，2012。2[18] J. 他是谁？视知觉的时间历程：由粗到精的加工及超越。神经生物学进展，84（4）：405-439，2008。1[19] B.- W.洪，S. Soatto，K. Ni和T.陈纹理的尺度及其在分割中的应用。在计算机视觉和模式识别，2008年。CVPR 2008。 IEEE会议，第1-8页。IEEE，2008年。7[20] R. Hummel和R.莫尼奥特标度空间中零交叉的重构声学、语音和信号处理，IEEE Transactions on，37（12）：2111-2130，1989. 2[21] P. Isola，D. Zoran，D. Krishnan和E. H.阿德尔森基于逐点互信息的清晰边界检测。计算机Springer，2014. 7[22] M.科伊珀湾Andres和T.布洛克斯运动轨迹分割，通过最低 成 本 多 切 割 。 IEEE International Conference onComputer Vision（ICCV），第3271-3279页。8[23] N.汗，M。Algarni，A. Yezzi和G. Sundaramoor- thi. 形状定制的局部描述符及其在分割和跟踪中的应用。在Computer Vision and Pattern Recognition （ CVPR ） ，2015 IEEE Conference on，第3890-3899页中。IEEE，2015年。二、六[24] J·J·科恩德林克。图像的结构。Biological cybernetics，50（5）：363-370，1984. 1[25] I. Kokkinos，G. Evangelopoulos和P.马拉戈斯使用调制特征、生成模型和加权曲线演化进行纹理分析和分割PatternAnalysisandMachineIntelligence ， IEEETransactions on，31（1）：142一、二[26] N. Komodakis，M. P. Kumar和N.帕拉吉奥斯通过凸松弛和移动决策算法的（超）图推理：在人工智能领域的贡献和应用[11] M. C. 德尔福和J. - P. Zol e'sio. 度量与几何学：度量、分析、微分与最优化，视野基金会和信托基金和Vision，10（1）：1-102，2016。2在计算机图形学第22卷。 暹罗，2011年。2[12] L. C.埃文斯.偏微分方程2010. 4[13] L. Florack和A.柯伊伯尺度空间象的拓扑结构Journal ofMathematical Imaging and Vision，12（1）：65-79，2000. 2[14] M. Galun、E.沙伦河，巴西-地Basri和A.布兰特通过滤波器响应和形状元素的多尺度聚集进行纹理分割。计算机视觉，2003年。诉讼第九届 IEEE国际会议，第716-723页。I
