稀疏非局部CRF与稀疏和密集CRF的比较以及在边界框分割中的应用

44930稀疏非局部CRF0加拿大滑铁卢大学OlgaVeksler0oveksler@uwaterloo.ca0加拿大滑铁卢大学Yuri Boykov0yboykov@uwaterloo.ca0摘要0CRF是一种经典的计算机视觉模型，也适用于深度学习。有两种常见的CRF类型：稀疏和密集。稀疏CRF仅连接附近的像素，而密集CRF具有全局连接。因此，密集CRF是一个更通用的模型，但与稀疏CRF相比，它更难以优化。实际上，实践中只有一种特定形式的密集CRF被优化，即使是这样也只是近似优化。我们提出了一种新的稀疏非局部CRF：它具有稀疏数量的连接，但同时具有局部和非局部连接。与稀疏CRF一样，连接的总数很小，我们的模型易于精确优化。与密集CRF一样，由于具有非局部连接，我们的模型比稀疏CRF更通用。我们展示了我们的稀疏非局部CRF可以模拟与流行的高斯边缘密集CRF类似的属性。除了效率外，另一个优点是与高斯边缘密集CRF相比，我们的边缘权重限制较少。我们设计了利用这种灵活性的模型。我们还讨论了我们的模型与其他CRF模型的关系。最后，为了证明我们的模型的有用性，我们对边界框分割的经典应用和基于深度学习的显著对象分割进行了评估。我们改进了这两个应用的最新技术。01. 引言0许多计算机视觉任务产生所谓的像素标签，其中每个像素被分配一个预定义集合中的某个标签。CRF是一个经典模型[4,14, 23,28]，允许对像素标签施加各种期望的属性。在深度学习之前，CRF已经被用于计算机视觉的各种应用[5, 8, 12, 22, 40,48, 49]，并且也与深度学习结合使用[2, 9, 10, 15, 17, 18,20, 24, 43, 47,61]。为了对像素标签建模所需的属性，需要设计一组像素之间的相互作用。最常见的情况是这些相互作用是像素对之间的，被称为边缘。这些类型的CRF被称为配对的。在本文中，我们讨论了Potts配对CRF[38]。0图1.顶部行：稀疏、密集和稀疏非局部CRF的边缘连接。为了清晰起见，我们只显示一个像素（黄色）的邻居（红色）。底部行：边界框分割结果。稀疏CRF切断了细小的猫尾巴。密集CRF将尾巴与猫的其余部分强连接在一起，因此保留了它。我们的稀疏非局部CRF使用稀疏的连接将尾巴与猫的其余部分更好地连接起来，并且也保留了它。0也许是最常用的CRF模型。PottsCRF鼓励通过边缘连接的像素被分配到相同的标签。我们关注的是二进制像素标签，即标签集的大小为两个。我们将这些标签称为对象和背景，因为二进制CRF经常用于对象分割。二进制配对PottsCRF可以通过图割[8]进行精确高效的优化。在设计PottsCRF时，我们希望连接可能具有相同标签的像素。有两种常见的连接类型：稀疏和密集。由于附近的像素可能位于同一个对象中，稀疏CRF将像素连接到其直接邻居，通常在4或8个连接的网格上，如图1所示。边缘的权重通常取决于像素之间的颜色相似性，因为对象边界往往会导致图像边缘。稀疏CRF的特性被广泛理解，它鼓励与图像边缘对齐并具有较短边界的对象。稀疏CRF已知具有收缩偏差[49]，它倾向于切断细小的对象部分并填补狭窄的间隙，如图1左下所示，更倾向于较短的边界。为了保留细小的部分，我们需要将它们与对象的其余部分更强地连接起来。密集CRF基于目标的全局连接。因此，密集CRF是一个更通用的模型，但与稀疏CRF相比，它更难以优化。实际上，实践中只有一种特定形式的密集CRF被优化，即使是这样也只是近似优化。我们提出了一种新的稀疏非局部CRF：它具有稀疏数量的连接，但同时具有局部和非局部连接。与稀疏CRF一样，连接的总数很小，我们的模型易于精确优化。与密集CRF一样，由于具有非局部连接，我们的模型比稀疏CRF更通用。我们展示了我们的稀疏非局部CRF可以模拟与流行的高斯边缘密集CRF类似的属性。除了效率外，另一个优点是与高斯边缘密集CRF相比，我们的边缘权重限制较少。我们设计了利用这种灵活性的模型。我们还讨论了我们的模型与其他CRF模型的关系。最后，为了证明我们的模型的有用性，我们对边界框分割的经典应用和基于深度学习的显著对象分割进行了评估。我们改进了这两个应用的最新技术。̸̸E(x) =�p∈Pup(xp)+�(p,q)∈Nlvpq(xp, xq) +�(p,q)∈Nnlvpq(xp, xq), (3)44940观察到不仅附近的像素对，而且任何颜色和/或位置相似的像素对更有可能具有相同的标签。因此，密集CRF将每个像素连接到所有其他像素，如图1中的中间部分所示，边的强度取决于颜色和接近程度的相似性。这种高度连接的CRF在优化方面代价高昂，实际上只有高斯边密集CRF[22]在实践中被近似优化。我们将高斯边密集CRF称为密集CRF。密集CRF更好地保留细节，如图1中的中间部分所示。我们观察到，为了保留细节，不需要将一个对象像素连接到每个其他对象像素。一组更稀疏的非局部连接对象像素足以。当然，我们事先不知道哪些像素属于对象。由于颜色相似的像素更有可能属于同一个对象，因此选择（随机采样）这些额外的非局部连接，使其连接颜色相似的像素。直观地说，给定一个像素，为了构建这些连接，我们不像密集CRF那样向所有其他图像像素投掷一个广泛的“网”，而是向颜色相似的像素投掷一个有针对性的“网”。选择有针对性的网络的另一个论据是，密集CRF使用有限宽度的核，许多权重无关紧要。我们开发了一种新的稀疏非局部CRF。它具有稀疏CRF的局部连接，还有从颜色相似的像素随机采样的稀疏非局部连接。我们的模型具有像密集CRF一样保留细节的特性，如图1中的右侧所示，但是只使用了一组稀疏的连接来实现这一点。因此，我们的模型在全局和高效地进行优化[8]。此外，我们的模型比密集CRF更容易解释。我们讨论了我们的模型与密集CRF[22]、OneCut[44]、Pn-Potts[19]之间的联系。我们通过在传统分割和基于图像标签的深度学习显著对象分割上进行实验证实了我们的模型，在这两个应用中改进了现有技术的水平。02. 准备工作：二元成对Potts CRF0CRF的主要任务是为每个图像像素p分配一个标签xp。我们假设xp∈{0,1}，其中0表示背景，1表示对象。设P为所有图像像素的集合，设x=(xp|p∈P)为分配给P中像素的标签。对于每个像素p，存在一个一元势能up(xp)，如果像素p的标签xp可能是p，则该势能较小，否则较大。对于二元分割，获得一元项的一种方法是要求用户提供对象和背景种子[5]。任何被对象种子覆盖的像素都通过设置up(0)=∞来被硬约束为对象。同样，任何被背景种子覆盖的像素也被硬约束为背景。也许最流行的方法是GrabCut[40]。用户为对象提供一个边界框。框外的像素被硬约束为背景，并且内部和外部的像素/背景外观用于一元项的建模。0除了一元项之外，对于每对相互作用的像素p、q，还有一个成对势能。0vpq(xp,xq)=wpq∙[xp≠xq]，(1)0其中wpq>0且[xp≠xq]等于1，当像素p、q未被分配到相同的标签时，否则为0。成对势能鼓励相互作用的像素具有相同的标签。通常，wpq对于颜色相似的像素较大。通过最小化能量找到最佳标签x。0E(x)=�0p ∈P up (xp)0(p,q)∈Nvpq(xp,xq),(2)0其中N包含所有相互作用的像素对。通常N是一个集合。为了简化第3节中的推导，我们允许N是一个多重集，即它可以有重复的元素。当wpq≥0时，可以通过图割精确优化公式（2）中的能量[8]。设置一个图，其中节点对应于图像像素，边对应于N中的像素对。边的权重是根据公式（1）中的成对项导出的。此外，还有两个称为终端s和t的特殊节点。所有像素节点都通过从一元势能up导出的权重与s和t相连。通过最小割/最大流算法[6]找到最优解，详见[8]。如果N是稀疏的，则优化是高效的。如果N是密集的，则优化虽然仍然是多项式的，但是不实际，因为N的大小与图像像素数量的平方成正比。稠密CRF[22]使用均值场[21]来近似优化公式（2）。03. 非局部CRF0在我们的稀疏非局部CRF中，我们既有标准的4连通网格边界，也有稀疏的非局部边界。我们重新定义方程（2）中的能量以反映这一点0其中 N l 是局部边界的集合，N nl是非局部边界的多重集合。多重集合允许元素重复。我们在第3.1节中描述了 N nl的构建过程。在第3.2节中，我们讨论了我们的稀疏非局部CRF的属性。我们在第3.3节中讨论了我们的模型与密集CRF[22]、OneCut [44]和[19]的关系。03.1. 选择非局部边界0我们的主要思想是，为了保留细节，不需要密集地连接每个像素。相反，给定一个像素，我们可以找到并将其连接到可能具有相同标签的稀疏像素子集。给定一个物体像素，很可能有许多其他颜色相似的像素1692.7106.676.23294.399.375.76495.293.471.012896.488.957.3Enl(x) =�(p,q)∈Nnlvpq(xp, xq),(4)44950每个通道相同标签的百分比距离密度 (%)0表1.实验评估非局部边界在物体内保持的可能性。详细描述请参见正文。0在同一个物体中，可能存在许多颜色相似的像素，连接所有这些像素不会导致稀疏的CRF，从而导致运行时间过长。相反，我们的方法是从具有相似颜色的像素集合中抽样出一个稀疏子集。为了有效抽样，我们将彩色图像在每个通道上等宽地量化为多个区间。如果两个像素在同一个区间中，它们的颜色是相似的。对于每个像素，我们从其颜色区间中均匀抽样出所需数量的像素作为非局部边界。在表1中，我们在GrabCut[40]数据集上实验证实了标签和颜色之间的关联性。对于每个p，我们从与p相同颜色区间中随机选择一个像素q。我们删除任何自环和最近邻之间的边界。在第3列中，我们计算了像素p和q具有相同标签的平均百分比。我们重复了不同数量的区间。具有相同标签的像素的百分比随区间数量的增加而增加，但即使在16个区间的情况下，这个百分比也大于90。这是选择从量化的颜色区间中随机抽样对于连接相同标签像素的有效性的有力证据。在第4列中，我们计算了平均边界长度。它随着区间数量的增加而增加，但对于所有情况来说都很大，表明我们的边界是非局部的。最后，在表1的最后一列中，我们显示了边界密度，定义为在删除最近邻和自环之后剩余的边界的百分比。随着区间数量的增加，每个区间内的像素数量变小，我们更有可能抽样到原始像素或其邻居。在64个区间之后，密度急剧下降。在实践中，我们使用32或64个区间，它在具有高百分比的同类像素和良好密度之间提供了良好的平衡。接下来，我们质疑边界的随机性是否会对结果产生负面影响，因为每次应用我们的CRF时，非局部边界多重集合N nl是不同的。然而，由于大多数边界连接相同标签的像素，结果的差异很小。我们的目标是在物体内创建足够的非局部连接以保留细节，但这些连接不必是规则的。对于我们的深度学习应用程序，边界的随机性甚至可能是有益的，因为它提供了一个更多样化的训练集。注意，随机性经常用于改善CNN训练，例如dropout[42]。我们在第4节中评估了边界随机性对应用程序的影响。这里我们在图2中提供了一个示例。它显示了为一个突出显示的（绿色）像素选择的非局部边界，连续四个像素0图2.顶部行：四次连续运行边界框分割的绿色像素的非局部随机边缘。底部行：相应的分割结果。尽管连接性存在显著变化，结果几乎相同。0从边界框进行的连续运行的分割中，非局部边缘变化很大，但结果几乎相同。下一个问题是每个像素采样多少条边缘。更多的边缘连接更强，但增加了计算量。从第4节的应用中，我们发现每个像素采样2到8条边缘效果很好，而更多的边缘不一定更好。在采样非局部边缘时，我们可以使用多个图像量化，并且对于每个像素，从每个量化中采样边缘。优点是来自多个量化的随机边缘在跨越一组颜色变化平滑的大对象内更相互连接。实际上，使用单个量化，随机边缘形成一个不连通的图。当然，对于局部边缘，所有像素都是相互连接的。然而，还有一些例子表明，不连通的随机边缘会导致问题，可以通过两个量化来解决，详见补充材料。最后，我们注意到采样边缘在其他工作中也被使用，例如用于随机化的最小图割计算[16]或图稀疏化[34]。03.2. 稀疏非局部CRF的性质0由于我们的非局部边缘是随机的，给定一个标签x，我们应该讨论能量 E(x)的期望值。一元项和局部成对项不是随机的。此外，局部成对项的性质已经被充分理解[7]，它们鼓励具有较短边界长度的分割。下面我们讨论随机化的非局部连接的性质。设 E nl( x ) 是方程(3)中来自非局部成对项的能量的一部分。0我们将推导其期望值，¯ E nl ( x )。设 I pq ∈ { 0 , 1 }为指示随机变量。当我们在像素 p处采样边缘时，如果选择像素 q，则 I pq = 1。否则，I pq= 0。让我们用 ¯ I pq 表示 I pq 的期望值。¯Enl(x) =�p∈P�q∈P¯Ipqvpq(xp, xq)=�j∈{1,...,m}�p∈Bj�q∈Bjvpq(xp, xq)nj=�j∈{1,...,m}�p∈Bj�q∈Bjxq̸=xpwpqnj,(5)(a)(b)x ̸px ̸pwpqn .44960只需要考虑一种特定量化的情况，因为多个量化会导致对应能量期望的求和。同样，只需要考虑每个像素一个随机边缘的情况。假设有 m 个颜色分组，索引为 1, ..., m。令 B j表示第 j 个分组中的像素集合。我们有 ¯ I pq = Pr(I pq =1)。由于像素 q 是从像素 p所在的相同分组中采样的，如果像素 p, q不在同一分组中，则 Pr(I pq = 1) = 0。否则，Pr(I pq = 1)= 1/n j，其中 n j 是 B j 中的像素数量。给定一个标签x，期望的非局部成对能量为0在这里最后一个等式成立是因为我们假设了Potts模型（第2节），所以如果 x p = x q，则 v pq ( x p , x q ) = 0，否则w pq。方程(5)具有以下直观解释。由于相似的像素 w pq较大，w pq 是 p, q之间相似性的度量。最内层的求和是对于固定的 p 在分组 j中，它将 p 与分组 j中所有其他具有不同标签的像素的相似性相加。这个求和通过分组 j 中的像素数量进行归一化。因此，当分组 j 中与 p最不相似的像素具有不同的标签时，内部求和较低。最外层的两个求和将这些数量（按分组组织）在整个图像中相加。因此，当两个部分（对象和背景）在颜色上不相似时，期望能量较低。图3说明了我们的模型如何保留细节。它显示了一个具有主要部分和细长“尾巴”的绿色对象。显示了三种标签：第一种保留了对象，第二种和最后一种分别删除了两个和六个尾巴像素。对于只有局部边缘的情况，成对能量从左到右递减，因此如果一元项较弱，则更倾向于选择最后一个删除尾巴的标签。对于非局部边缘，成对能量从左到右递增，抵消了局部项的收缩偏差。根据它们的相对权重，尾巴可能会被保留。请注意，我们将所有从尾巴到主要对象部分的非局部连接放在一起。由于主要部分通常较大且边缘均匀采样，尾巴很可能主要连接到主要部分。这是保留稀疏的非局部连接的关键之一：它们是稀疏的，但很可能连接到重要的连接位置。03.3. 与其他CRF模型的联系0与稠密CRF的联系0图3. (a)说明了非局部连接如何保持细结构，为简单起见，w pq =1。 (b)颜色分离项0我们现在讨论与稠密CRF的联系[22]。尽管稠密CRF被广泛使用，但对其性质的理解还不够深入。[12,46]中有一些分析，但是在某些假设下进行。通过将我们的模型与稠密CRF相关联，我们可以更好地理解稠密CRF的性质。稠密CRF将每对像素p，q连接起来，其权重在p，q的颜色和位置上服从高斯分布。让我们像我们的方法一样对图像进行量化，并且只考虑稠密CRF中在某个固定bin中的像素之间的边缘。让该bin中的像素集合为B，其大小为n。假设我们有一些标签x。让E d B ( x)为这个标签在B中的像素上限制的成对稠密CRF能量，让¯ Enl B ( x)为我们在B中的像素上限制的期望非局部能量，类似于方程(5)中的方程(7)：0E d B ( x ) =空格0空格0w pq vs. ¯ E nl B ( x ) =空格0空格0这些表达式是相同的，只是我们通过n进行归一化。两者都不鼓励将binB分割为不同的标签，但如果发生分割，更喜欢不相似的部分。由于通过n进行归一化，我们的准则不会像归一化割[41]那样增长得很大。因此，当确实需要将bin分割时，与稠密CRF相比，我们的准则更容易实现。如果所有边缘权重都大致相等，则差异最为显著。在这种情况下，稠密CRF在将binB平均分成两个相等部分时，具有n的二次惩罚，而我们的惩罚是线性的，代价更低。通过n进行归一化的缺点是，如果n很大，则将一两个像素与bin的其余部分分开是很便宜的，即使这些像素与bin的其余部分相似。因此，我们的结果可能更加嘈杂，但是这种噪声可以通过Nl中的局部成对项来抵消。与OneCut的联系OneCut[44]提出了一种类似于GrabCut[40]但易于处理的能量。GrabCut能量由两部分组成。第一部分是标准的稀疏CRF，鼓励图像边缘对齐。第二部分鼓励对象和背景的大小相等，并且具有较小的外观重叠。这第二部分是NP-hard的，并且由GrabCut进行迭代和近似优化。OneCut用颜色分离项替换了第二个难以优化的部分m}min{sj(x), nj − sj(x)}.(6)m}wpq = λl · e− ∥Cp−Cq∥22σ2col.(8)wpq = λnl · e− ∥p−q∥22σ2pos − ∥Cp−Cq∥22σ2col,(9)wpq = λnl ·1∥p − q∥2 e− ∥Cp−Cq∥22σ2col.(10)44970分离项鼓励对象和背景具有较小的外观重叠，并且膨胀项可以防止微不足道的（空对象）解决方案。这些新项与标准的稀疏CRF项一起，可以在“一次切割”中进行精确优化，而无需迭代。OneCut中的颜色分离项基于对图像进行量化。将图像量化为从1到m索引的m个bin。令bin j的大小为n j，令s j ( x )为binj中在标签x中具有标签1的像素数。OneCut颜色分离项为0E cs ( x ) = 空格0对于每个bin，当所有像素都分配给相同的标签时，成本最小，当bin在对象和背景之间均匀分割时，成本最大。现在我们转向方程(5)中的期望非局部能量。让我们设置w pq =1，对于所有非局部边缘。那么方程(5)为0¯ E nl ( x ) = 空格0空格空格0空格01 n j + �。0p ∈ B j xp =1。0�。0q ∈ B jx q =0。01 nj。0�。0= �。0j ∈{ 1 ,...,m }。0�  �。0p ∈ B j xp =0。0s j0n j + �。0p ∈ B j xp =1。0n j  −  s j ( x)。0nj。0�。0= 2  ∙ �。0j ∈{ 1 ,...,m }。0s j ( x )( n))。0n j (7)。0n j 以红色表示，为了清晰起见，省略了下标和  x，与蓝色中的方程（6）一起。显然，方程（7）也是一个颜色分离项，形状略有不同，与方程（6）类似，它鼓励对象和背景具有较小的外观重叠。因此，对于非局部连接，我们的期望能量与[44]中的几乎相同。然而，我们的  w pq可以变化，我们可以设计更一般的颜色分离项，而不仅仅是基数项。注意，[44]中的构造不允许更一般的颜色分离项。因此，我们推广并改进了OneCut，参见第4.2节。与  P nPotts 的联系在[19]中，他们开发了P nPotts模型，这是一个高阶CRF。虽然我们的模型是成对的，但它与  P n Potts有关。在[19]中，动机是找到空间一致的聚类并惩罚跨聚类的切割。相比之下，我们的动机是将每个像素连接到一组稀疏的颜色邻居，这些邻居不一定在空间上靠近。然而，我们也可以将我们的模型解释为惩罚我们（非局部）聚类之间的切割，如方程（5）所示。重要的是要注意，我们切割聚类的惩罚与[19]不同。首先，它是概率性的，并且只有期望成本。此外，该成本取决于两个部分之间的不相似性：当两个部分之间的惩罚较低时，惩罚较低。0根据成对差异，两个部分是不相似的。相比之下，[19]中的成本是确定性的，它取决于两个部分的基数。[19]中的P nPotts不能模拟两个部分的不相似性。04.实验结果0我们现在在三个应用中评估我们的稀疏非局部CRF。两个应用是在经典的从边界框分割对象的设置中，GrabCut，第4.1节和OneCut，第4.2节。最后一个是用于弱监督（没有像素精确的真值）显著对象分割的深度学习应用，第4.3节。04.1. GrabCut0GrabCut[40]从其边界框中分割出一个对象。它首先通过使用GMM的负对数似然对方程（2）中的对象从框的内部和背景从框的外部进行建模。然后最小化方程（2）中的能量，并从分割的对象/背景重新估计一元项。这个过程迭代直到收敛。我们对一元项使用归一化颜色直方图的负对数似然（16个bin）[5, 48]。对于方程（3）中的局部边缘  N l，我们使用[5]。0对于非局部边缘，我们的第一选择是高斯权重。0其中  C p  是像素  p的颜色。稠密CRF必须使用高斯权重，因为它们的近似优化依赖于双边滤波[36]。我们对边缘权重没有任何限制，除了非负性。我们的第二选择是距离权重。0使用距离权重，w pq的减少速度随着边缘长度的增加而减慢，与方程（9）中的高斯权重相比。为了消除对图像大小的敏感性，我们将所有坐标归一化到范围（1，100）。在优化类似于方程（2）中的能量时，设置一元项和成对项的相对权重是很重要的。选择正确的平衡并不容易，并且可能依赖于图像。如果一元项不可靠，则应在成对项上放置更多的权重，但是过多的权重可能导致空解，即将所有内容分配给背景。我们开发了一种避免空解的方法。设  x 0 为一个空标签，即对于所有  p ，x 0 p = 0 。设  ˆ xGaussian wDistance w2.920 (.0023).921 (.0031).922 (.0035).926 (.0024).905 (.0014)4.922 (.0019).920 (.0032).923 (.0028).927 (.0011).905 (.0015)8.920 (.0022).920 (.0032).926 (.0029).928 (.0012).906 (.0014)16.919 (.0029).919 (.0028).925 (.0030).928 (.0007).908 (.0014)32.919 (.0026).920 (.0029).925 (.0027).928 (.0005).908 (.0014)44980GrabCut OneCut0# edges one quant two quant one quant two quant0表2.GrabCut和OneCut性能变化的实验评估。GrabCut数据集上的20次试验的平均Fβ分数（较高为更好），括号中为标准差。0是一个合理的非空解。我们希望确保参数设置使得方程（3）中的能量对于一个合理的非空标签比对于一个空标签更低，即E(ˆx)E(x0)，我们在能量中添加一个“膨胀”项0E b ( x ) = λp ∈P (1 − x0p ∈P (1 −xp).0其中λb只需足够大以确保E(ˆx)+Eb(ˆx)

下载后可阅读完整内容，剩余1页未读，立即下载