用于分割的K-凸形状先验Hossam Isack1、Lena Gorelick1、Karin Ng2、Olga Veksler1和YuriBoykov1滑铁卢大学University Of2西安大略抽象。这项工作扩展了流行的星凸性和其他更一般形式的凸性先验。我们把一个对象表示为一个“conv e x“的联合。 如果一个正则化模型可以被划分为凸部分，那么我们的正则化模型限制了这些部分的数量。先前的k部分形状先验被限制为不相交的部分。例如，一种方法通过不相交的凸部分优化其k覆盖来分割对象，我们表明这对局部最小值非常敏感。相比之下，我们的形状模型允许凸形部分重叠，这既放松又简化了覆盖问题，例如。需要更少的部件来表示任何对象。如本文所示，对于许多形式的凸性，我们的正则化模型对于任何给定的k都具有更好的描述性。我们的形状先验在实践中是有用的，例如。生物医学应用，并且其优化对局部最小值具有鲁棒性。1介绍正则化在计算机视觉问题/应用中是常见的，例如照片或视频编辑、生物医学图像分析、语义CNN分割的弱监督训练等。典型的正则化技术通常对应于施加各种先验，例如平滑度[1这项工作提出了一个特别简单的，但足够的判别和有效的模型，一般形状先验的基础上关于凸性的几何概念。虽然我们的主要思想可以在离散或连续设置中表达，但为了简单起见，我们专注于前者提出了一种基于图割的组合优化方法[2，6]。凸性是用于分割的强大正则化概念[8，4，13，14]。然而，在实际应用中，很少有物体是严格凸的。我们的前提是，感兴趣的对象可以表示为一个联合的少数凸部分。我们提出了一种形式的多凸形状先验，即k-凸性，规范化的问题分割这样的对象。我们的k-凸性定义是计算几何文献[15]中k-星的推广，但它与[16]中如何使用k我 们 的 一 般 k- 凸 性 方 法 可 以 基 于 不 同 形 式 的 凸 性 ， 例 如 。[14][15][16][17][18][19]在分割中，k-凸性的概念首先由[13]在星[4]的上下文中讨论，但是引用NP-硬度，他们专注于更容易优化的多星先验，每个星都有预定义的区域，参见表1中的k-区域与k-凸性2H.伊萨克湖Gorelick等人2可以通过将这些部分分割为具有适当凸性先验的独立对象来避免对象部分[13]的预定义区域这是k-凸性的可行替代方案，参见表1中的k-不相交，但我们发现通过不相交的凸部分表示对象会导致局部最小值。此外，与k-凸性中的重叠凸部分相比，可能需要更大数量的不相交凸部分来表示相同的形状，参见表1。类似于[6，4]，我们的形状先验方法在图切割优化框架内呈现，但其他优化技术也是可能的。除了多部分对象建模，我们的方法很容易适应分割独立的重叠对象，例如。单元格，由活动轮廓[7，17]，水平集[18]和图形切割[19]中的其他先验解决。(a) （b）规则星[4]（c）测地线星[13]（d）刺猬[14]图。1.一、不同类型的凸性：（a）规则凸性;黄色形状是凸的，绿色不是。（b）星形凸性;绿色形状是关于r. t的星形凸性中心cwhile红色并不自由（c）显示了到c的测地线路径，其中红色形状是测地线-星形-凸的。(d)表示向量场V，红色的形状是刺猬凸的。（a-d）中的线、射线和向量场用于定义凸性约束，详情参见文本Convexity的类型：有不止一种方法来定义凸性。如果形状S形成凸集，则形状S被认为是规则意义上的凸的，即若p，q∈S，则直线pq也在S中。在实践中，正则凸性通常通过仅沿预定义数量的方向强制凸性约束来近似[8]如图第1（a）段。此外，即使在分割单个凸对象时，所得函数也是非子模的[8]，即NP-困难。替代地，在实践中使用更容易优化的凸度类型，例如星凸性[4]。形状S被认为是关于r. t的星凸的。中心c，如果对于任何像素p∈S，线cp位于S中，参见图1（b）。在[4]中首次使用星凸性作为形状先验。后来[13]提出了测地线星凸性，它施加了与星凸性相同的约束，但沿着c和p之间的测地线路径，见图1（c）。使用图像颜色信息和c与p之间的距离来计算路径。[4]和[13]都将其形状先验编码为局部需要光线或路径跟踪的成对像素约束最近[14]提出了刺猬凸性，它使用户能够更多地控制形状空间，并且与[4，13]不同，它不需要光线或路径跟踪。相反，刺猬凸性需要一些向量场V来约束形状范数snp|p∈S}在一个中心距离θ中与h相等，即. e.∠⇀npVp≤θ，seeFig. 1(d). Hedgehog凸性比星凸性和测地线星凸性更一般[4，13]。例如，对于以c为中心的径向向量场V和θ= π，它可化为星凸性。此外，如果在上述情况下θ = 0，则形状S必须是以c为中心的圆，如图2所示的例子。二、用于分割的3k-区域k-不相交k-凸性（我们的）Ri=φi/= j ∈ [1，. . . k]Si∈Ri i∈ [1，. . . k]SiSj=φi=/j∈[1，. . . k]没有一表1. 基于（1）的不同类型的多凸性：对应于每种类型的多凸性的附加约束在第二行中示出最后两行示出了k=2的示例 形状S以实线红色示出，而部件{Si}之间的内部边界以虚线红色示出。附加约束限制k-区域和k-不相交形状表示能力，例如它们需要多于两个部分来描述k-凸性的上例。如前所述，在实践中，感兴趣的对象很少是凸的，但是任何任意对象总是可以被划分为凸部分。多凸性是一种正则化模型，其中感兴趣的对象被假设为凸部分的并集。在[13]和[14]中引入了不同形式的多凸性。[14]的背景下，geodexi-star和hedgehog凸，分别。多凸性：不失一般性，我们将在正则凸性的背景下回顾多凸性，但是我们的论点是一般性的，并且适用于前面所涉及的所有类型的凸性。在多凸性中，最终分割S是k个部分的并集[kS=i=1Si（1）其中每个部分Si是凸的。注意，多凸性并不保证S的连通性，即S可以包含多于一个连通分量。这可以通过添加连通性先验来解决，但这样的先验是NP难的[20]。形状连通性超出了本文的范围。先前形式的多凸性强制执行额外的约束，这些约束要么简化优化[13]，要么固有地出现在不同的上下文中，例如：独立对象的分割[14]。我们观察到，这样的约束不一定限制多部分对象分割的上下文中的多凸形状先验的描述性。实施例2额外约束实施例14H.伊萨克湖Gorelick等人在[13]中，图像域被分成k个不相交的预定义区域，例如星凸性背景下星心的Voronoi胞。此外，每个Si被约束为凸的并且被限制在其对应区域内。在星形、测地线星形或刺猬凸性的情况下，将每个部分绑定到预定义的区域导致子模能量，即可以在多项式时间内得到最优解我们通过k-区域[13]来指代这种方法，参见表1。与[13]不同，[14]不将对象部分绑定到预定义区域。然而，在这方面，[14] 强制部件之间的互斥在[14]中，互斥是一个尽管如此，[14]可以应用于分割多部分对象，但在实践中，它对局部最小值非常敏感我们参考[14]通过k-不相交的多凸性方法，见表1。我们的主要贡献是一个新的多凸形状先验，k-凸。与[13，14]不同，我们的方法除了凸性之外，不会对零件施加任何额外的约束。表1将k-凸性与以前的多凸性方法并列。图2展示了k区域和k不相交的实际缺点。虽然k-区域可以被最优地求解，但是很明显，其形状表示能力是有限的，参见图1B。第2段（b）分段。虽然k-不相交消除了部分对预定义区域的限制，但它对初始化敏感，并且易于出现局部最小值，参见图11。第2段（c）分段。 我们的k-凸克服了这些缺点，放松的解决方案空间，即。允许部分重叠，见图1。第2段（d）分段。(a) 用户种子（b）k-区域[13]（c）k-不相交[14](d)k-凸性（我们的）图二、多凸性方法的局限性：为了强调这些局限性，本合成示例使用了一种严格形式的凸性形状先验（θ≈ 0和径向矢量场的hedgehog），对每个部分强制执行近圆性。实际上，循环性先验在实践中是有用的，例如细胞分割[17，7]，参见图1B。7.第一次会议。在（b）中，以点青色示出的区域我们的k-凸性先验也可以通过中轴变换（MAT）[21]的形状重建来激励，中轴变换是具有给定半径的重叠骨架中心圆的联合。如前所述，圆可以被视为凸形先验的特别紧密的形式。因此，利用我们的k-凸性形状先验的分割可以被视为MAT形状重构的放松：代替圆的并集，我们计算凸部分的并集，我们不假设固定的半径或尺度，并且我们使用部分骨架，例如用户涂鸦，而不是完整的骨架。注意，具有k-凸性形状先验的分割基于图像数据（例如，对象颜色模型），而MAT重建假设已知的圆半径。这些差异如图1A所示。3.第三章。用于分割的5ppp(a) MAT形状重建（b）k-凸性分割图三.图示了从骨架/部分骨架（红色）的形状重建。重建的形状是蓝色部分的结合。(a)使用骨架和径向函数进行重建。(b)使用部分骨架，颜色线索和k-凸性（k=2）和hedgehog凸性[14]进行重建，其中θ≈0。请注意，对于使用距离图的半径为V和θ 0的刺猬凸性，将所有形状的集合限制到距离图的水平集（黑色虚线轮廓）。我们的贡献清单概述如下：• 提出了一种新的用于多部分对象或重叠对象分割的多凸性形状先验，即k-凸性。• 基于[2，6]的k-凸性的图割优化框架• 实验结果比较我们的k-凸形状之前，现有的多凸方法[13，14]。我们还显示了不同类型的凸性的k-凸性结果• 为了完备性，证明了我们的k-凸性的一般公式是NP-难.本文的结构如下。在第2节中，我们将k-凸性表示为允许标签重叠的多标签能量。我们在第三节中展示了如何优化k-凸性。我们在第4节中的生物医学分割的背景下比较和验证我们的方法，并将k-凸性应用于不同类型的凸性。最后，第5节总结并讨论了未来的工作。2能源设Ω是所有图像像素的集合，并且L ={1，. . .，k}是k个可重叠的前景部分的索引的集合，即标签另外，令f ={fp|其中fp是像素标记，使得fp={fi ∈ {0，1} |i∈ L}。如果fi = 1，则像素p属于标签i，否则为0。此外，如果像素未被分配给任何前景标签，则该像素被认为是背景像素为了在标识背景像素时的符号简单性，我们将使用指示符函数φ（fp）.φ（fp）=1 iffi=0i ∈L0否则。（二）6H.伊萨克湖Gorelick等人我们的k-凸性多部分分割能量是数据联系我们平滑度联系我们凸性联系我们E（f）=p∈ΩDp（φ（fp））+λp，q∈NV（fp，fq）+i∈LCi（f，θ），（3）其中λ是正态分布，N是最 小 值 ， 并 且 能 量 项 在 下 面 更 详 细 地 描述 。在我们的数据项中，Dp（φ（fp））测量像素与背景（Bg）或前景（Fg）颜色模型的拟合程度，具体取决于其当前标签。最常用的数据术语之一是负对数似然.D（φ（f））=-ln Pr（Ip|Bg）φ（fp）= 1（四）p p- ln Pr（Ip|Fg） φ（fp）= 0其中Ip是像素p处的图像强度。由于我们将单个对象分割为多个凸部分，因此我们假设前景部分具有相同的颜色模型。尽管如此，如果需要，前景部分的颜色模型可以不同，类似于[6]。平滑项是一个正则化子，它不鼓励标记相邻像素p，q∈ N之间的不连续性。每当像素被分配给背景而其相邻像素被分配给至少一个前景3时，就发生不连续性。成对不连续性的最简单形式是，V（fp，fq）=wpq[φ（fp）/=φ（fq）]（5）Iq.请注意，我们的能量仅惩罚前景部分的并集的外部边界。凸项用于禁止（或惩罚）具有非凸部分的解在（3）中，Ci（f，θ）编码标签i的凸性先验，而θ是先验特定参数（s）。可以强制执行以下凸性先验中的任何一个;[4]星，测地线星[13]，刺猬[14]或规则[8]凸性。例如，为了加强刺猬凸性[14]，我们定义Ci如下ΣCi（f，θ）=w∞[fi= l，fi= 0]，（6）p q（p，q）∈Ei（θ）其中w∞是一个非常大的常数，θ是形状紧密性参数，并且如[14]等式（3）中所定义的，E i（θ）是用于在给定θ的情况下近似标签i的刺猬形状先验的成对有向边的集合。从现在开始，我们将坚持刺猬凸性作为一个展示案例。3前景标签之间的不连续性可能会受到惩罚，如在细胞分割中。用于分割的7p3优化在附录A中，我们证明了（3）是NP-困难的。 为了找到一个近似解，我们在[2，6]的四个步骤中找到。通过将数据存储在一个数据库中，可以轻松地将数据存储在数据库中。类似于[6]，在我们的方法中的每次迭代，Alg. 1，随机选取一个标号α∈ L，并允许它的支持域同时伸缩而不影响其上界的所有部分. 我们通过扩展-收缩移动（EC-Move）来定义移动，并且它是二进制子模移动，参见图。4.当无法找到降低能量的α-EC移动时，算法停止。算法1：Α-E扩展-映射1 f：=initiallaeling2 重复3对于每个α∈L4fα：=argminfE（f）其中f∈f是nα-expansinn-contrainoff5ifE（fα）E（f）6f：=fα7 直到收敛(a) 当前标记（b）EC-Move二进制选择（c）可行EC-Move当α=1时，来自（a）当α=1时图4.第一章EC移动图示：（a）显示了3部分对象的当前标签（b）示出了当针对α=1应用EC-Move时针对每个像素的二进制选择正如你可以看到在(c)允许任何像素增加或减少α，而其它前景部分保持不变。在α-EC-Move期间，仅考虑α的凸性先验3.1扩张-收缩移动（EC-Move）α-EC-Move允许α获得或失去像素支持，这是一种二进制移动。我们只将EC移动应用于前景标签，因为背景标签上的EC移动是非子模块化多标签移动，因为背景像素在收缩时有多个前景标签可供选择然而，可以仅允许背景如[14]中那样扩展。Givencurentlaeling（fanEC-Moveonα∈Lcanbeformulatedasabiary）能量如下：Eα（x）=Σp∈ΩDα（xp）+λΣp，q∈NwpqVα（xp，xq）+Cα（x，θ），（7）8H.伊萨克湖Gorelick等人其中x ={xp∈{0，1}| p∈Ω}使得xp= 1意味着p将α添加到其当前标签集f（7）中的数据项定义为：.Dα（x）=Dp（0）xp= 1（八）p p D（φ（ f））x = 0，P P P平滑度项被定义为[φ（f= 0，x = 0Vα（xp，xq）=p[φ（fp）Qp0]xpQ= 0，xq= 1（九）[φ（f0xp= 1，xq= 1，并且凸性项被定义为ΣCα（x，θ）=w∞[xp= 1，xq= 0]。（十）（p，q）∈Eα（θ）子模性：如[22]所示，任何一阶二元函数都可以精确优化，如果它的成对项是子模的。二元函数h是次模的，如果h（0，0）+h（1，1）≤h（1，0）+h（0，1）.我们的能量（7）是次模的，因为它可以被写为所有可能的p和q对上的次模成对二进制能量之和。我们证明了Vα是一个子模Vα（0，0）+Vα（1，1）≤Vα（0，1）+Vα（1，0）（11）[φ（f（p）/=φ（f（q）]+0≤[φ（f（p）=/0]+[φ（f（q）holdsforanyφ（f（p）anddφ（f（q））0]（12）ifφ（f_p）=0，φ（f_q）=0t∈n（12）由于s到0+0≤0+0ifφ（f_p）=0，φ（f_q）=1then（12）由于so1+0≤0+1ifφ（f（p）=1，φ（f（q）=0then（12））如果φ（f（p）=1，φ（f（q）=1，则n（12）的值为0+0≤1+1.最后，证明了hedgehog凸性约束h（xp，xq）=[xp= 1，xq = 0]是次模的h（0， 0）+h（1， 1）
下载后可阅读完整内容，剩余1页未读，立即下载
