像素间信息流实现自然图像抠图

1设计有效的像素间信息流实现自然图像抠图YagızAksoy1，2，TuncOzanAn2，MarcPollefeys11ETHZuürich2Disne yResearchZuürich摘要我们提出了一种新的，纯粹的基于亲和力的自然图像抠图算法。我们的方法依赖于仔细定义的像素到像素的连接，使有效地利用信息的图像和trimap。我们控制的信息流从已知的不透明区域到未知区域，以及在未知区域本身，通过利用多个定义的像素亲和力。通过这种方式，我们在前景对象的挑战性区域附近实现了对蒙版质量的显着改进。在其他形式的信息流中，我们引入了颜色混合流，它建立在局部线性嵌入的基础上，有效地封装了不同像素不透明度之间的关系。我们所得到的新的线性系统配方可以解决封闭形式，是强大的几个基本的挑战，如孔和远程复杂的结构，在自然席子。虽然我们的方法主要是作为一个独立的自然抠图工具，我们表明，它也可以用于正则化抠图获得各种基于采样的方法。我们使用公共阿尔法抠图基准的评估表明，一个显着的性能改善国家的最先进的。1. 介绍从图像中提取前景物体的不透明度信息自然图像抠图在过去的十年里受到了研究界的极大关注，并且可以被认为是视觉计算中的经典研究问题之一。从数学上讲，图像抠图需要将从前景到背景的过渡区域中的像素颜色表示为它们的底层前景和背景颜色的凸组合前景色的权重或不透明度由于前景色和背景色以及不透明度都是未知的，因此估计不透明度值是一个高度不适定的问题。为了减轻这个问题的困难，通常除了原始图像之外还提供三重图trimap是将输入图像粗略分割为前景、背景图1. 对于输入图像（a）和三元图（b），我们定义图像内部的几种形式的信息流。我们从颜色混合流（c）开始，然后添加从已知区域到未知区域的信息流的直接通道（d），并让未知区域内部的信息有效共享（e）以提高具有挑战性区域的哑光质量。最后我们加入局部信息流，得到空间平滑的结果（f）。以及具有未知不透明度的区域。基于亲和力的方法[4，5，11]构成了文献中突出的自然抠图方法之一。这些方法利用像素相似性将α值从已知α区域传播到未知区域。它们提供了清晰的数学公式，可以以封闭形式求解，易于实现，并且典型地产生空间一致的遮罩。然而，当前的方法不能有效地处理跨越大面积和空间上不连通的未知区域（即，孔），即使在简单的情况下，如图2所示。这是因为使用像素到像素亲和度定义的直接公式化不能有效地表示在现实生活对象中常见的复杂结构为了减轻这些缺点，我们依赖于一个仔细的，逐案设计的alpha值应该如何在图像内传播。我们把这种传播称为信息流。本文的核心思想是一种新颖的战略--2930EGY用于控制从已知三重图区域到未知区域以及未知区域本身内我们制定了这一战略，通过使用各种亲和力的定义，包括颜色混合流，这是基于局部线性嵌入，丁和定制的图像抠图。随着我们逐步添加信息流策略的新构建块，对哑光质量的逐步改进如图1所示。我们最终的线性系统可以在封闭形式中求解，并导致比最先进的质量有显着的提高。我们证明了抠图质量的改进，定量，以及通过视觉的挑战性的图像区域的extration- tion。我们还表明，我们的能量函数可以重新制定为一个后处理步骤，用于正则化的空间不一致的mattes估计基于采样的自然抠图算法。2. 相关工作图像中的不透明度估计是一个活跃的研究主题，具有多种应用，例如绿屏键控[1]，软颜色分割[2，17]，反射去除[16]和去模糊[12]。在本文中，我们的目标是估计不透明度通道的物体在前面的一个复杂的背景，一个问题被称为自然图像抠图。文献中的众多自然抠图方法主要可以分为基于采样的方法和基于亲和度的方法。在本节中，我们简要回顾了与我们的工作最相关的方法，并将其推荐给读者。一个全面的调查[19]，以了解更多信息。基于采样的方法[8，9，10，15]通常试图从由三重图定义的背景和前景区域中收集大量样本，并根据其单独定义的标准选择最佳拟合对，用于将未知像素表示为前景和背景的混合物。虽然它们在远程和具有挑战性的结构周围表现良好，但它们需要基于仿射的正则化来产生空间一致的遮罩。此外，我们使用公开的抠图代码的经验表明，实现基于采样的方法有时可能具有挑战性。基于亲和度的抠图方法主要利用依赖于颜色相似性或空间接近度的像素相似性度量，并从具有已知不透明度的区域传播alpha值。局部亲和度定义，特别是抠图亲和度[11]，对像素位置周围的局部补丁进行操作，以确定局部信息流的数量并相应地传播alpha值。抠图亲和力也被广泛采用作为Gastal提出的基于采样的方法[8，10，15][19]《易经》云利用非局部亲和性的方法类似地使用颜色相似性和空间接近性来确定不同像素的α值应当如何彼此相关KNN抠图[4]为每个未知像素确定几个邻居，并强制它们在特征空间中具有相对于其距离的相似alpha流形保留编辑传播算法[5]也为每个像素确定一组邻居，但将每个像素表示为其特征空间中邻居的线性组合。Chen等人[6]提出了一种混合方法，该方法使用基于采样的鲁棒抠图[18]作为起点，并通过基于图的技术改进其结果，其中它们结合了非局部亲和力[5]和抠图亲和力。Cho等人[7]结合闭型抠图[11]和KNN抠图[4]的结果，以及基于抽样的方法综合抽样[15]，通过给将它们转化为卷积神经网络。在这项工作中，我们提出了颜色混合流，并讨论了它的优势，利用陈等人的亲和力定义。[5]的文件。我们还定义了其他三种形式的信息流，我们使用它们来仔细地分布未知区域内的alpha我们的方法不同于Chenet al。[6]因为我们的整体信息流策略超越了组合各种像素亲和力，正如我们在第3节中进一步讨论的那样，同时需要更少的内存来解决最终系统。代替直接使用其他基于亲和力的方法的结果，如Cho等人所做的。[7]，我们制定了一个优雅的配方，有一个封闭的形式的解决方案。总之，我们提出了一种新的，纯粹的亲和力为基础的抠图算法，生成高质量的阿尔法抠图，而不使用基于采样的方法或学习步骤。3. 方法Trimap通常作为用户输入以自然方式提供，并且它们由三个区域组成：完全不透明（前地），完全透明（背景）和未知不透明F、B和U将分别表示这些区域，并且K将表示F和B的并集。基于亲和度的方法通过使用各种亲和度定义将不透明度信息从K传播到U来操作 我们以多种方式定义这种信息流，以便U内的所有像素有效地接收来自图像中不同区域的信息。由于对象的透明度或复杂部分，图像中的原始颜色相互混合，因此会发生蒙版中的不透明度过渡我们利用这一事实，将U中的每个像素表示为颜色相似的像素的混合物，并定义一种形式的信息，我们称之为颜色混合流（3.1节）。我们还添加了从U中的每个像素到F和B的连接，以促进从已知不透明区域到甚至最遥远的不透明过渡区域的直接信息流图像（第3.2节）。为了分配来自颜色混合和K到U流的信息，我们定义了U内信息流，其中具有相似性的像素具有相似性，31ppp，qpwαq¨¨pΣ输入Ground-truthTrimap封闭形式KNN-HSVKNN-RGBMan。Pres.CMF-only Ours图2. 我们创建了两个双色调500x500图像，并将它们模糊以获得区域之间的柔和过渡。这些数字显示了估计的alpha遮罩和地面真实值之间的绝对差异之和。封闭形式的抠图[11]使用局部信息流，KNN抠图[4]使用基于HSV或RGB的相似性度量，流形保留编辑传播[5]使用LLE权重[14]。我们观察到，即使只使用颜色混合流（CMF），在大的不透明度梯度的性能改善（第3.1节）。还请注意，使用我们的最终公式，大梯度和孔都以高精度恢复进一步讨论见案文U内部较大颜色彼此共享其不透明度信息（第3.3节）。最后，我们再加上当地的信息--流，影响其直接空间邻居的不透明度的像素，这确保了空间上连贯的最终结果（第3.4节）。我们将信息流的各个形式表述为能量函数，并将它们聚合到全局优化公式中（第3.5节）。其中cp表示RGB值的3x1向量。我们使用Roweis和Saul[14]的方法最小化该能量。请注意，由于我们只使用RGB值，因此在最小化期间计算的邻域相关矩阵很有可能是奇异的，因为很容易有两个具有相同颜色的邻域。因此，我们通过添加3.1. 混色信息流10−3IK×KCM 在反演之前，×KCM由于透明物体以及由于成像传感器的有限分辨率而不能完全捕获的物体的精细结构和尖锐边缘，图像的某些通过研究这些颜色混合，我们可以获得关于如何在像素之间传播alpha值的重要线索。特定混合中原始前景色的量决定像素的不透明度。根据这个事实，如果我们将像素的颜色表示为其他几种颜色的加权组合，那么这些权重也应该表示像素之间的不透明度关系。为了利用这种关系，对于U中的每个像素，我们在整个图像中通过近似K个最近邻搜索在特征空间中找到KCM=20个我们将该搜索的特征向量定义为[r，g，b，x，y，y]T，其中x，y和y是由图像宽度和高度归一化的图像坐标是单位矩阵。请注意，虽然我们使用Roweis和Saul [14]的方法来最小化（1）中的能量，但我们没有完全采用他们的局部线性嵌入（LLE）方法。LLE在特征空间中找到一组邻居，并使用特征空间中的所有变量来计算权重，以减少输入数据的维数。流形保持编辑传播[5]和LNSP抠图[6]算法在图像抠图的公式中直接使用LLE权重然而，由于我们只对颜色的加权组合而不是空间坐标感兴趣，因此我们在能量最小化步骤中排除了空间坐标这增加了估计权重的有效性，其效果甚至可以在最简单的情况下观察到，例如图2中，其中流形保持权重传播和仅CMF结果仅在权重计算步骤中不同。我们将表示颜色混合流的能量项定义为：像素。被选择为也在附近的相似颜色像素的这组邻居由NCM表示。然后，我们找到组合wCM的权重，它将确定像素p和q∈ NCM之间的信息流量。权重被定义为使得ECM= Σp∈Uαp−Σq∈NCM2CM系列p，q.（二）像素的相邻像素的颜色给出了原始像素组合时的颜色¨ ¨¨ ¨联系我们3.2. K到U信息流颜色混合流已经提供了关于如何形成混合颜色像素的有用然而，在这方面，arg min−p−CMp，qwp，qcq？q∈NCM<$、（1）U中的许多像素通过它们的邻居间接地接收存在于三重图中的信息，所有这些像素都可能2WCM¨32p，qp，qppWWpppp，qp，qppp，qp输入地面实况无K到U流无置信度（ηp）我们的方法图3. 从F和B到U中最偏远区域的直接信息流显著提高了我们在洞周围的性能（顶部插图）。使用置信度进一步提高了性能，特别是在前景和背景颜色相似的区域周围（底部插图）。输入无K-to-U流有K-to-U流我们可以确定混合物通过（1）使用权重wF和wB估计：cF=Σq∈NFFCp，q ， cB=Σq∈NBBCp，q 、 （6）pFpBp p图4.当前景对象是高度透明的时，K到U流不能很好地执行参见讨论文本。并且根据所估计的前景颜色cF和背景颜色cB是：-FB-2在U。这种间接的信息流可能还不够ηp=<$cp−cp<$ /3。（七）特别是对于远离K的偏远地区。为了促进双方的信息交流，F和B直接进入U中的每个区域，我们添加连接-除以3是为了得到[0，1]之间的置信度值。我们更新新能源项，以反映我们对估计的信心：从U中的每个像素到K中的几个像素。 为在U中的每个像素，我们发现KKU=7个相似的像素，F和B，以形成像素集合NF和NBEKU= Σ。Σ2ηpαp−wF.（八）p pp∈U使用特征空间进行K近邻搜索[r，g，b，10x，10y]T到fav或附近的像素。我们使用NF和NB中的像素一起表示像素对能量项的这种更新提高了具有相似前景和背景颜色的区域中的抠图p p通过最小化（1）中的能量来着色Cp使用所得权重wF和wB，我们将一个能量函数定义为如图3所示。应该注意的是，K到U的信息流不是代表K到U的流动：Σ Σ Σ当前景物体高度透明时，图4所示的图2 。 这主要是由于低代表性-NF和NB的函数幂，对于cp，p pFBEKU=p∈Uαp−q∈NFwp，qαq−q∈NBwp，qαq（三）透明区域作为最近邻搜索不给出用于wF估计的良好拟合像素。We结构注意，对于q∈F，αq=1;对于q∈ B，αq=0。这一事实允许我们定义两个组合权重，一个将像素连接到F，另一个连接到B，如下所示：我们在3.5节中进一步讨论的最终线性系统。3.2.1预处理trimapFFBBwp=wp，q 和 wp =wp，q（4）在确定NF和NB之前，我们预处理内部q∈NFp pq∈NBp p使得wF+wB=1，并且re写（3）为：把三图，以方便寻找更可靠的邻居-bors，这反过来又增加了K到U的有效性p pE酷 Σ。=αpp∈U-wF2.（五）流尽管是完全不透明或透明的，但Trimap通常具有标记为U的区域，因为绘制非常详细trimap是一项非常麻烦且容易出错的工作。有几种方法[8，10]将trimap作为预处理步骤进行细化WWQQ33pp（1）中的能量最小化给了我们类似的权重对于所有q，当cq彼此相似时因此，如果NF和NB具有具有相似颜色的像素，通过从它们的边界开始扩展F和B，如Shahrianet al.[15 ]第10段。结合该技术改进了我们的结果，如图5（d）所示我们p p重量wFB变得不可靠。 我们占也适用于这一扩大的F和B区后，磨砂这一事实，通过增加能量函数（5）与con，诚信价值观估计作为后处理。 由于三重图修剪Shahrian等人的方法。[15]传播已知区域34pp，qpppppp，qpNppppInput Trimap No trim CS trim Both trimNU=N<$U < ${q|p∈N<$ U}来确保信息p p q在p到qNU. 然后我们确定-利用L1距离在特征向量之间：wU=max.Σ1−vp−vq<$1， 0q ∈ N U。（十）然后，用于U内信息流的能量项可以被定义为：图5.三重图显示为覆盖在原始图像上（b）其中扩展的前景区域用蓝色（CS）示出Σ ΣEUU=Up，q（αp− αq）2.（十一）[15]《易经》云：“君子之道，焉可诬也？有始有卒者，其惟圣人乎！接地区域为红色（CS修剪）和黄色（补丁搜索）。CS修剪使完全不透明/透明的区域更干净，而我们的修剪改善了远程结构周围的结果除了这种基于边缘的修剪之外，我们还利用基于块的修剪步骤。为此，我们扩展了透明和不透明的区域，依靠补丁统计。我们将3D RGB正态分布Np拟合到每个像素p周围的3×3窗口。 为了确定最相似的分布在F中，对于一个像素p∈ U，我们首先找到20个具有最接近均值向量的分布。我们定义前景匹配p∈Uq∈NU未知像素之间的信息共享增加了复杂结构周围的哑光质量，如图1（e）所示。KNN抠图[4]使用类似的亲和度定义来使相似颜色的像素具有相似的不透明度。然而，仅依赖于整个图像的这种形式的信息流，会在最终的阿尔法蒙版中产生一些典型的伪影。根据特征向量定义和图像颜色，生成的alpha值可能错误地低估了平滑过渡（KNN-HSV图2中的情况），当U中的像素的邻居发生时，分数bF=minq∈FB（Np，Nq），其中B（·，·）表示笔主要是在只有F或B，或创建平面，恒定的al-两个正态分布之间的Bhattacharyya距离选项。我们以相同的方式找到背景bB然后，我们根据以下规则为像素p如果bFτc且bB>τf，Alpha区域而不是微妙的梯度（KNN-RGB情况下，图2）。仅基于颜色相似性来限制信息流不能表示复杂的α过渡或具有α梯度的宽区域。3.4.本地信息流p∈B如果bBτc和bF>τf（九）Uˆp p否则空间连通性是信息流动的主要线索之一我们将U中的每个像素连接到它的8个立即数简单地说，一个未知的像素被标记为F，即。 如果它在F中有强匹配而在B中没有匹配，则在修剪后的前地面中，这由常数τc= 0确定。25且τf= 0。9 .第九条。 通过在远离U-K边界的区域中插入已知的alpha像素，我们进一步提高了在具有挑战性的远程区域中的抠图性能（图5（e））。3.3. U内信息流由NL表示的邻居，以确保空间上平滑的垫，tes. 本地信息流的数量也应该适应图像中的强边缘为了确定局部流的量，我们依赖于莱文等人提出的抠图亲和力定义。[11 ]第10段。抠图亲和度利用局部面片统计量来确定权重wL，q∈ NL.我们将相关的能量项定义如下：U中的每个像素通过以下方式接收信息：颜色混合和K到U流。除此之外，我们ΣΣEL=Lp，q（αp-αq）2。（十二）希望有效地分发U内部的信息我们通过鼓励U内部具有相似颜色的像素具有相似的不透明度来实现这一点。对于U中的每个像素，我们发现KU=仅在U内部的5个最近邻，以确定KU 使用特征向量定义为v=[r，g，b，x<$/20，y<$/20]T。注意，我们缩放了特征向量的坐标成员，在第3.1节中使用，以减少它们对最近邻选择的影响。这让NU h av epixelsinsideU that is far away，这样信息在未知区域内移动就更自由了。我们利用社区WW35pp∈Uq∈NL尽管很好地表示了局部信息流，但抠图亲和力本身无法表示大的过渡区域（图2顶部），或者与F或B具有弱或无空间连接的孤立区域（图2 底部）。3.5. 线性系统与能量最小化我们最终的能量函数是代表每种形式的信息流的四种能量定义的组合E1=ECM+σKUEKU+σUUEUU+σLEL+λET，（13）36p输入基于地面真实值采样的αε[15]通过[9]进行正则化我们的正则化图6. Gastal和Oliveira [9]的matte正则化方法丢失了远程细节（顶部插图）或填充了漏洞（底部插图），而我们的正则化方法能够保留基于采样的方法捕获的这些细节。其中σKU=0。05，σUU=0。σL=1和λ=100是确定相应信息流强度的算法常数如前所述，K-to-U信息流对于高度透明的对象并不有效.确定是否包括K到U信息流并解决ET= Σp∈F（αp−1）2+Σp∈B（αp−0）2对于给定的图像，或者排除它并求解E2我们使用简单的基于直方图的分类器来确定我们是否期望高度透明的结果。如果蒙版是高度透明的，则U中的像素是前-是保持已知不透明度值不变的能量项stant.对于N个象素的图象，通过定义N×N稀疏矩阵WCM，WUU和WL，它们对于具有相应信息流的象素对具有非零元素，而向量WF对于p ∈ U具有元素WF，对于p∈ F为1，对于p∈ B为0，我们可以用矩阵重写（13）形式为：E1=αTLIFMα+（α−wF）TσKUH（α−wF）+被认为大多具有F和B颜色的混合色。另一方面，如果除了软过渡之外，真实的alpha值大部分为0或1，则U的直方图将可能是F和B的直方图的线性组合，因为U将大部分包括与K非常相似的颜色。根据这一观察，我们试图将U中像素的直方图DU表示为DF和DB的线性组合。直方图是从20个（α−αK）TλT（α−αK（十四））的情况下，分别在F和B中围绕U的像素宽区域我们定义误差e，线性组合的度量，其中，T是具有对角元素（p，p）1的N×N对角矩阵，如果p∈ K，则为0，H是具有如（7）中定义的对角元素ηp的稀疏矩阵，αK是具有第p个元素的行向量，如果p∈ F，则为1，否则为0，α是要估计的α值的行向量，并且LIFM被定义为：nation表示真实的直方图，如：e= min aDF+ bDB− DU2。（二十）甲乙丙较高的e值表示高度透明的哑光，在这种情况下，我们更喜欢E2而不是E1。LIFM =（DCM-WCM）T（DCM-WCM）+σUU（DUU-WUU）+σL（DL-WL），Σ（十五）4. 基于采样的抠图方法基于采样的自然抠图方法通常选择其中对角矩阵D（·）（i，i）=jW（·）（i，j）.对于U中的每个像素，独立地或通过付费来采样，（14）中的能量可以通过求解（LIFM+ λT + σKUH）α =（λT + σKUH）wF.（十六）我们定义了第二个能量函数，它排除了K到U的信息流：E2=ECM+σUUEUU+σLEL+λET，（17）其可以矩阵形式写成：E2=αTLIFMα+（α−αK）TλT（α−αK），（18）并且可以通过求解来最小化：（LIFM+ λT）α = λT αK。（十九）我们使用预条件共轭梯度法[3]求解（16）和（19）中的线性方程组37很少注意空间的连贯性。为了获得对于空间相干的遮片，通常的做法是将他们对α值的初始猜测与平滑度测量相结合。多种方法[8，9，10，15]采用Gastal和Oliveira [9]提出的后处理方法，该方法将抠图亲和力[11]与基于采样的α值和相应的置信度相结合。这种后处理技术可以改善蒙版，但由于它只涉及局部平滑，因此结果仍然可能是次优的，如图6（d）所示。我们的方法与多种形式的信息流也可以用于后处理的方式类似，[9]《易经》云：“以德为本，以信为本。考虑到通过基于采样的方法找到的初始alpha值和置信度，我们定义了matte正则化能量： ΣER=E2+σRηp（αp−αp）2，（21）p∈U38表1.我们在alpha matting基准测试中的得分[13]以及提交时发布的性能最好的方法S、L和U表示基准测试中包含的三种trimap类型：small、large和user。粗体和蓝色数字表示在基准测试中所有已发布方法中获得的最佳分数。平均排名排名S巨魔LUS娃娃LUS驴LUS大象L US植物LU菠萝S L U塑料袋S L US净LU整体SLU绝对差之和我们2.12.81.62.010.311.212.55.67.37.33.84.131.42.32.05.97.18.63.65.74.618.319.315.820.222.222.3DCNN [7]3.24.61.63.412.014.114.55.36.46.83.94.53.41.62.52.26.06.99.14.06.05.319.919.219.119.420.021.2CSC [8]1013.56.410.313.615.614.56.27.58.14.64.84.21.82.72.55.57.39.74.67.66.923.723.021.026.327.225.2LNSP [6]10.77.310.314.612.222.519.55.68.18.84.65.93.61.53.53.16.28.110.74.07.16.421.520.816.322.524.427.8均方误差我们3.55.02.13.40.30.40.50.30.40.50.30.30.20.10.10.10.40.40.60.20.30.31.31.20.80.80.80.9DCNN [7]3.74.51.94.60.40.50.70.20.30.40.20.30.20.10.10.10.40.40.80.20.40.31.31.21.00.70.70.9LNSP [6]9.26.68.612.40.51.91.20.20.40.50.30.40.20.00.10.20.40.50.80.20.30.41.41.20.81.01.11.5KL-D [10]11.611.010.513.30.40.90.70.30.50.50.30.40.30.10.20.10.40.41.20.40.60.61.72.02.10.80.80.9如果特定图像-trimap对的最佳评分算法不在此处包含的顶级方法中，则某些列没有粗体数字这里给出的排名只考虑了提交时已经发布的方法，因此可能与基准的在线版本不同其中σR=0。05决定了应该给予初始值多少忠诚度。这个能量可以写成矩阵形式，ER=αTLIFMα+（α−α<$）TσRH<$（α−α<$）+表2. 当我们的哑光正则化方法在3种基于采样的方法的后处理步骤中取代Gastal和Oliveira [9]的方法时，使用27张图像和每张图像2个三重图（S和L）的训练数据集[13]进行比较。（α−αK）TλT（α−αK（二十二））并通过求解（LIFM+λT+σRH<$）α=（λT+σRH<$）α<$。（二十三）图6示出了遮罩的这种非局部正则化更有效，特别是在具有挑战性的前景结构（例如，如在插图中看到的长叶子或洞）周围。在下一节中，我们将在数字上探索我们在几种基于采样的方法中通过用我们的方法替换matte正则化步骤所实现5. 结果和讨论我们使用公共alpha mating基准[13]定量评估所提出的算法在提交时，我们的方法根据绝对差和（SAD）和均方误差（MSE）指标排名第一结果可见于表1中。我们用Matlab编写的未优化的研究代码平均需要50秒来处理基准图像。我们还比较了我们的结果定性与也似乎产生了似乎有点模糊的哑光。另一方面，LNSP席子[6]在有洞的区域周围（菠萝示例）或前地和背景颜色相似时（驴和巨魔示例）存在问题。它也可以过度平滑某些地区，如果真正的前景色是在三重图（塑料袋的例子）失踪。我们的方法在这些具有挑战性的场景中表现良好，主要是因为，如第3节所述，我们仔细定义了未知区域内和未知到已知区域的连接，这导致了更鲁棒的线性系统。我们还在提供的训练数据集上将第4节中详细介绍的拟议后处理方法与Gastal和Oliveira [9由Rhemannetal.[13 ]第10段。我们计算了非光滑在图7中密切相关的方法。除了我们自己实现的流形保持抠图[5]之外，我们使用抠图基准上的结果。图7（c，d，e）显示，仅使用一种形式的信息流在许多场景中是无效的，例如前景对象中的宽未知区域或空洞。DCNN抠图[7]遵循的策略是直接使用封闭形式和KNN抠图的结果，而不是使用它们的亲和定义来制定组合能量当这两种方法都失败时，所得到的组合也会出现错误，这在pineaple和troll示例中很明显。他们提出α值和置信度使用公开可用的源代码进行全面采样[15]，KL-发散采样[10]和共享抠图[9]。表2显示了我们使用SAD和MSE作为误差度量的每种算法相对于Gastal和Oliveira [9]图8显示了正则化所有三种基于采样的方法的示例由于所提出的方法更有效地分布了由基于采样的方法发现的来自α值及其置信度的信息，因此当我们的方法用于后处理时，保留了绝对差之均方误差整体SL整体SLKL-D [10]24.4%22.4%百分之二十六点五百分之二十八点五百分之二十五点九31.0%SM [9]6.0%3.7%8.4%百分之8.5%百分之39图7. 来自alpha抠图基准[13]的几个例子显示在（a）图像（b）上叠加的三重图上。马特斯通过闭合形式的抠图[11]（c），KNN抠图[4]（d），流形保持编辑传播[5]（e），LNSP抠图[6]（f），DCNN抠图[7]（g）和所提出的方法（h）计算。参见讨论文本。[10]第10届中国国际纺织品服装展览会[15]图8.使用所提出的方法（青色）或[9]（品红色）进行的哑光正则化，用于三种基于采样的方法（黄色）。我们的方法能够保留远程细节，同时产生一个干净的哑光（上插图），并保持清晰度，甚至周围的纹理区域（下）。6. 结论本文提出了一种纯仿射的自然图像抠图方法。我们介绍了颜色混合流，一种专门为自然图像抠图定制的LLE权重形式。通过仔细设计从已知区域到未知区域的信息流，以及将信息分布在未知区域内，我们解决了自然抠图中常见的几个挑战。我们证明了线性系统-mulate在alpha抠图基准测试中的表现优于最先进的技术我们还表明，我们的配方可以用来取代常用的基于采样的抠图方法中的哑光细化步骤，以实现最终哑光质量的提高。鸣谢：我们要感谢Aljos Aljoa Smolic在本工作早期阶段的讨论，Simone M e ye r、Jean-CharlesBazin和KaanYücer对文本的反馈，以及Simone Croci在结果生成方面的帮助。40引用[1] Y. 好的，T。O. 阿辛，M. Pollefeys和A. Smol ic'. 互动高品质的绿色屏幕键控通过颜色分解。ACM事务处理图表，35（5）：152：1-152：12，2016.2[2] Y. 好的，T。O. A.A. Smoli c′和M. Pollef e ys. 基于解混的图像软色彩分割。ACM事务处理图表，36（2）：19：1-19：19，2017. 2[3] R. Barrett，M.Berry，T.Chan，J.Demmel，J.Donato，J.唐加拉，V。艾胡特河波索角Romine和H.范德沃斯特线性方程组解的模板：迭代方法的构造块. SIAM，1994年。6[4] Q. Chen，中国粘蝇D. Li和C.- K.唐KNN席子。IEEE传输模式分析马赫内特尔，35（9）：2175-2188，2013.一二三五八[5] X. Chen，中国粘蝇D.邹角，澳-地Zhao和P. Tan.流形保持编辑传播。ACM事务处理图表，31（6）：132：1一、二、三、七、八[6] X. Chen，中国粘蝇D. Zou，S.周，加-地Zhao和P. Tan.局部和非局部光滑先验图像匹配。在Proc.CVPR，2013中。二三七八[7] D.周，Y。- W.泰和我S.奎恩使用深度卷积神经网络的自然图像抠图。在Proc. ECCV，2016中。二七八[8] X. Feng，X.Liang和Z.张某一种基于稀疏编码的图像抠图聚类抽样在Proc. ECCV，2016中。二四六七[9] E. S. L. Gastal和M.M. 奥利维拉共享采样的实时阿尔法抠图。Comput. Graph. Forum，29（2）：575-584，2010. 二、六、七、八[10] L. Karacan，A. Erdem和E. Erdem基于KL-发散稀疏采样的图像抠图。 在proc ICCV，2015年。二四六七八[11] A. Levin，D. Lischinski和Y.韦斯一个封闭形式的解决方案，以自然图像抠图。IEEE传输模式分析马赫内特尔，30（2）：228-242，2008. 一二三五六八[12] J. Pan，Z. Hu，Z.苏，H.- Y.李和M H.杨软分割引导的目标运动去模糊。在procCVPR，2016年。2[13] C.莱曼角Rother，J. Wang，M. Gelautz，P. Kohli和P. 罗 特 。 一 个 感 知 动 机 的 在 线 基 准 图 像 抠 图 。 在Proc.CVPR，2009中。七、八[14] S. T. Roweis和L.K. 索尔局部线性嵌入的非线性降维Science，290（5500）：2323 3[15] E. Shahrian，D.拉詹湾Price和S.科恩利用综合采样集改进图像抠图。在procCVPR，2013年。二、四、五、六、七、八[16] Y. Shih、黄腹叶蝉D. Krishnan，F. Durand和W. T.弗里曼。使用重影提示消除反射。在Proc.CVPR，2015中。2[17] J. Tan，J.- M. Lien和Y.金戈尔德通过RGB空间几何将图像分解为层。ACM事务处理图表，36（1）：7：1-7：14，2016. 2[18] J. Wang和M. F.科恩优化的颜色采样，以实现稳健的抠图。在Proc.CVPR，2007年。241[19] Q. 朱湖，加-地邵，X.Li和L.王. 从图像中精确提取目标：自然图像抠图的综合研究。IEEE跨神经网络学习.系统，26（2）：185-207，2015. 2