立体遮挡边界与对象边界重合的本地检测方法

3818立体遮挡边界王嘉良和Todd Zickler哈佛大学网址：jialiangwang@g.harvard.edu，zickler@seas.harvard.edu摘要立体遮挡边界是视野中的一维结构，其将双眼可见的场景的前景区域（双眼区域）与仅一只眼睛可见的场景的背景区域（单眼区域）分开。-10的立体遮挡边界与对象边界重合，定位它们对于抓取、操纵和导航等任务非常有用。本文描述了立体声遮挡边界存在的立体声成本量的本地签名，并介绍了一个本地检测器，他们基于一个简单的前馈网络，具有相对较小的感受野。本地检测器产生更好的边界比许多其他立体方法，即使没有纳入明确的立体匹配，自上而下的上下文线索，或基于纹理和强度的单图像边界线索。1. 介绍精确定位物体边界对于抓取、导航和其他视觉任务非常重要。在立体图像对中，许多对象边界表现为立体遮挡边界，其是视野中的1D曲线，其将双眼可见的场景部分（双眼区域）与仅一只眼睛可见的场景部分（单眼区域，也称为半遮挡区域）分开。尽管定位立体遮挡边界的重要性，但现代立体算法在这些边界及其相邻的单眼区域处的性能相对较差。图1显示了过去五年中每一年在Middlebury 2014基准测试[24]上表现最佳的立体声算法的误差分解，误差由“坏像素”（视差误差）的百分比来衡量图1. 改 进 立 体 遮 挡 边 界 定 位 的 动 机 ： 在 过 去 五 年 中 ，Middlebury 2014立体声基准测试[ 24 ]上性能最佳算法的错误细目。 邻近立体遮挡边界的误差-在单眼/半遮挡区域-没有实质性减少，并且它们仍然比我们的估计高得多（10。5%）的可实现的错误率在这些地区。单目区域中可实现的错误率1.立体算法通常试图通过严重依赖于它们与纹理或强度边界的共现来定位立体遮挡边界，或者通过使用具有大感受野的深度网络来定位立体遮挡边界，所述大感受野可以通过内化在给定数据集中发生的非局部差异模式来并入自上而下的上下文线索这些方法在像图2和图8这样的情况下很快就失效了，在这些情况下，纹理和强度边界不存在，或者输入与用于训练的数据集非常不同。我们提出了一种不同的，直接的方法来定位立体遮挡边界。我们将其作为局部检测任务，其中立体声成本体积的每个局部3D区域被独立地分类为包含立体声遮挡边界或不包含立体声遮挡边界。正如我们所示，这是可能的，因为在立体声成本体积中的立体声遮挡边界附近存在局部签名，即使在像图2这样的情况下，其中纹理和强度边界不存在。≥2）在基准的“评估训练密集集”中对所提供的视差图和遮挡图进行匹配。虽然在双目区域中的误差几乎减少了三倍（20%到7%），而在单眼区域中的误差率仅略微减少（66%到52%），并且仍然远高于10。我们保守估计，1使用基准的视差和遮挡图，我们模拟了一个视觉系统，该视觉系统在双目区域中实现了完美匹配，并引入了完美遮挡图，然后我们计算了单眼区域中的视差误差，该视差误差是从与每个单眼区域紧邻的背景双目区域的真实视差进行朴素的恒定视差外推得到的。3819图2.立体遮挡边界与强度或纹理边界。在随机点立体图中没有强度或纹理边界，但是立体遮挡边界存在并且在立体成本体积中是局部可检测的。在肾上腺素-循环成本体积的最大切片（即，视差空间图像），点A C是立体遮挡边界，点B D是背景上的相关单眼区域它们都将低成本匹配区域从高成本的不匹配地区。通过适当的校正[5]，前景-背景对（A/B，C/D）总是位于±45o线上。白色虚线框显示可检测的本地签名。我们的工作是基于Anderson和Nakayama我们首先介绍了一个分类的立体声遮挡边界的特点是由当地的签名，他们在立体声成本量诱导。在此基础上，我们设计了一个检测器，使用多尺度前馈网络与接收场是足够小的，能够本地化边界aries周围薄的前景结构。为了理解单独使用检测器可以实现什么，我们有意排除直接使用单个图像纹理和强度边界，并且我们使用分段平面场景的简单合成数据来训练我们的检测器尽管有这些限制，我们发现检测器提供了比许多其他立体算法更好的边界，并且它成功地用于各种场景类型，包括Mid- dlebury图像[24]，Sintel图像[8]和视觉科学家提出的许多视觉刺激。2. 相关工作我们的工作与使用单个2D图像中的局部强度和纹理线索来检测边界的方法不同，但与之相关（例如，[3，22]）。我们从Xie和Tu [34]中获得了特别的灵感，他们训练了一个多尺度前馈网络来检测这些边界。关键-最大的区别是我们在3D成本体积上操作，即使在完全不存在单个图像纹理和强度线索的情况下也可以检测对象边界（图2）。我们的工作是不同的，从大多数现有的方法来寻找立体遮挡边界，这不是纯粹的本地，而是依赖于某种全球推理。最常见的方法是在通过在每个空间位置处提交单个视差值而形成初始视差图之后，通过二次处理来一个流行的例子是双向验证-所谓的另一种常见的方法是通过优化全局空间正则化能量来同时推断遮挡和双目区域视差，该能量包括每个像素的二进制遮挡变量[7，6，32，38]或将遮挡约束并入双目匹配[20]。一个值得注意的例外，检测立体遮挡边界- aries本地是王等人的工作。[31]，他们在成本卷的每个核线切片中使用我们的工作可以被看作是一个扩展，适用于全三维成本卷，并使用更复杂的非线性滤波器。另一个例外是Stein和Hebert [25]的光流工作，他们首先检测强度和纹理边界，然后在其局部邻域中应用测试以确定哪些也是遮挡边界。我们的工作是不同的，因为即使没有纹理和强度边界，它也能成功。Sundberg等人[28]还探索了光流中的局部检测，他们提出了一个基于三帧（而不是两帧）的分数，该分数在对象边界和强度/纹理边界处都有。我们的局部检测器将多尺度立体成本体积作为输入，这意味着存储与空间位置（x，y）处的视差d相关联的立体匹配成本的四维数据结构C（x，y，d，s），如使用（正方形）窗口大小s计算的。我们选择在修正后的摆线坐标系[5]中参数化成本体积（图2），它可以根据需要剪切到左视图和右视图以进行有效处理（见第4.1节）。我们可以利用最新的数据驱动方法来提高成本量的质量。特别是，我们使用Zbontar和LeCun [37]的快速Siamese架构，但它是一种多尺度变体，反映了立体声[21，36]的悠久历史，并与其他任务的多尺度网络有关[26，10]。我们发现包括小窗户（s=5）允许找到精确的边界，即使当前景结构非常薄时。3820图3.七个回旋视差空间签名，每个都是上面显示的场景。理想化的视差空间图像使用蓝色用于“低成本”区域，并且使用橙色用于“高成本”区域。场景（1-4）在左和右遮挡点（A和C）处以及在相关联的背景点（B和D）处具有独特的局部签名。为了比较，场景（5-场景（6 - 7）产生的签名与它们的遮挡对应物（分别为3 - 4）在本地无法区分，因此任何向其中一个发射的本地检测器也会向另一个发射。3. Stereo Occlusion Boundary立体遮挡边界是可检测的，因为它们在成本体积中引起的局部签名信号将根据深度不连续的大小和存在于相邻前景和背景表面上的纹理而变化，并且尽管存在这些变化，但是良好的检测器仍应被采用。本节描述了遮挡边界签名的四个基本类别（图3中的（1我们发现的一个重要事实是，某些类型的遮挡边界签名无法与某些无遮挡纹理边界（例如，(3)相对于图3中的（6）），这意味着一个的任何检测器也将检测另一个。下面我们将讨论这种无法避免的为了清楚起见，我们提出的分类法使用2D（x，d）核线切片的成本体积，与目标的利益是- ING单立体遮挡边界点。实际上，边界点将跨极线切片链接在一起，从而在成本体积内的各个位置和方向处形成可检测的1D结构。这些是我们在后续章节中实际检测到的结构。考虑一对校正的立体相机和一个虚拟的摆线相机，它们都具有相等的焦距和平行的光轴（图2的左上角）。令x，y索引回旋像平面沿对极方向x和其垂线y。假设通过使用某个成本函数测量以左像素（x+d，y）为中心的大小为s的左图像块与以右像素（x-d，y）为中心的右图像块之间的匹配成本，将循环成本体积C（x，y，d，s）制成表格。图2的底部示出了针对成本函数和片大小的特定选择的成本体积的2D对极（x，d）切片的示例。该图还示出了与立体遮挡相关的四个临界点[2，31]：前景A、C上的左立体遮挡边界点和右立体遮挡边界点，以及由通过A的右摄像机和左摄像机遮挡射线定义的相关联的背景点B、D，C.这四个点存在于场景空间（图顶部）和视差空间（图底部）两者中，并且在该示例中，四个点中的每一个与从高到低或从低到高的成本的快速空间变化共同出现在视差空间中，AB（resp.CD）随着场景深度的不连续性，但由于整流相机几何[5]，它总是具有等于45<$的斜率（分别为 -45）。图3描绘了局部场景结构的七个类别的理想化核线切片。核线切片是侧-在这个意义上，成本被抽象为“高”（橙色）或“低”（蓝色）。我们确定了四个基本的闭塞类别（1为了比较，我们还示出了用于纹理化无遮挡场景（5类别（1）是图2的理想化版本，并且总是可以与无遮挡纹理边界区分开来。3821aries（5）在成本卷中，即使它们在单个图像中可能看起来相同。当前景或背景缺乏纹理时，出现不同的局部签名（2-4值得注意的是，我们观察到，当背景缺乏纹理（3 - 4）时，成本体积中的遮挡边界点A，C不能与它们的平面表兄弟（（6 - 7）中的点E，F）局部区分开该效应与Tsirlin等人的感知研究一致。[29]其中，在图8的第二和第三行中引入了刺激。这两种刺激之间的唯一区别是在左图中：左边的白色矩形在第二行稍微宽一些。这导致深度感知的变化，从两个单独的前景平面变为一个。在我们的分类语言中，第三行包含E型点（场景（6）），而第二行包含相同空间位置的A型点（场景（3））。我们认为，在这些点之一处激发的任何局部检测器也将在另一个点处激发，此外，如果没有额外的非局部响应，就无法区分由深度事件（3）引起的激发与纹理事件（6）。事实上，这就是我们在结果中看到的，包括图8的感知刺激。局部遮挡特征它们不受违反所谓的排序约束的薄前景表面的影响[4]。该约束通常由立体算法强制执行以提高效率，但是它阻止了这样的算法能够恢复薄前景对象的深度。相比之下，仅基于局部签名的任何遮挡边界检测器都应该避免这个问题，并且应该不管图4显示了一个违反排序的薄纹理前景和纹理背景的示例。虽然成本量与图3（1）略有不同，但本地签名是相同的。在下文中，我们介绍了一个局部立体遮挡边界检测器，它在场景（1-4）的A和C点以及场景（6 - 7）的E和F点处触发 在所有情况下，检测器被设计为识别检测到的边界点的正确的空间位置和视差（以及因此的深度），即使在某些情况下，关于检测到的边界是否是遮挡事件（例如，（3）中的点A）或纹理事件（例如，（6）中的点E4. 立体遮挡边界检测器我们的检测器是一个前馈网络，它有效地在每个点（x，y，d）周围应用非线性滤波器，多尺度成本体积，以产生该点的边界得分B（x，y，d）∈[0，1]。该网络被设计为利用上述签名，同时还提供足够的容量来考虑成本体积内的纹理变化和1D边界的局部取向的变化。由于左右遮挡边界的固有对称性，不需要训练两个单独的检测器。相反，如图5的右侧所示，我们可以仅针对左侧边界训练检测器，然后简单地通过输入成本量的左/右反射副本并再次反射输出来针对右侧边界使用相同的检测器。这两个左和右边界图可以单独维护，或者像我们在这里做的那样，可以使用元素最大值组合成单个边界图。我们的检测网络的中间是Xie和Tu [34]的多尺度整体嵌套边缘检测（HED）架构的3D变体，其中包括大量的卷积层和池化层。在此之前，我们使用一个专门的转换层，该转换层应用几何学和形态学操作，以允许来自背景B型点的支持证据有助于检测遮挡A型点，而无需非局部反应，并且无论深度不连续性的大小（即，视差空间中的长度AB）。我们的设计目标之一是使感受野尽可能小，既能检测薄的前景结构，又能提高对许多类型立体图像的泛化能力（图6，8）。本节的其余部分描述了网络的细节最后，我们还描述了我们用作输入的特定成本量。4.1. 转换层为了帮助边界检测器使用来自B型点的支持证据，而不必推理AB的大小，我们在核心检测层之前和之后结合了简单的几何和形态处理。呃。具体地，如图5的左侧所示，对于左侧遮挡的情况，成本体积被剪切C′（x，y，d，s）=C（x+d，y，d，s）以轴对准遮挡射线AB，然后通过沿着视差维度的累积最小运算对其进行形态学处理′ ′图4.当薄的前地结构违反“有序约束”时，局部特征保持不变.这个违反排序的纹理背景和薄纹理前景的示例具有与图3（1）相同的局部签名。sion ， Ccm （x ， y ， d， s）=mind′dC（ x ， y ， d，s），池每个背景B型点的支持证据在其相关的A型点的局部感受野内。两个变换后的成本体积C′、Ccm沿着尺度维度连接，以产生大小为W×H×D×2S的数据结构Ccm，该数据结构C cm馈送到主检测层。在检测层产生边界分数BL之后，它们被变换回原始的3822L侧侧侧图5.前馈立体遮挡边界检测器。左边界和右边界的对称性意味着可以使用与左侧遮挡（A型）相同的检测器通过单独输入成本体积的左/右反射副本并在检测器之后将其反射回来来检测右侧遮挡在这两种情况下，都有剪切、累积最小值和连接操作，这些操作汇集了来自两个来源的证据：A型点的局部邻域和来自存在的任何B型点的支持证据沿着45度射线穿过A.变换后的输入C#继续到检测层（HED启发的3D深度监督网络，对吧图），其产生边界分数B_L，然后将边界分数B_L反向剪切到原始（x，y，d）坐标系。坐标系，BL（x，y，d，s）=lossLfuse（Z，Bfuse）. 总损失为LB 为BL（x−d，y，d，s）.4.2. 检测层L侧+L保险丝。在测试时，输出边界分数只是三个边层和融合层的平均分数检测层接受变换后的代价体积C_v， 并产生近似于观察场景的真实二值边界图Z_W× H ×D∈ {0，1}的像素边界分数B_W × H × D。我们使用HED架构的3D变体[34]。如右B组4.3. 培训out= 1（B）4保险丝Σ+B我（一）侧）的情况。（二）它有七个卷积层，每个卷积层有3×3×3个过滤器，由两个最大池化层分隔。在每个池化层之后，通道的数量增加两倍，从64个通道开始。我们最好的结果是使用2×2×2池化，然后使用2×2×1池化，这可能是因为几何处理消除了沿着视差维度看得很远的需要。与[34]类似，从每个池化层之前和最后一层提取输出。在第i个输出端，有一个反卷积，以上采样到原始大小W×H×D，然后是一个具有sigmoid激活的分类器我们渲染一个合成数据集来从头开始训练我们的检测网络。这使我们能够系统地涵盖所有可能的闭塞面的方向。我们使用简单的双平面场景。背景平面是正面平行的，覆盖整个视野。(We发现没有必要还包括倾斜的背景平面，因为图5中的累积最小值操作的输出对背景的取向非常不敏感。前景平面是正方形和倾斜的，其取向由法线方向n（θ，φ）和方位角旋转α参数化。我们统一采样鞋面它产生第i个边界分数B（i）∈[0，1].我们叫-半球，以获得136个不同的法线，我们uni-计算第i侧损耗l（i）~（i）侧）使用类平衡在[0，π/4]中形式地采样16个方位角。为每个前景平面的方向，我们渲染7立体交叉熵，我们计算它们的小计：Σ3与从预定数据集中随机选择的背景和前景纹理的组合配对，Lside（Z，B（i））=的i=1（一）侧~（i）侧）的情况。（一）由一个灰度版本的可描述纹理数据集[11]加上35个均匀强度的此外，将三个侧损失与可训练权重h线性组合以产生第四个“融合”分数B_f_u_e，我们还计算其不同的强度。我们强制5个场景在两个平面上均匀我们为每个立体声对建立一个成本卷，将其裁剪成更小的（Z，B）L（Z，B）3823256×64×128×S个子体积，并丢弃不包含任何正训练样本的子体积。总共有15，232个立体声对的分辨率为600×600。我们有一个不平衡的训练数据集，成本量中为了有效地训练我们的检测器，我们执行硬否定挖掘，其中我们在成本量的每个像素（x，y）处沿着视差维度识别五个得分最高的否定，并仅使用这些否定示例来训练我们训练一个epoch，使用批量大小为1，并使用Adam优化器。学习率最初设置为10-4，在第一次迭代之后，每10，000次两万次迭代。4.4. 投入成本量在我们的测试中，我们用以下方式计算多尺度成本量设IW×H和IW×H为校正灰度（2）Consensus [9]：一种带有部分遮挡处理的消息传递算法;和（3）PSM-Net [10]：端到端网络（我们使用作者在KITTI 2015 [ 23 ]上训练的Stacked Hourglass模型）。对于我们的检测器，我们对最终得分图B进行后处理，以产生更薄的边界，如下所示。对于每±45条X射线，在B（x，y，d）中x=d或x=−d，我们保持具有最大分数的位置，并将其他位置的分数抑制然后，我们沿x轴应用最后，我们将我们的边界分数图从循环坐标（x，y，d）转换为左视图（x+d，y，2d），这是其他技术的原生视图。对于SGM-LR，我们使用Yamaguchi的实现等人[35]，其输出左和右遮挡图。从理论上讲，与右（左）界相邻的像素-Lr立体图像，其被归一化为具有零均值，单位标准差 我们用S=3的Siamese网络构造输入循环代价体积CW×H×D×S。这些网络分别有2、4和6个卷积层，以及128、64和64个通道。 所有过滤器都是3 ×3，除了最后一层之外的每一层都是ReLU操作。我们不垫，大步或池。每个网络的最后一层的输出然后被归一化为具有单位长度，并且归一化的输出可以被认为是具有不同块大小的中心像素的特征嵌入，表示为fW×H×KS和fW×H×KS。我们构建左（右）遮挡中遮挡区域的变化图是立体遮挡边界。从经验上讲，我们发现从上述步骤中得到的遮挡边界是有噪声的，所以我们进一步后处理，只保留具有正确遮挡极性的边界（即。基于输出视差图，遮挡表面具有比背景表面更高的视差）。我们称之为SGM-LR-Plus。对于Consensus和PSM-Net，我们使用以下步骤以从输出的左视差图D_n（x，y）中提取遮挡边界。我们首先找到所有的边界候选像素B（x，y）=（d（x，y）−d（x−1，y）>1）（d（x，y）−d（x+1，y）>1），其中是lsrs使用特征向量之间的内积的成本体积：C（x，y，d，s）=<$fls（x + d，y），frs（x −d，y）<$.我们使用Middlebury 2014数据集[24]来训练连体网络。有23个场景具有半密集地面实况数据。我们 用 最 后 五 个 实 例 （ Storage ， Sword1 ， Sword2 ，Umbrella和Vintage）测试我们的立体声遮挡边界检测器，并用剩下的18个实例（包括不同的光照条件）训练Siamese网络。我们使用铰链损失[37]，并且我们使用类似的训练方法和超参数，除了（1）我们排除跨越立体遮挡边界的补丁和（2）我们不增加数据。5. 实验我们在Middlebury [24]，Sintel [8]和感知刺激[31]数据集上测试我们的检测器。所有实验都是使用相同的网络权重进行的，没有进行微调。实验表明，尽管在渲染的抽象图像上进行了训练，但检测器仍然成功。我们将从三种立体算法产生的深度图(1)带有左右一致性检查的半全局匹配（SGM-LR）[18]：一种显式输出遮挡图（以及立体遮挡边界图）的全局算法;元素逻辑OR运算符。我们观察到B（x，y）通常是thickened，并且对于沿对极扫描线的每个连接分量，最接近于前景（具有较高视差的一侧）通常是最接近实际边界的候选者。因此，我们只保留这些候选人。米德尔伯里我们在Middlebury 2014数据集上测试了我们的检测器，使用了5个场景（具有完美的整流和照明），这些场景是从训练成本体积暹罗网络中获得的。我们在半密集地面真实视差图的帮助下，在这些图像上手工标记立体遮挡边界。由于缺少地面实况差异，我们仅在空间维度（x，y）上进行评估我们使用半分辨率的剑1，剑2，伞场景和四分之一分辨率的存储 和 伞 场 景 ， 因 为 一 些 比 较 方 法 （ 如 。 PSM-Net[10]）不能处理大的差异。我们使用BSDS对应算法[22]来评估我们的立体遮挡边界准确性，但需要更严格的阈值来寻找对应，因为我们的图像更大，我们的动机是尽可能精确地获得边界我们使用图像对角线长度的0.003，其大致等于Middlebury半尺寸图像中的5个像素，以及四分之一尺寸图像中的2个像素。考虑到可能的人为标记错误，这也是实践中的最小合理距离，3824图6.米德尔伯里和辛特尔的定性结果。第一列是我们的边界得分的空间图，maxd（B），其他列是检测到的边界（我们的B >0。Middlebury为5，B >0。7为Sintel）由他们的检测差异着色。放大以查看我们的检测器的边界更精确地在某些情况下（例如洞穴4），我们的纯本地检测器可能会产生盐和胡椒一样的假阳性。更多结果请参见补充材料。注意，在定量评价中（图79），我们对E和F型点的检测被视为镜头模糊。如图7所示，我们的检测器明显优于其他方法。图6显示了一些定性结果，其中视差以颜色编码。我们的探测器预测的边界非常精确图7. Middlebury精确-召回曲线和F分数在（x，y）上进行评估。我们的检测器达到ODS F分数=0.61，具有严格的而其它方法中的许多预测边界偏离实际边界。请注意，我们的方法中的一些辛特尔我们还使用每个图像序列的第一帧在Sintelclean pass [8]上测试我们的检测器。我们使用Sintelclean，因为许多Sintel最终图像具有高水平的模糊或雾，这使得很难定义有意义的地面真实概念。在计算得分2时，我们排除了我们在（x，y，d）中评估准确度，允许每个维度中有5个像素用于找到“真阳性”。在我们的方法中，通过用C（x，y，d+1/2）=max（C（x，y，d），C（x，y，d+1））内插成本体积，在循环图维度中使用半像素分辨率，使得所有方法在左视图坐标中具有相同的视差分辨率。图6和图9示出了结果。同样，我们的检测器定位更精确的立体遮挡边界比比较2这些图像要么没有立体遮挡边界，要么具有超过某些比较算法限制的大视差值。3825图8.感知刺激的结果。检测到的边界（我们的B >0。7）根据其检测的视差被着色并叠加在真实视差图上。根据图3，像我们这样的局部探测器可以成功地定位E型事件（第3行）和A型事件（第2行）的位置和深度，而无需区分它们的原因。更多结果请参见补充材料方法，甚至沿着非常薄的对象（例如，在洞穴4中）。知觉刺激。Wang等人 [31]收集了12个缺乏匹配和/或单一线索的感知刺激的数据集，其中许多被视觉科学家用来表明人类可以单独使用遮挡线索来识别深度不连续性。图8显示了一些选定的结果。我们的检测器检测到所有立体遮挡边界以及（3）中的E型点。方法，明确-图9.Sintel精确度-召回率曲线和F分数（x，y，d）。我们的检测器达到了最好的结果。当有足够匹配信息（刺激（2）和（3），随机点）时，它处理遮挡（SGM-LR-Plus和Consensus）然而，当匹配信息不可用时（刺激（1）和（4）），它们完全失效。6. 结论在许多情况下，可以高精度地检测和定位立体遮挡边界，而无需计算密集视差图，并且无需结合自上而下的上下文线索或单个图像纹理和强度线索。因此，这些检测是可以并入立体视觉系统的附加提示。未来的工作应该探索这些检测器的扩展，这些检测器在（x，y，d）方向上是选择性的。这可能提供一种机制来解释虚幻立体轮廓的感知现象[12]。鸣谢：这项工作得到了国家科学基金会奖IIS-1618227的 支 持 。 研 究 计 算 部 分 由 AWS Cloud Credits forResearch计划提供支持。3826引用[1] 巴顿湖安德森部分咬合在立体视中的作用。Nature，1994. 2[2] 巴顿湖安德森和肯·中山。立体视觉的一般理论：双眼匹配、遮挡轮廓和融合。心理学评论，1994年。二、三[3] 巴勃罗·阿贝莱斯，迈克尔·梅尔，查利斯·福克斯，还有吉坦德拉·马利克.轮廓检测和分层图像分割。IEEETransactionsonPatternAnalysisandMachineIntelligence，2011. 2[4] 亨利·H贝克基于边缘和强度的立体声的深度斯坦福大学计算机科学系技术报告，1982年。4[5] 彼得·N贝尔胡默尔一种双目立体视觉的贝叶斯方法。国际计算机视觉杂志，1996年。二、三[6] 斯坦·伯奇菲尔德和卡洛·托马西。像素到像素立体的深度不连续性。国际计算机视觉杂志，1999年。2[7] 亚伦·F. Bobick和Stephen S. Intille.大遮挡立体声。国际计算机视觉杂志，1999年。2[8] 放大图片作者：Daniel J. Butler，Jonas Wulff，Garrett B.Stanley和Michael J.黑色.一个用于光流评估的自然开源电影。2012年欧洲计算机视觉会议。二六七[9] 放大图片作者：Ayan Chakrabarti，Ying Xiong，StevenJ. Gortler和Todd Zickler。低层次的视觉通过共识在一个空间层次的区域。计算机视觉与模式识别，2015。6[10] 张嘉仁和陈永生。金字塔立体匹配网络。计算机视觉与图案识别，2018年。二、六[11] Mircea Cimpoi ， Subhransu Maji ， Iasonas Kokkinos ，Sammy Mohamed，and Andrea Vedaldi.描述野外的纹理。在计算机视觉和模式识别，2014年。5[12] Walter H.作者声明：Barbara J.吉勒姆主观轮廓、非模态完成和半遮挡深度的早期演示：阿道夫·冯·西利（Adolfvon Szily，1921年）的“轮廓立体实验”。Perception，1998. 8[13] 帕斯卡·福阿一种并行立体算法，可生成密集深度图并保留图像特征。机器视觉与应用，1993年。2[14] 芭芭拉·吉兰单眼区域对双眼空间布局知觉3D环境中的视觉，第46-69页，2011年。2[15] 芭芭拉·吉勒姆和埃里克·博尔斯汀单眼区域在立体显示中的作用。感知，1988年。2[16] 朱莉·M作者声明：Harris and Laurie M.威尔科克斯单眼可见区域在深度和表面知觉中的作用。视觉研究，2009年。2[17] 何旭明和Alan Yuille。使用伪深度的遮挡边界检测。欧洲计算机视觉会议。施普林格，2010年。2[18] 海科·赫希穆勒基于半全局匹配和互信息的立体图像处理 IEEE Transactions on Pattern Analysis and MachineIntelligence，2008。6[19] Eddy Ilg，Tonmoy Saikia，Margret Keuper，and ThomasBrox.遮挡，运动和深度边界与视差，光流或场景流估计的通用网络。欧洲计算机视觉会议，2018。2[20] 石川浩和戴维·盖格。立体声中的遮挡、不连续和核线欧洲计算机视觉会议。Springer，1998年。2[21] David G.琼斯和吉坦德拉·马利克从一组线性空间滤波器确定立体对应的计算框架。图像和视觉计算，1992年。2[22] David R Martin，Charless C Fowlkes，and Jitendra Ma-lik.学习使用局部亮度、颜色和纹理线索检测自然图像边 界 。 IEEE Transactions on Pattern Analysis andMachine Intelligence，2004。二、六[23] Moritz Menze和Andreas Geiger。自动驾驶车辆的对象场景流。计算机视觉和模式识别，2015年。6[24] Danie lScharstein、Heik oHirsch müller、YorkKitajima、Gre gKrathw ohl 、 NeraNesˇ ic´ 、 XiWang 和 PorterWest-ling。高分辨率立体数据集，具有亚像素精确的地面实况。2014年德国模式识别会议。一、二、六[25] 安德鲁·N斯坦和马夏尔·赫伯特视频中遮挡边界的局部检测。2006年在英国机器视觉会议上。2[26] 孙德清、杨晓东、刘明宇和Jan Kautz。PWC-Net：使用金字塔，扭曲和成本体积的光流CNN。计算机视觉与模式识别，2018。2[27] 孙健、李尹、成炳刚和沈香阳。用于遮挡处理的对称立体匹配。计算机视觉与模式识别，2005. 2[28] 帕特里克·桑德伯格，托马斯·布罗克斯，迈克尔·梅尔，巴勃罗·阿尔贝尔·阿埃斯，和吉滕德拉·马利克。基于光流的遮挡边界检测在计算机视觉和模式识别，2011年。2[29] 放大图片作者：Laurie M. Wilcox，and Robert S. Allison.单眼遮挡决定了遮挡表面的感知形状和深度。 视觉杂志，2010年。 二、三、四[30] R？ digerVonDerH e ydt，HongZhou，andH o wardS. 油炸人。猴视皮层中立体边缘的表征视觉研究，2000年。2[31] Jialiang Wang，Daniel Reynner，and Todd Zickler.朝向感知一致的立体声：扫描线研究。国际计算机视觉会议，2017年。二三六八[32] 魏亦辰和龙泉。基于图割的多视点立体非对称遮挡处理计算机视觉和模式识别，2005年。2[33] Juyang Weng，Narendra Ahuja和Thomas S.煌双视角匹配。在1988年的国际计算机视觉会议上。2[34] 谢赛宁、涂卓文。整体嵌套边缘检测。2015年计算机视觉国际会议二、四、五3827[35] 山口幸一郎，大卫·麦卡利斯特，拉奎尔·乌尔塔-孙。高效的联合分割、遮挡标记、立体和流估计。2014. 6[36] Yibing Yang，Alan Yuille，and Jie Lu.局部、全局和多级立体匹配。计算机视觉与模式识别，1993年。2[37] Jure Zbontar和Yann LeCun。通过训练卷积神经网络来比较图像块来进行立体匹配。Journal of Machine Learning Research，2016。二、六[38] C.劳伦斯·齐特尼克和金田武雄一种立体匹配和遮挡检测的协同算法. IEEE Transactions on Pattern Analysis andMachine Intelligence，2000。2