基于权值共享的迭代残差细化方案及其在光流估计中的应用

5754光流场和遮挡联合估计达姆施塔特工业大学计算机科学系摘要近年来，光流估计的深度学习方法取得了快速进展。许多网络的一个共同特点是，它们通过多个阶段或跨由粗到细的表示级别来细化初始流估计。虽然导致更准确的结果，但其缺点是参数数量增加。从经典的能量最小化方法和残差网络两个方面得到启发，提出了一种基于权值共享的迭代残差细化（IRR）方案，该方案可以与多个骨干网络相结合它减少了PA的数量54.543.532.52FlowNetSSpyNetFlowNetCPWC-Net我们的（PWC-Net +Occ）我们的（PWC-Net + Bi）LiteFlowNet我们的（PWC-Net + IRR）我们的（IRR-PWC）0 10 20 30 40 50参数数量（百万）提高了精度，甚至两者都实现了。此外，我们表明，将遮挡预测和双向流量估计集成到我们的IRR方案中可以进一步提高准确性。我们的完整网络在几个标准数据集上实现1. 介绍与计算机视觉的许多领域类似，深度学习对光流估计产生了重大影响但与之相反，例如，物体检测[19]或人体姿势估计[55]，基于深度学习的流方法在公共基准上的准确性[10，17，41]最初并没有超过经典方法。尽管如此，有效的测试时间推断已经导致它们作为需要处理节奏信息的应用程序中的子模块被广泛采用，包括视频对象分割[13]，视频识别[15，43，64]和视频风格传输[11]。FlowNet [14]率先使用卷积神经网络（CNN）来估计光流，并依赖于-连接，类似于语义分割[36]，等等。由于流精度仍然落后于基于能量最小化的经典方法，后来的工作集中在 为 光 流 设 计 更 强 大 的 CNNFlowNet2 [26] 弥 补 了FlowNet的准确性 它的主要原理是堆叠多个FlowNet-图1. CNN用于opti的准确性/网络大小权衡cal flow：结合我们的迭代残差细化（IRR），如与以前的工作相比，PWC-Net [52]的双向（Bi）和遮挡估计（Occ）。我们的完整模型（IRR-PWC）结合了所有三个组件，在[52]中产生了显着的准确性增益，同时具有更少的参数。家庭网络[14]，这样后期阶段有效地细化了前一阶段的输出然而，这种叠加的副作用之一是参数数量的线性和强烈增加，这对其他应用中的采用是一种负担此外，堆叠网络需要按顺序而不是联合地训练各个阶段，这导致实践中的复杂训练过程。最近，SpyNet [45]，PWC-Net [52]和Lite- FlowNet[24]提出了仍然具有竞争力的准确性的轻量级网络（参见。图1）。SpyNet在网络设计中采用由粗到细的估计，这是经典方法中的一个众所周知的原则。它通过单独的可训练权重在空间金字塔的各个级别上对流量 进 行 剩 余 更 新 ， 并 且 比 FlowNet 具 有 更 好 Lite-FlowNet和PWC-Net进一步将从粗到精的策略与经典方法和最近的深度学习方法的多个想法相结合。特别是PWC-Net在公共基准上的表现优于所有已发布的方法[10，17，41]。有趣的是，许多最近的深度学习方法[24，26，45，52]都有一个共同的结构：从粗略的第一个 流量估计，后面的 模块或网络重新计算，AEPE在Sintel列车清洁57555756575757585759ǁBW1OCCOCC.流图fi，后向光流fi，遮挡贴图前景对象的数量、对象大小和随机页fw bw在第一图像Oi和第二图像Oi中用于生成每个对象的运动的参数为1 2迭代步骤，其中i=1，. . .、N.前向和后向光流使用L2，1范数进行监督，运动由3×3矩阵参数化，易于计算。后期不仅地面实况流落后，而且闭塞我流Σ1fi2FW -ffw， GT102+fi-f体重，燃气轮机2Σ、（四）进行能见度检查。训练集和验证集中的图像数量与FlyingChairs中的相同（即，22232和640）。而对于两个遮挡图的监督，使用加权二进制交叉熵4.2. 实现细节l i= − 1。wi oilogo+w<$i（1−oi）log（1−o）培训详情。我们遵循OCC2111，GT 111，GTFlowNet各自的PWC-Net进行公平的比较。我们使用+wi oilogoΣ+w<$i（1−oi）log（1−o同样的几何和光度增强，2 22，GT 2 22，GT）。（五）加性高斯噪声，如[26]中所述在对遮挡地面实况应用几何增强之后，在这里，我们应用权重wi=H·W所以，wi=我们另外检查移动到IM外部的像素，1i1H·Wo1+o1，GT年龄界限（即，边界外的像素）并将它们设置为0。（1−oi）+预测和真实的标签。我们的最终损失是上述两个损失的加权和，在所有迭代步骤中使用与原始论文中相同的多尺度权重αs。在FlowNet [14]的情况下，最终损失变为包括在内。注意，不需要多阶段训练。我们首先在我们的FlyingChairs-Occ数据集上训练所提出的模型，学习率时间表为S短（而不是S长），如[26]所述。接下来，我们对Flying-Things 3D子集数据集[39]进行微调，该数据集包含更大的位移;我们使用一半的S精细学习率时间表lFlowNet=1ΣN ΣSNi，s流+λ·li，s），（6）[26]第10段。 我们根据经验发现，使用较短的时间表，因为我们的模型收敛得更快。我们最终在不同的公共基准数据集上进行了微调，包括Sin-i=1s=s0其中s表示图1中给出的标度指数。3 [14]。在PWC-Net[52]的情况下，尺度数等于迭代次数，因此最终损失为1ΣN[10]和KITTI [17]，遵循[53]的微调协议。我们使用较小的minibatch大小4，因为我们的模型通过使用单个模型执行迭代双向估计来隐式地增加批量大小。由于缺乏其他基础事实，我们仅使用前向流和第一帧的遮挡图进行监督lPWC-Net=Ni=1我流 +λ·li）的情况。（七）在Sintel上;对于KITTI，我们只使用前向流。重要的是，我们的模型仍然是可训练的，λ将流量与阻塞损失进行加权。在每次迭代中，我们计算使流动损失和遮挡相等的λ我们根据经验发现，这种策略比仅仅使用固定的权衡产生更好的准确性4. 实验4.1. FlyingChairsOcc数据集由于缺乏合适的数据集，我们创建了自己的数据集，用于监督双向流和两个遮挡图，并在第一帧和第二帧使用前向流、后向流和遮挡图的地面真实值。为了构建数据集，我们遵循FlyingChairs数据集的确切协议[14]。我们将此数据集称为FlyingChairsOcc。我 们 从 Flickr 和 Google 中 抓 取 了 964 张 分 辨 率 为1024×768的背景图像，使用关键字cityscape，street和mountain。作为前景对象，我们使用了809张从不同视图和角度的CAD模型渲染的椅子图像[3]。然后，我们遵循[14]的确切协议来生成图像对，包括L=αs（lαi（l5760仅可用于一个方向（例如，在第一帧具有阻塞映射的前向流4.3. 消融研究为了查看每个建议组件的有效性，我们通过在多个设置中训练我们的模型来进行消融研究。所有模型都在FlyingChair-sOcc数据集上使用S短时间表进行训练，并在多个数据集上进行测试，以评估跨数据集的泛化。当双向估计或迭代残差细化打开时，我们使用小批量大小4，否则使用原始小批量大小8。对于更简单的消融研究，我们在FlowNet上应用IRR时使用两个迭代步骤[14]。表1根据平均终点误差（EPE）和平均F1分数的遮挡估计（如果适用于相应配置）与最近的工作[27]中的发现相反，一起估计遮挡在训练域上产生了高达5%的流量的逐渐改善，以及更大的改善。5761图8. PWC-Net消融研究的定性示例：（从左到右）重叠输入图像，地面实况流，原始PWC-Net [52]，我们的带有IRR的PWC-Net，我们的带有Bi-Occ-IRR的PWC-Net，以及我们的完整模型（即IRR-PWC）。椅子椅子 OccSintel Clean Sintel最终版本完整验证培训培训参数。2.39 2.27 4.35 5.44 0%✓2.43 2.30 4.405.530%✓2.29 2.18（0.690）4.26（0.521）5.51（0.493）+38.5%✓2.36 2.22 3.775.000%2.222.10（0.689）3.56（0.507） 5.03（0.486）+38.5%方法椅 椅子Occ Sintel CleanSintel决赛Rel.完整 验证培训培训参数。无细化1.98 1.81（0.698）2.69（0.633） 4.03（0.598）0%我们的1.661.45（0.735）2.32（0.648）3.90（0.602）+12.3%[ 24 ]第二十四话 1.74 1.58（0.688）2.34（0.596）3.86（0.543） +29.5%表2.我们的双边细化层与LiteFlowNet的比较 [24]。澳门金 沙 城 中心2.051.91（0.699）3.40（0.528） 5.08（0.502）+38.5%✓公司简介1.921.77（0.736）3.32（0.596）4.92（0.560）+40.7%方法椅椅子OccSintel CleanSintel最终版本2.03 1.89 3.13 4.41 0%完全验证培训培训参数✓2.06 1.87 2.984.140%✓1.94 1.79（0.706）3.16（0.616）4.35（0.581）+87.4%✓2.01 1.83 2.794.10−61.2%价格1.991.82（0.696）3.01（0.618） 4.39（0.581）+87.4%澳门2.08 1.90 2.80 4.13 −61.2%1.73（0.700）2.64（0.630） 4.09（0.593）−34.7%澳门新 萄 京1.981.81（0.698）2.69（0.633） 4.03（0.598）−34.7%✓公司简介1.671.48（0.757）2.34（0.677）3.95（0.624）−26.4%表1. 在两个基线模型上对我们的设计选择进行烧蚀研究。数字表示光流的平均终点误差（EPE）（越低越好）和括号中的闭塞平均F1分数（如果可用）（越高越好）。Bi：双向估计，Occ：联合遮挡估计，IRR：迭代残差细化，IRR+：迭代残差细化，包括双侧细化和遮挡上采样层。最后一列报告了与普通基线相比参数数量的相对变化。当在双向估计（Bi）或IRR之上组合时，在不同数据集上进行证明。我们认为这主要源于使用单独的遮挡解码器而不是联合解码器[27]。双向估计本身最多产生对流量的边际改进，但它对于遮挡上采样层的输入很重要，这对遮挡估计带来了非常大的好处迭代残差细化在训练域上的流准确性方面产生了一致的改进，并且可能令人惊讶地在数据集之间具有更好的泛化能力，EPE的改进高达10%。我们假设这种更好的泛化来自于训练单个解码器来处理来自所有迭代步骤或金字塔级别的特征图当与其他组件结合使用时，使用IRR的好处变得更加明显。例如，与仅使用Bi和Occ相比，具有Bi，Occ和IRR的FlowNet在Sintel Clean上的EPE提高了20%。此外，双边细化和上采样无上采样1.66 1.45（0.735）2.32（0.648）3.90（0.602）0百分比（%）我们的1.671.48（0.757）2.34（0.677）3.95（0.624）+0.49%[26，27] 2.18 2.01（0.712）2.90（0.624） 4.37（0.577）+9.21%表3.我们的遮挡上采样层和FlowNet2的细化网络的比较[26，27]。层显著提高了流量和遮挡的准确性，仅需0.83M参数的小开销。对于PWC-Net，我们获得了比基线平均17.7%的显著准确性提升，同时减少了26.4%的参数数量。我们将模型的完整版本命名为IRR-FlowNet和IRR-PWC。图8通过定性示例突出了我们提出的组件请注意完整性和清晰的边界。双边细化。我们将我们的双边细化层与基于PWC-Net的LiteFlowNet [24]的细化层进行比较，其中启用了Bi，Occ和IRR组件表2显示了我们的设计选择的好处（即， 共享权重）也适用于双侧细化，对于流动，特别是对于遮挡，产生更好的精度，其中2. 比[24]少5倍遮挡上采样图层。与我们的上采样层类似，[27]使用FlowNet2 [26]的细化网络将中间四分之一分辨率结果上采样回原始分辨率。我们将我们的上采样层与[26，27]中的细化网络进行比较，将其添加到基于PWC-Net主干的网络中，其中Bi，Occ，IRR和双边细化层启用 。 表 3 显 示 了 使 用 我 们 的 上 采 样 层 的 明 显 好 处FlowNet2 [26]的细化网络实际上降低了流量估计的准确性。我们认为这可能源于PWC-Net [52]Bi[第14话]OCCIRR✓ ✓2.312.20（0.691）4.21（0.515）5.46（0.488）+38.5%✓ ✓2.142.003.454.960%的百5762迭代或堆叠阶段12345单个FlowNetS4.3583.5453.3253.3033.302堆叠多个FlowNetS4.4453.5533.3773.3913.517表4. n×IRRvs. n×堆叠：Sintel Clean上的EPE。方法培训测试清洁最终清洁 不最终参数连续流ROB<$§ [42]4.5314.6百万MFF§ [46]4.57N/AIRR-PWC（Ours）（1.92）（2.51）3.844.586.36M[53]第五十三话（1.71）（2.34）3.454.608.75MProFlow§ [37]––2.825.02–[53]第五十三话（2.02）（2.08）4.395.048.75MDCFlow [61]––3.545.12–美国有线电视新闻网[6]––3.785.365.00MMR-流量[59]1.833.592.535.38–LiteFlowNet [24]（1.35）（1.78）4.545.385.37MS2F-IF [62]––3.505.42–SfM-PM [38]––2.915.47–[49]第四十九话––2.945.49–[26]第二十六话（2.02）（3.14）3.966.021.625亿表5. MPI Sintel Flow：平均终点误差（EPE）和CNN参数的数量。§使用超过2帧，†使用额外的数据集（KITTI和HD1k）以获得更好的准确性。训练FlowNet2FlowNet上的不同IRR步骤。对于FlowNet，我们可以自由选择IRR步骤的数量，因为我们通过重复使用单个网络来迭代细化先前的估计我们在香草FlowNetS上尝试不同数量的IRR步骤[14]（即，没有Bi或Occ），并与堆叠多个FlowNetS网络进行比较。所有网络都在Flying- ingChairsOcc上训练，S短时间表，小批量大小为8，并在Sintel Clean上测试。如表4所示，精度随着IRR步数的增加而不断提高，并在4步以上稳定稳定。相比之下，堆叠多个FlowNetS网络在3个步骤后对训练数据过拟合，并且在相同阶段数下始终优于IRR。这清楚地证明了我们的IRR方案优于叠加：更好的精度，而不线性增加参数的数量。4.4. 光流基准我们在公共Sin- tel [10]和KITTI [17，41]基准上测试了IRR-PWC的准确性当进行微调时，我们使用[24，52，53]中的鲁棒训练损失用于流量，并使用标准的二进制交叉熵用于遮挡。在Sintel Final上，我们的IRR-PWC在2帧方法中达到了新的水平。与PWC-Net基线（即PWC-Net-ft-final）在相同的设置中训练，我们的贡献将流量精度提高了9。18%，12。36%的清洁，而使用26。减少4%的参数。在KITTI 2015上，我们的IRR-PWC再次优于所有已发布的2帧方法，比基线PWC-Net有所改进。在对基准进行微调时，我们的重要观察员-表6. KITTI光流2015：平均终点误差（EPE）和离群值率（Fl-Noc和Fl-all）。方法类型Sintel培训清洁最终IRR-PWC（Ours）监督0.7120.669[27]第二十七话监督0.7030.654OccAwareFlow [58]无监督0.540.48[30]第三十话无监督0.490.44[25]第二十五话估计0.390–表7. Sintel Training上的闭塞估计结果。我们的模型（i）收敛速度比基线快得多，（ii）对训练分裂的过度拟合更少，尽管训练分裂的误差略高，但在测试集上表现出更好的准确性这突出了我们IRR计划的好处：更好的泛化，即使在训练域以及跨数据集。4.5. 咬合估计我们最后评估了Sintel训练集上遮挡估计的准确性，因为没有公共基准可用于该任务。表7显示了与最新算法的比较。在FlyingChairs和FlyingThings 3D上训练监督方法;在Sintel上训练无监督方法，而不使用地面实况。我们用更少的参数实现了最先进的精度（6. 00M而不是110M）和比现有技术更简单的训练计划[27]。5. 结论本文提出了一种基于权值共享的迭代残差精化（IRR）算法，并在此基础上增加了双向估计和遮挡估计的分量将我们的方案应用于两个具有代表性的流网络FlowNet和PWC-Net上，显著提高了流精度，具有更好的泛化能力，同时甚至减少了PWC-Net的参数数量。我们还表明，我们的设计选择联合估计遮挡和流量带来了两个领域的准确性提高，在公共基准数据集上设定了我们相信，我们强大的IRR方案可以与其他基线网络相结合，并可以形成其他后续方法的基础，包括多框架方法。方法Trai宁测试AEPEFl-allFl-AllMFF§ [46]––7.17%IRR-PWC（Ours）（1.63）(5.32%）7.65%[53]第五十三话（1.45）(7.59%）7.72%LiteFlowNet [24]（1.62）(5.58%）9.38%PWC-Net [52]（2.16）(9.80%）9.60%[42]第四十二话––10.03%[25]第二十五话–9.98%10.29%[26]第二十六话（二点三十分）(8.61%）百分之十点四一5763引用[1] 艾瑞亚·艾哈迈迪和扬尼斯·帕特雷用于运动估计的无监督卷积神经网络在ICIP，第1629-1633页2[2] LuisA' lv arez，Rachid Deriche，The' odoreP apadopoulo，and我是桑切斯·佩雷斯。具有遮挡检测的对称密集光流国际计算机Vision，75（3）：371-385，2007. 二、三、四[3] 放大图片作者：Daniel Maturana，Alexei A.布莱恩·埃夫罗斯罗素和约瑟夫·西维克3D椅子：使用CAD模型的大数据集的示例性基于部件的2D-3D对齐。在CVPR，第3762-3769页，2014年。6[4] Min Bai ， Wenjie Luo ， Kaustav Kundu ， and RaquelUrtasun.利用语义信息和深度匹配实现光流。在ECCV，第6卷，第154-170页，2016中。2[5] Christian Bailer Bertram Taetz和Didier Stricker流场：高精度大位移光流估计的密集对应场在ICCV，第40152[6] Christian Bailer，Kiran Varanasi，and Didier Stricker. 基于CNN的阈值铰链嵌入损失光流匹配在CVPR中，第2710-2719页，2017年。二、八[7] 科洛马·巴列斯特、卢伊斯·加里多、瓦内尔·拉兹卡诺和文森特·卡塞勒。具有遮挡检测功能的TV-L1光流法。见DAGM，第31-40页，2012年。二、四[8] Michael J. Black和Paul Anandan。多个运动的鲁棒估计：参数和分段光滑流场。Comput.目视图像和，63（1）：75-104，1996. 二、三[9] ThomasBrox ， Andre 'sBruhn ， NilsPapenberg ，andJoachimWeickert.基于翘曲理论的高精度光流估计。ECCV，第4卷，第25-36页，2004年二、三[10] 放大图片作者：Daniel J. Butler，Jonas Wulff，Garrett B.Stanley和Michael J.黑色.一个用于光流评估的自然开源电影。在ECCV，第6卷，第611-625页中。2012. 一、六、八[11] 陈东东，廖静，卢远，余能海，华刚。连贯的在线视频风格转移。在ICCV，第1114-1123页，2017年。1[12] Qifeng Chen和Vladlen Koltun。全流：通过规则网格上的全局优化进行光流估计在CVPR中，第4706-4714页2[13] 程景春，蔡义轩，王胜金，杨明轩。SegFlow：视频对象分割和光流的联合学习。在ICCV，第686-695页，2017年。1[14] Alexey Dosovitskiy，Philipp Fischer，Eddy Ilg，PhilipH¨usser ， CanerHazırbaså ， VladimirGolkov， PatrickvanderSmagt，Daniel Cremers，and Thomas Brox.FlowNet：使用卷积网络学习光流在ICCV，第2758-2766页一二三五六七八[15] Raghudeep Gadde，Varun Jampani，and Peter V.盖勒通过表示扭曲的语义视频CNN。在ICCV，第4463-4472页，2017年。1[16] David Gadot 和 Lior WolfPatchBatch ： 光 流 的 批 量 在CVPR中，第4236-4245页，2016年。2[17] Andreas Geiger，Philip Lenz，and Raquel Urtasun.我们为自动驾驶做好准备了吗KITTI视觉基准测试套件。在CVPR，第3354-3361页，2012中。一、六、八[18] 斯派罗·吉达里斯和尼科斯·科莫达基斯检测、替换、重新定位：用于逐像素标记的深度结构化预测。在CVPR中，第7187-7196页，2017年。3[19] 罗 斯 湾 Girshick ， Jeff Donahue ， Trevor Darrell ， andJitendra Malik.基于区域的卷积网络用于精确的对象检测和分割。 IEEE T. 模式分析马赫内特尔，38（1）：142-158，Jan. 2016. 1[20] FatmaGuéney和Andre a sGeige r. 深离散流。在ACCV，第4卷，第207-224页，2016年。2[21] 亚当·W Konstantinos G. Derpanis和Iasonas Kokkinos。使用局部注意掩码的分段感知卷积网络。在ICCV，第5048-5057页4[22] Yinlin Hu，Yunsong Li，and Rui Song.大位移光流对应的鲁棒插值。在CVPR中，第4791-4799页，2017年。2[23] Yinlin Hu，Rui Song，and Yunsong Li.高效的粗到细PatchMatch，用于大位移光流。在CVPR中，第5704-5712页，2016年。2[24] Tak-Wai Hui，Xiaoou Tang，and Chen Change Loy. Lite-FlowNet：一种用于光流估计的轻量级卷积神经网络。在CVPR中，第8981-8989页，2018年。一二三四五七八[25] Junhwa Hur和Stefan Roth。MirrorFlow：在联合光流和遮挡估计中利用对称性。在ICCV，第312-321页，2017年。二、三、四、八[26] Eddy Ilg ， Nikolaus Mayer ， Tonmoy Saikia ， MargretKeuper，Alexey Dosovitskiy，and Thomas Brox.FlowNet2.0：深度网络光流估计的演变在CVPR中，第1647-1655页一二三六七八[27] Eddy Ilg，Tonmoy Saikia，Margret Keuper，and ThomasBrox.遮挡，运动和深度边界与视差，光流或场景流估计的通用网络。在ECCV，第12卷，第626-643页中。2018. 二三六七八[28] Serdar Ince和Janusz Konrad。遮挡感知光流估计。IEEET.图像处理。，17（8）：14432008年8月。二、三、四[29] Max Jaderberg，Karen Simonyan，Andrew Zisserman，Koray Kavukcuoglu. 空 间 Transformer 网 络 。 参 见NIPS*2015，第2017-2025页。3[30] JoelJanai，FatmaGuêney，AnuragRanjan，MichaelJ. 布莱克和安德烈亚斯·盖格。具有遮挡的多帧光流的无监督学习。在ECCV，第16卷，第713-731页中。2018. 三、四、八[31] 赖伟胜，黄家斌，杨明轩。用生成式对抗网络进行光流的半监督学习参见NIPS*2017，第354-364页。2[32] 放大图片作者：Yu Li，Dongbo Min，Michael S.布朗，明N。做，和江波路。SPM-BP：用于连续MRF的加速PatchMatch信念传播。在ICCV，第40062[33] 李宇，闵东波，杨明.做，和江波路。用于深度和运动的快速引导全局插值。在ECCV，第3卷，第717-733页，2016中。25764[34] Zhengfa Liang，Yiliu Feng，Yulan Guo，Hengzhu Liu，Wei Chen，Linbo Qiao，Li Zhou，and Jianfeng Zhang.通过特征恒定性学习视差估计在CVPR中，第2811-2820页3[35] Bee Lim ， Sanghyun Son ， Heewon Kim ， SeungjunNah，and Kyoung Mu Lee.用于单图像超分辨率的增强深度残差网络在CVPR研讨会，第1132- 1140页，2017年。5[36] 乔纳森·朗埃文·谢尔哈默和特雷弗·达雷尔用于语义分段的全卷积网络。在CVPR，第3431-3440页，2015年。1[37] 丹尼尔·毛雷尔和安德烈·布鲁恩。ProFlow：学习预测光流。在BMVC，2018年。8[38] 丹尼尔·毛雷尔、尼科·马尼奥克、巴斯蒂安·戈德吕克和安德烈·布鲁恩。从运动恢复结构-Aw是用于自适应光流估计的P匹配见ECCV，第8卷，第575-592页。2018. 8[39] NikolausMayer，EddyIlg，PhilipH¨usser，PhilippFischer， Daniel Cremers ， Alexey Dosovitskiy ，and Thomas Brox.用于训练卷积网络的大型数据集，用于视差，光流和场景流估计。在CVPR，第4040-4048页，2016年。6[40] Simon Meister，Junhwa Hur，and Stefan Roth. UnFlow：具有双向集中损失的光流的无监督学习。在AAAI，第7251-7259页，2018年。二、四[41] Moritz Menze和Andreas Geiger。自动驾驶车辆的对象场景流。在CVPR，第3061-3070页，2015年。1、8[42] MichalNeoral，JanS.Sauchman ，andJ irMatas. 连续遮挡和光流估计。在ACCV，2018年。三、四、八[43] David Nilsson和Cristian Sminchisescu基于门控递归流传播的语义视频分割在CVPR中，第6819-6828页1[44] 庞家豪，孙文秀，Jimmy SJ. Ren，Chengxi Yang，andQiong Yan.级联剩余学习：用于立体匹配的两级卷积神经网络。在ICCV研讨会，第878-886页，2017年。3[45] Anurag Ranjan和Michael J.黑色.使用空间金字塔网络的光流估计在CVPR中，第2720一、二、三[46] Zhile Ren ， Orazio Gallo ， Deqing Sun ， Ming-HsuanYang，Erik B. Sudderth和Jan Kautz。一种多帧光流估计的融合方法。在WACV，第20778[47] Zhe Ren，Junchi Yan，Bingbing Ni，Bin Liu，XiaokangYang，and Hongyuan Zha.用于光流估计的无监督深度学习。在AAAI，第1495-1501页，2017年。2[48] Je´ro meRev aud，PhilippeWeinzaepfel，Za dHarchaoui，andCordelia Schmid.EpicFlow：光流对应的边缘保持插值。在ICCV，第1164- 1172页，2015年。2[49] Rene 'Schuster ， ChristianBailer ， Oliv erWasenmüller ，andDidier Stricker.FlowFields++：精确的光流对应满足鲁棒插值。在ICIP，第1463- 1467页，2018年。8[50] 孙德清，刘策，汉斯佩特·菲斯特。 局部层-用于关节运动估计和遮挡检测。在CVPR，第1098-1105页，2014年。二、三、四[51] 孙德清，斯特凡·罗斯，迈克尔·J。黑色.光流估算的当前实 践及 其背 后的 原理 的定量 分析 。国际 计算 机Vision，106（2）：115-137，Jan. 2014. 二、三[52] 孙德清、杨晓东、刘明宇和Jan Kautz。PWC-Net：使用金字塔，扭曲和成本体积的光流CNN。在CVPR中，第8934-8943页，2018年。一二三四五六七八[53] 孙德清、杨晓东、刘明宇和Jan Kautz。模型很重要，培训也很重要：用于光流估计的CNN的实证研究。 IEEET. 模式分析马赫内特尔2019年，出现。六、八[54] 孙健、李尹、成炳刚和沈香阳。用于遮挡处理的对称立体匹配。见CVPR，第399-406页，2005年。3[55] Jonathan J. Tompson ， Arjun Jain ， Yann LeCun ， andChristoph Bregler.卷积网络和图形模型的联合训练用于人体姿势估计。NIPS*2014，第1799-1807页。1[56] Benjamin Ummenhofer、Huizhong Zhou、Jonas Uhrig、Niko-laus Mayer 、 Eddy Ilg 、 Alexey Dosovitskiy 和Thomas Brox。DeMoN：用于学习单眼立体声的深度和运动网络。在CVPR中，第5622-5631页，2017年。3[57] Markus Unger，Manuel Werlberger，Thomas Pock，andHorst Bischof.结合标记代价和遮挡建模的复杂场景联合运动估计和分割。在CVPR，第1878-1885页，2012年。二、三、四[58] 王阳，杨毅，杨振恒，赵亮，魏旭。光流的遮挡感知无监督学习。在CVPR中，第4884-4893页，2018年。二、三、四、八[59] Jonas Wulff，Laura Sevilla-Lara，and Michael J.黑色. 在大多数刚性场景中的光流。在CVPR中，第6911二、八[60] 肖江建，程辉，Harpreet S. Sawhney，Cen Rao，andMichael A.伊斯纳迪基于双边滤波的光流估计与遮挡检测。ECCV，第1卷，第211-224页，2006年。二、三、四[61] Jia Xu，Rene 'Ranftl，and Vladlen Koltun.通过直接成本批量处理实现精确的优化流程.在CVPR中，第5807-5815页，2017年。二、八[62] 杨艳超和斯特凡诺·索托。S2F：从慢到快的插值器流。在CVPR中，第3767-3776页，2017年。8[63] 作者：Jason J. Harley和Konstantinos G.德帕尼斯。回到基础：通过亮度恒定性和运动平滑性的光流的无监督学习。在ECCV研讨会，第3卷，第3-10页，2016年。2[64] 西州朱、宇文雄、戴季峰、卢远、魏一辰。用于视频识别的深度特征流。在CVPR中，第4141-4150页，2017年。1[65] Yi Zhu ， Zhenzhong Lan ， Shawn Newsam ， andAlexander G.豪普特曼引导光流学习。在CVPR 2017研讨会，2017年。2[66] Yi Zhu和Shawn D.纽萨姆用于密集流的DenseNet在ICIP，第790-794页，2017年。2[67] Shay Zweig和Lior WolfInterpoNet，一个用于光流密集插值的大脑启发在CVPR中，第6363-6372页，2017年。2