没有合适的资源?快使用搜索试试~ 我知道了~
光流的不确定性估计和EddyIlg*、OüzguünCicek*、SilvioGalessso*、AaronKlein、OsamaMakansi、FrankHutter和Thomas Brox德国弗赖堡大学{ilg,cicek,galessos,kleinaa,makansio,fh,brox} @ cs.uni-freiburg.de抽象。光流估计可以用公式表示为端到端的监督学习问题,与替代方法相比,其产生具有优越的准确性-运行时间折衷的估计。在本文中,我们让这样的网络估计其预测正确性的局部不确定性,这是在估计之上建立决策时的重要信息。第一次,我们比较了几种策略和技术,以估计在一个大规模的计算机视觉任务,如光流估计的不确定性。此外,我们引入了一个新的网络架构和损失函数,执行互补的假设,并提供不确定性估计有效地与一个单一的前进通过,而不需要采样或合奏。我们demonstrate的质量的不确定性估计,这显然是高于以前的信心措施的光流,并允许交互式帧速率。关键词:卷积神经网络,光流估计,不确定度估计1介绍最近的研究表明,深度网络在准确性和速度方面通常优于光流估计是一个示例:FlowNet [6,12]以交互式帧速率产生高精度光流,这与汽车领域或活动理解中的许多应用相关。对基于学习的方法的一个有效批评是它们的黑盒性质:由于问题的所有部分都是从数据中学习的,因此对网络如何解决问题没有严格的理解。尽管FlowNet 2.0 [12]在各种数据集上都表现出良好的泛化能力,但不能保证它也能在包含未知挑战的不同场景中工作。在现实世界的场景中,例如控制自动驾驶汽车,一个错误的决定可能是致命的;因此,不可能在没有关于基础估计的可靠性如何的信息的情况下部署这样的系统。我们应该期待一个额外的平等贡献E. Il g,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F.HuterandT. BROX2图1:光流及其不确定性的联合估计。左图:来自KITTI 2015序列的图像。中间:估计的光流。右图:估计的不确定性(可视化为热图)将汽车阴影中的光流标记为不可靠(由红色箭头指示),与汽车本身相反,这是以更高的确定性估计的。标记为最可靠的是静态背景的光流估计两个网络k的当前假设,因此在两个网络k可能存在其不能可靠地估计光流或其必须在多个可能假设中进行决定的较困难情况下;见图1然而,计算机视觉中的深度网络通常仅产生其单个优选预测,而不是分布的参数。本文的第一个贡献是一个开放的问题的答案,其中的许多方法的不确定性估计,其中大部分已被应用到目前为止,只有小的问题,是最有效的高分辨率的编码器-解码器回归网络。我们提供了一个全面的研究经验,预测合奏,预测模型和预测合奏。第一类包括频率论方法,第二类依赖于参数输出分布的估计,第三类结合了前两类的性质。我们使用常见的MC dropout技术[7]、不太常见的BootstrappedEnsembles [19]和快照Ensembles [11]为FlowNet实现了这些方法我们发现,在一般情况下,所有这些方法产生令人惊讶的良好的不确定性估计,其中最好的性能是实现与预测网络的Bootstrapped合奏来自不确定性估计。虽然这种集成是获得不确定性估计的好方法,但它们必须运行多个网络才能创建足够多的样本。该缺点随着样本的数量线性地增加了训练和测试时间的计算负载和存储器占用,使得这些方法不适用于实时。作为第二个贡献,我们提出了一个多头网络架构,产生多个假设在一个单一的网络,而不需要采样。我们使用的损失只惩罚最好的假设。这促使网络在有疑问的情况下做出多个不同的预测。我们训练第二个网络来最佳地组合假设并估计最终的不确定性。该网络产生与引导式集合相同的良好的不确定性估计,但是允许交互式帧速率。因此,在本文中,我们解决了在汽车系统中部署光流估计的所有三个重要方面:从基础网络继承的高准确性、可靠性度量和快速运行时间。光流的不确定性估计和多假设网络32相关工作光流的置信度测量。虽然有大量的光流估计方法,但它们中只有少数提供不确定性估计。事后方法将后处理应用于已经估计的流场。Kondermann等人[16]使用典型位移邻域的学习线性子空间来测试模型的可靠性。在他们的后续工作[17]中,他们提出了一种基于从地面真实数据中学习的概率运动模型的假设检验方法。Aodha等人[1]训练二元分类器以预测每个像素的端点误差是大于还是小于一个精确度阈值,并使用所预测的像素的概率作为不精确度度量。所有事后方法都忽略模型结构给出的信息相比之下,模型固有方法使用内部估计模型产生其不确定性估计,即:能量最小化模型Bruhn和Weickert [3]使用能量泛函的倒数作为模型假设偏差的度量。Kybic和Nieuwenhuis [18]对基于能量的方法的数据项进行自举抽样,以获得有意义的流量预测统计数据。最近的工作Wannenwetsch等人。[29]通过贝叶斯优化从能量泛函和计算的流量均值和协方差导出了流场后验的概率近似。Ummenhofer等人[28]提出了一种深度估计CNN,其内部使用用于估计的光流与地面实况的偏差的预测器。这产生了在网络内部使用的中间光流的置信图。但是,这种方法将流和置信度分开处理,并且没有进行评估用于置信度测量的可靠性CNN的不确定性估计。贝叶斯神经网络(BNN)已被证明可以获得良好校准的不确定性估计,同时保持标准神经网络的属性[24,22]。早期的工作[24]主要使用马尔可夫链蒙特卡罗(MCMC)方法从权重分布中对网络进行采样,其中一些,例如哈密顿蒙特卡罗,可以利用反向传播算法提供的梯度信息最近的方法将传统的基于梯度的MCMC方法推广到随机小批量设置,其中只有真实梯度的噪声估计可用[5,30]。然而,即使这些最新的MCMC方法也不能很好地扩展到高维空间,并且由于像FlowNet这样的当代编码器-解码器网络具有数百万个权重,因此它们不适用于这种设置。变分推理方法试图通过更易处理的分布来近似权重的分布,而不是采样[8,2]。尽管它们通常在数据点数量和权重数量方面比MCMC同行更好地扩展,但它们仅适用于许多应用。更小的网络[10,2]比在本文件中。Gal和Ghahramani [7]通过在每层之后使用dropout对权重进行采样,并估计神经网络的认知不确定性。在Kendall和Gal [15]的后续工作中,这一想法被应用于视觉任务,以及随机的不确定性(这解释了观察中的噪声)和E. Il g,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F.HuterandT. BROX4认知不确定性(解释模型不确定性)在联合框架中进行了研究。我们表明,在本文中,辍学策略中使用所有先前的计算机视觉应用[15,26]本身并不是最好的,并且其他策略产生更好的结果。与诸如MCMC采样的贝叶斯方法相比,自举是一种易于实现并且很好地扩展到高维空间的频率论方法,因为它仅需要权重的点估计。其思想是在训练数据的M个不同的自举子集上独立地训练M个神经网络,并将它们视为来自权重分布的独立样本。虽然自举不能确保模型的 多 样 性 , 在 最 坏 的 情 况 下 可 能 会 导 致 M 个 相 同 的 模 型 ,Lakshminarayanan等人。[19]认为,集成模型平均可以被视为丢弃平均。他们用随机初始化和随机数据洗牌训练单个网络,其中每个网络预测均值和方差。在测试期间,他们结合了各个模型的预测,以解释网络的认知不确定性。在我们的实验中,我们还考虑了所谓的快照集合[11这些是通过随机梯度下降与热重启(SGDR)[21]相当有效地获得的多假设估计针对所提出的多假设网络的损失函数与Guzman-Rivera等人有关[9],他为SSVM提出了Lee等人。[20]将损失应用于网络集合,Chen Koltun [4]应用于单个CNN。3深度网络的不确定性估计假设我们有一个数据集D ={(x 0,ygt),. . . ,(x N,y gt)},其由以下等式生成:0N从联合分布p(x, y)中采样在CNN中,假设存在通过函数fw(x)从x到y的唯一映射,其由根据D上的给定损失函数优化的权重w参数化。对于光流,我们将训练的网络表示为从输入图像x =(I1, I2)到输出光流y =(u, v)的映射,如y =fw(I1, I2),其中u, v是光流的x和y分量Dosovitskiyet al.[6]最小化每像素端点误差√EPE=(u−ugt)2+(v−vgt)2, (1)其中为了简洁省略了像素坐标如图2a中所描绘的,该网络完全基于两个网络k的概率输出根据损失函数,这通常对应于分布p(y)的平均值|X,D)。在本文中,我们研究了三种主要的方法来估计方差σ2。这些都是基于经验方差的分布的合奏,分布的参数模型,和两者的组合所有这些方法中的方差用作不确定性的估计光流的不确定性估计和多假设网络5FlowNetCEst.FlowNetCPred. VarPred. 是说丢弃引导SGDR丢弃引导SGDR(一)(b)第(1)款(c)第(1)款(d)其他事项(e)图2:本文中考虑的网络概述。(a)FlowNetC接受了EPE培训。(b)与(a)相同的网络,其中使用dropout、bootstrapping或SGDR构建系综。 (c)用对数似然训练的FlowNetC以预测均值和方差。(d) 与(c)相同的网络,其中使用dropout,bootstrapping或SGDR构建合奏。(e)FlowNetH被训练以预测具有方差的多个假设,其被合并为单个分布输出。对于光流,只有(a)以这种形式存在。3.1经验不确定性估计获得方差估计的直接方法是独立地训练M个不同的模型,使得分布p(y)的均值和方差|X,D)可以用第二个模型的预测值的经验平均值和方差来近似。letfwi(x)dentem我们可以通过下式计算u分量的经验均值和方差:µ=1uMσ2=1ΣMi=1ΣMuwi(x)(2)(uw(x)−µu)2(3)uM ii=1并因此用于光流的V分量。如图2b中所描绘的这样的M个网络的集合可以以多种方式构建。最常见的方法是通过Monte Carlo Dropout [7]。在测试时也使用dropout,可以从网络权重随机采样M次以构建集成。可替代地,个体网络的集合可以用随机权重初始化、数据混洗和自举来训练,如Lakshminarayanan等人所提出的。[19 ]第10段。构建集成的一种更有效的方法是使用用SGDR [21]学习方案训练的单个网络的M个预收敛快照,如Huang等人所提出的。[11 ]第10段。我们调查这三种方式的建设合奏流量估计,并把他们称为辍学,引导合奏和SGDR合奏,分别。FlowNetCEst.FlowNetCFlowNetCFlowNetCPred. VarPred. 是说FlowNetCPred. VarPred. 是说FlowNetCPred. VarPred. 是说FlowNetHMergeNetPred. VarPred. 是说Pred. VarPred. 是说Pred. VarPred. 是说Pred. VarPred. 是说Est.Est.E. Il g,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F.HuterandT. BROX63.2预测不确定度估计或者,我们可以训练网络以输出分布p(y)的参数模型的参数θ|x,D),如由Nix和Weigend [25]引入的。在本发明中,高斯分布和高斯分布(其中θp对高斯分布的均值和方差进行了限定)是最常见的,但是任何类型的参数分布都是可能的这样的网络可以通过最大化其对数似然来优化1ΣNlogp(D |w)=N i=1log p(yi|θ(xi,w))(4)w.r.t. W. 然后,输入x的预测分布被定义为:p(y |x,w)≡ p(y |θ(x,w))。(五)虽然高斯的负对数似然对应于L2损失,但FlowNet使用EPE损失进行训练,这对离群值具有更强的鲁棒性。因此,我们建模预测分布的拉普拉斯算子,这对应于一个L1损失。一元拉普拉斯分布有两个参数a和b,定义为:L(u|a,b)= 1−|u−a|eb.(六)2BWannewetsch et al.[29]中,我们将光流的u和v分量建模为独立的。近似产生:L(u,v|a u,a v,b u,b v)≈ L(u|a u,b u)·L(v|a v,b v)。(七)我们通过最小化等式的负对数似然来获得具有输出au,av,bu,bv的FlowNet的概率版本。第七章:-log(L(u|一,b)·L(v|a,b))= |u − au|+ log b +|v − av |+ log b. (八)uu vvbuubvv作为不确定性估计,我们使用预测分布的方差,在这种情况下为σ2= 2b2这种情况对应于单个FlowNetC预测流量和不确定性,如图2c所示。3.3贝叶斯不确定性估计从贝叶斯的角度来看,为了获得模型不确定性的估计,而不是选择w的点估计,我们将边缘化所有可能的值:∫p(y |x,D)=∫=p(y |x,w)p(w |D)d w(9)p(y |θ(x,w))p(w |D)d w.(十)光流的不确定性估计和多假设网络7我u该积分不能以封闭形式计算,而是通过对M个网络w ip(w)进行采样来计算|D)根据后验分布并使用蒙特卡罗近似[24],我们可以将其均值和方差近似为:ΣMp(y |x,D)i=1p(y|θ(x,w i))。(十一)由于每个参数分布都有一个均值和一个方差,因此每个具有权重wi的网络预测的分布也会产生一个均值µi和一个方差σ2。方程中混合分布的均值和方差。然后,可以通过u分量(以及v分量)的总方差定律计算为:µ=1uMΣMi=1µu,i(12)σ2= 1ΣMMi=1.Σ(µu,i−µu)2+σ2u,i.(十三)这也可以实现为通过dropout [7],bootstrapping [19]或SGDR [11]的预测变体获得的集合,其中第3.1节和第3.2节的想法如图2d所示组合。4在单个网络中预测多个假设在第3.1节和第3.3节中提出的方法需要多个前向传递以获得多个样本,其缺点是在运行时大大增加了计算成本。在本节中,我们提出了一个损失函数来在单个网络中进行多个预测我们称这些预测为假说。对于预测的假设,我们通过损失函数的设计鼓励多模态[9,20,4]。这使得预测更加多样化,并导致捕获更多不同的解决方案,但不允许通过简单地计算上一节中提出的集合的平均值来合并。因此,我们还建议使用第二个网络,将假设合并为单个预测和方差,如图2e所示。由于地面实况仅可用于单个真实解,因此出现了如何训练网络以预测多个假设以及如何确保每个假设包含有意义的信息的问题。 为此,我们使用一个损失,只惩罚网络输出假设y1,. . . ,yM[9].假设预测流矢量y(i,j)与其在像素i,j处的地面实况ygt(i,j)之间的损失由损失函数l定义。我们最小化:Lhyp=Σl(ybestidx(i,j),ygt(i,j))+∆(i,j), (14)i、jE. Il g,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F.HuterandT. BROX8其中,best idx(i,j)根据地面实况选择每个像素的最佳假设bestidx(i,j)=a rgminEPE(yk(i,j),ygt(i,j))。(十五)K∆= ∆ u+ ∆ v通过单侧差异鼓励来自相同假设k的相似解,例如对于u分量:Σ∆u(i,j)=k;i>1;jΣk;i;j>1|+的|+|y k,u (i, j) − y k,u (i, j −1)|(十六)对于l,我们或者使用来自等式2的端点误差。1或来自等式1的负对数似然。8.在后一种情况下,每个假设与不确定性估计组合,并且l还对方差σ进行运算。等式15和16保持不受影响。对于最佳索引选择,我们坚持EPE,因为它是主要的优化目标。为了最小化L_hyp,网络必须在至少一个假设中做出接近地面实况的预测。在存在多个解决方案并且网络无法决定其中一个的位置,网络将预测几个不同的可能解决方案,以增加真正解决方案在这些预测中的机会。因此,网络将有利于在不确定的情况在补充材料的表3和表4中,我们提供了这些假设的可视化。在本实施例中,仅可将所有输出端口中的一个应用程序收集起来。在这种情况下,其他假设将具有非常高的误差,并且将永远不会被选择用于反向传播。然而,由于数据的可变性和训练中的随机性,这种崩溃是非常不可能的。我们从未观察到网络没有使用其中一个假设,并且对于Oracle合并,我们观察到所有假设的贡献或多或少相等。我们在实验中展示了这种多样性。5实验为了评估不确定性估计的不同策略,同时保持计算成本可控,我们选择了Dosovitsky等人的FlowNetC架构作为基础模型。[6]通过Ilg等人的改进训练 设置。”[12]我们。 单个FlowNetC显示出比 完整的堆叠FlowNet 2.0更大的端点误差(EPE)[12],但训练速度更快。请注意,这项工作的目的是不确定性估计,而不是为了改善基本模型上的光流。由于平均效应,使用系综可能导致光流估计的微小改进最后,我们还将展示一个大型堆叠网络的结果,以证明不确定性估计并不局限于小型简单网络。光流的不确定性估计和多假设网络95.1培训详细信息与Ilg et al.[12],我们使用批量Normalization[13]和连续下降的余弦学习率计划[21]。这会缩短训练时间,并稍微改善结果;见表1。我们在FlyingChairs [6]上训练,并以2e- 4的学习率对于所有网络,我们固定每个网络600k次迭代的训练预算,但SGDR例外,我们还评估执行一些预循环。对于SGDR集成,我们每75k次迭代执行一次重启。我们将Tmult固定为1,以便每次退火都需要相同的迭代次数。我们experi- ment与不同的变种建筑合奏使用快照在每次退火结束。我们在构建时总是拍摄最新的M快照表1:使用原始FlowNetC [12]和 我 们 的 实 施 方 式 清 洁 的Sintel列车上的光流质量。Iter EPEFlowNetC [12] 600k 3.77FlowNetC [12] 1.2m 3.58FlowNetC我们的600k 3.40一个合奏。 对于脱落实验,我们使用Kendall等人建议的0.2的脱落率。[15 ]第10段。对于Bootstrapped Ensembles,我们与Bootstrapping并行训练MFlowNetC,使得每个网络看到不同的67%的训练数据。对于我们方法的最终版本,我们在每个网络上对FlyingThings 3D [23]进行了250k次迭代的额外训练,从2e-5的学习率开始,随着余弦退火而衰减我们使用Caffe [14]框架进行网络训练,并在Nvidia GTX 1080Ti上评估所有运行时。我们将公开源代码和最终模型。对于合奏,我们必须选择合奏的大小M均值和方差的抽样误差随M的增大而减小。然而,由于用于光流估计的网络是相当大的,我们在易于处理的样本大小方面受到限制,并且将其限制为M= 8。对于FlowNetH,我们也使用M= 8对于SGDR,存在附加的预循环参数:开始中的快照通常尚未收敛,并且预循环的数量是我们在构建系综之前丢弃的快照在补充材料中,我们表明,快照拍摄得越晚,结果越好关于EPE和AUSE。我们在以下实验中使用8个预循环5.2评估指标稀疏化图。为了评估不确定性度量的质量,我们使用所谓的稀疏图,这通常用于此目的[1,29,17,18]。这些图揭示了估计的不确定性与真实误差的一致程度如果估计的方差是模型不确定性的良好表示,并且逐渐去除具有最高方差的像素,则误差应当单调减小。我们的方法的这种曲线如图3所示。不确定性的最佳可能排序是按真实误差对地面真实值的排序。我们将此曲线称为Oracle稀疏化。图3显示,我们的不确定性估计非常接近这个预言。10E. Il g,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F.HuterandT. BROX1.00.80.60.40.20.00.0 0.2 0.4 0.6 0.8 1.0移除像素图3:Sintel训练干净数据集的FlowNetH-Pred-Merged的稀疏化图。该图显示了去除了最高不确定性的像素的每个部分的平均端点误差(AEPE)oracle稀疏化通过移除由地面实况端点误差排名的像素的每个分数来示出下限。去除20%的像素导致平均端点误差减半。表2:在Sintel训练干净数据集上M=8的所有提出的方法的流量和不确定性预测的比较。Oracle-EPE是从由地面实况确定的样本或假设中进行逐像素最佳选择的EPE变种 是8个样本或假设的平均经验方差。预测版本(Pred)通常优于经验版本(Emp)。包括合并网络提高了性能。FlowNetH-Pred-Merged在预测不确定性方面表现最好,并且运行时间相对较低。经验的预测(Pred)AUSE EPE Oracle EPE变种AUSE EPE Oracle EPE变种运行时FlowNetC-3 .第三章。40--0的情况。1333 .第三章。62--38毫秒辍学0的情况。2123 .第三章。67二、565.050的情况。1583 .第三章。99二、963.80320MsSGDREnstrom0的情况。1913 .第三章。25二、563.500的情况。1343 .第三章。40二、871.52304msBootstrappedEnsemble0的情况。2093 .第三章。41二、179.520的情况。1273 .第三章。46二、496.15304msBootstrappedEnsemble-Merged0的情况。1023 .第三章。20二、496.15332msFlowNetH-合并-3 .第三章。501 .一、7383岁320的情况。0953 .第三章。361 .一、8952岁8560ms稀疏化错误。对于每种方法的预言是不同的,因此使用单个稀疏图的方法之间的比较是不可能的。为此,我们引入了一个措施,我们称之为稀疏化误差。它被定义为稀疏化和它的预言之间的差异。由于这种测量将oracle标准化,因此可以对不同方法进行公平的比较。在图4a中,我们显示了本文中提出的所有方法的稀疏化误差。为了用单个 数 字 量 化 稀 疏 化 误 差 , 我 们 使 用 稀 疏 化 误 差 曲 线 下 的 面 积(AUSE)。Oracle EPE。对于每个集合,我们还通过考虑每个成员的像素最佳选择(由地面实况决定)来计算假设的端点误差。我们在表2中报告了这个误差以及成员之间的经验方差。公司简介FlowNetH预合并Oracle平均EPE(归一化)光流的不确定性估计和多假设网络11Dropout-EmpBootstrappedEns。- EmpBootstrappedEns.-PredBootstrappedEns。-合并前SGDR-EmpSGDR-PredFlowNetC-PredFlowNetH-Pred-合并BootstrappedEns。- Pred-Mer SGDR-EmpSGDR-Pred埃尔盖德= 1tH-Pred-MtC-Pred,MFlowNeFlowNeGED- 电磁脉冲-Predt-Empt-PredppedEns。德罗普德罗普·布特斯特拉4.20.44.00.3 3.80.23.63.40.10.00.0 0.2 0.4 0.6 0.81.0移除像素3.20.08 0.10 0.12 0.14 0.16 0.18 0.20 0.22 0.24AUSE(a)(b)第(1)款图4:(a)Sintel训练干净数据集上的稀疏化错误。稀疏化误差(越小越好)是用于比 较 不 同 方 法 之 间 的 不 确 定 性 估 计 的 建 议 度 量 。 FlowNetH-Pred-Merged 和BootstrappedEnsemble-Pred-Merged在图的几乎所有部分中表现最佳。(b)AEPE与Δ EPE的散点图。用于可视化表2的一些内容的测试方法的AUSE。5.3CNN中不确定性的比较术语.当针对端点误差训练单个网络时,我们将该单个网络和所得到的集合称为经验的(缩写为Emp;图2a和2b),而当针对负对数似然训练单个网络时,我们将单个网络和集合称为预测的(Pred;图2c和2d)。当多个样例或解决方案与网络合并时,我们会将“合并”添加到名称中。例如,FlowNetH-Pred- Merged是指预测多个假设并将它们与网络合并的FlowNetH,分别使用假设和合并两者的预测分布的损失(图2 e)。表2和图4a、4b显示了本文中评估的所有模型的结果。经验不确定性估计。结果表明,经验集成的不确定性估计是好的,但不如本文提出的其他然而,与预测对应物相比,模拟集成倾向于产生稍微更好的EPE,如将在下文中讨论的预测不确定性估计。预测模型的估计不确定性优于经验模型。就AUSE而言,即使是具有预测不确定性的单个FlowNetC也会产生比任何经验集合更好的不确定性估计这是因为当针对预测损失函数进行训练时,网络有可能解释具有不确定性的离群这就是所谓的“无功而返”。虽然EPE损失试图也对离群值强制执行正确的解决方案,但对数似然损失使它们衰减。实验证实了这种效果,并表明让网络估计自己的不确定性是有利稀疏化错误EPE12E. Ilg,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F. HuterandT.BROX预测合奏。将预测网络的集成与单个预测网络进行比较表明,单个网络已经非常接近预测集成,并且集成的好处是有限的。我们也将此归因于损耗衰减:不同的系综成员似乎以类似的方式衰减离群值并且引起较少的多样性,如通过对系综成员的不同的成员进行观察可以看出的。在表2中)。当比较经验的集合与预测的集合时,我们可以得出以下结论:经验估计在集合内提供更多的多样性(表2中的方差列),b.)经验估计提供较低的EPE和Oracle EPE,c.)所有经验设置提供的不确定性估计值都比预测设置。集合类型。我们看到,常用的dropout [7]技术在EPE和AUSE方面表现最差,尽管预测集成类型之间的差异SGDR集合提供了更好的不确定性,但样本之间的方差最小。这可能是因为后来的系综成员是从同一模型的先前快照中导出的此外,由于8个预循环,SGDR实验运行了最大数量的训练迭代,这可以解释为什么它们提供比其他集合略好的EPE。自举集成在预测集成中提供最高的样本方差和最低的AUSEFlowNetH和合并网络的不确定性估计。除了FlowNetH之外,我们还研究了在预测性Bootstrapped Ensembles之上放置合并网络。结果表明,多假设网络(FlowNetH-Pred-Merged)在AUSE和EPE方面与BootstrappedEnsemble-Pred-Merged具有相当的性能然而,包括运行时,FlowNetH-Pred-Merged产生最佳折衷;参见表2。 只有FlowNetC和FlowNetH-Pred-Merged允许以交互式帧速率部署。表2还显示,FlowNetH具有更高的样本方差和最低的oracle EPE。这表明,它内部有非常多样化和潜在有用的假设,可以在未来更好地利用对于一些视觉示例,我们参考补充材料中的表3和表4。5.4与基于能量的不确定性估计的比较我们将来自前一节的优选方法(FlowNetH-Pred- Merged)与ProbFlow[29]进行比较,ProbFlow[29]是一种能量最小化方法,并且目前是用于估计光流的不确定性的最新技术图5显示了Sintel系列决赛的稀疏化图ProbFlow 具 有 与 FlowNetH-Pred-Merged 几 乎 相 同 的 oracle , 即 来 自ProbFlow的流场同样可以受益于稀疏化,但是由于其估计的不确定性而导致的实际稀疏化误差更高。这表明FlowNetH-Pred-Merged具有优越的不确定性估计。在表3中,我们表明这也适用于KITTI数据集。在这种情况下,FlowNetH在EPE方面也优于ProbFlow。这表明,优越的不确定性估计不是由于较弱的光流模型,即。避免容易预测的明显错误。光流的不确定性估计和多假设网络131.00.80.60.40.20.250.200.150.100.050.00.0 0.2 0.4 0.6 0.81.0移除像素(一)0.000.0 0.2 0.4 0.6 0.8 1.0移除像素(b)第(1)款图5:在Sintel训练最终数据集上,ProbFlow、FlowNetH-Pred-Merged和FlowNetH-Pred-Merged-SS(顶部堆叠有2个细化网络的版本)的稀疏化曲线及其各自的oracle(a)和稀疏化误差(b)的图。KITTI版本相似,并在补充材料中提供。表3:在Sintel列车清洁、Sintel列车最终和我们的KITTI 2012+2015验证分割数据集上,FlowNetH与最先进的不确定性估计方法ProbFlow [ 29 ]的比较。“-FT-KITTI”版本首先在FlyingChairs [ 6 ]上训练,然后在FlyingThings 3D [ 23 ]上训练,如第5.1和子微调我们的KITTI 2012+2015培训分割.FlowNetH-Pred-合并,-S和-SS都是用补充材料图2中描述的FlowNet 2 [ 12 ]调度训练的。6.我们的方法在AUSE中的性能优于ProbFlow,并且在KITTI数据集的EPE方面也优于ProbFlow†运行时取自[29],请参见有关ProbFlow输出计算的详细信息,请参阅补充材料Sintel CleanSintel决赛KITTI运行时AUSE EPE AUSE EPE AUSE EPEProbFlow [29]0的情况。1621 .一、870的情况。1733 .第三章。340的情况。4668. 9538.1s†FlowNetH-Pred-Merged-FT-KITTI----0的情况。0863 .第三章。1260MsFlowNetH-Pred-合并0的情况。117二、580的情况。1283 .第三章。780的情况。1517 .第一次会议。8460MsFlowNetH-Pred-Merged-S0的情况。091二、290的情况。0983 .第三章。510的情况。102六、8686msFlowNetH-Pred-Merged-SS0的情况。089二、190的情况。0963 .第三章。400的情况。091六、5099ms表3进一步示出了不确定性估计不限于简单的编码器-解码器网络,而是还可以成功地应用于最先进的堆叠网络[12]。为此,我们遵循Ilget al.[12]并在FlowNetH-Pred-Merged之上堆叠细化网络与[12]不同,每个细化网络产生流场的残差和不确定性,如最近由[27]提出的。我们将第一个细化网络称为FlowNetH-Pred-Merged-S,第二个细化网络称为FlowNetH-Pred-Merged-SS,因为每个细化网络都是FlowNetS [12]。不确定性估计不受叠加的负面影响,尽管改善流场。这再次表明,不管预测的光流是好还是坏,不确定性图6示出了与ProbFlow的定性比较。显然,FlowNet-Pred-Merged的不确定性估计在运动边界之外也表现良好Acle或- 合并- 合并-SSwNetH-PredAclewNetH-PredFL或Fl障碍流Pr或- 合并-SSwNetH-PredFlo- 合并obFlowwNetH-PredPrFlo平均EPE(归一化)稀疏化错误14E. Ilg,O¨. Cice k,S. Galesso,A. 进来吧,O。 Makansi,F. HuterandT.BROX图6:FlowNetH-Pred-Merged和ProbFlow之间的比较[29]。 第一行显示了图像对,后面是来自Sintel最终数据集的两个不同场景的地面实况流。第二行显示FlowNetH-Pred-Merged结果:来自具有地面实况误差的拉普拉斯分布的熵(我们将其称为Oracle熵,以表示补充材料中解释的最佳不确定性),预测熵和预测流量。与第二行类似,第三行显示ProbFlow的结果虽然这两种方法都无法估计左场景中龙的运动和右场景中手臂和腿的运动,但我们的方法更好地预测这些区域中的不确定性并且涵盖了脆弱光流估计的许多其他原因有关挑战性真实世界数据的更多结果显示在补充视频中,也可以在https://youtu.be/HvyovWSo8uE上找到。6结论我们提出并评估了几种方法来估计光流估计的深度回归网络的不确定性我们发现SGDR和Boot-strapped Ensembles的性能优于常用的dropout技术。此外,我们发现,一个单一的网络可以很好地估计自己的不确定性,并且这种估计优于任何经验集合。我们相信这些结果也将适用于许多其他计算机视觉任务。此外,我们提出了一个多假设网络,表现出非常好的性能,比基于采样的方法和合奏更快。网络可以可靠地和实时地估计其自身的不确定性的事实具有高度的实际相关性。人类倾向于相信一种工程方法,而不是一个训练有素的网络,没有人确切地知道它是如何解决任务的。然而,如果网络说他们什么时候自信,什么时候不自信,我们可以比今天更信任他们。确认我 们 衷 心 感 谢 德 国 研 究 基 金 会 ( SPP 1527 赠 款 BR 3815/8-1 和 HU1900/3-1,CRC-1140 KIDGEM Z 02)和通过ERC启动补助金716721和Trimbot2020项目,欧盟的地平线2020计划。光流的不确定性估计和多假设网络15引用1. Aodha,O.M.,Humayun,A.,Pollefeys,M.,Brostow,G.J.:学习光流的置信度度量 IEEE Transactions on Pattern Analysis and Machine Intelligence 35(5),1107-1120(2013年5月)。https://doi.org/10.1109/TPAMI.2012.1712. 布伦德尔角Cornebise,J.,Kavukcuoglu,K.,Wierstra,D.:重量不确定性神经网络的第32届机器学习国际会议(ICML 2015)。pp. 一六一三至一六二二年3. Bruhn ,A.,Weickert ,J.:变分光流法的置信度测量283-298 。SpringerNetherlands , Dordrecht ( 2006 ) , https://doi.org/10.1007/1-4020-3858-8_154. 陈昆, Koltun,V.: 具有级联的摄影图像合成 细化网络. 在:IEEE国际计算机视觉会议(ICCV)(2017)5. 陈,T.,Fox,E.,Guestrin,C.:随机梯度哈密顿蒙特卡罗。第31届机器学习国际会议论文集(ICML6. 做得很好A Fische r,P., I Ig,E.,Hsse r,P., Hazırbas,C., Golkov,V.,v. D. Smagt,P.,Cremers,D. Brox,T.:Flownet:使用卷积网络学习光流。在:IEEE国际计算机视觉会议(ICCV)(2015)7. Gal,Y.,Ghahramani,Z.:Dropout作为贝叶斯近似:在深度学习中表示模型的不确定性。在:国际机器学习会议(ICML)(2016)8. 格雷夫斯,A.:神经网络的实用变分推理。神经信息处理系统进展(NIPS)2011年。p. 23482356(2011)9. Guzman-Rivera,A. Batra,D.,Kohli,P.:多项选择学习:学习产生多个结构化输出。在:神经信息处理系统(NIPS)国际会议(2012)10. Hern'ande
下载后可阅读完整内容,剩余1页未读,立即下载
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 4
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
会员权益专享
最新资源
- 电力电子系统建模与控制入门
- SQL数据库基础入门:发展历程与关键概念
- DC/DC变换器动态建模与控制方法解析
- 市***专有云IaaS服务:云主机与数据库解决方案
- 紫鸟数据魔方:跨境电商选品神器,助力爆款打造
- 电力电子技术:DC-DC变换器动态模型与控制
- 视觉与实用并重:跨境电商产品开发的六重价值策略
- VB.NET三层架构下的数据库应用程序开发
- 跨境电商产品开发:关键词策略与用户痛点挖掘
- VC-MFC数据库编程技巧与实现
- 亚马逊新品开发策略:选品与市场研究
- 数据库基础知识:从数据到Visual FoxPro应用
- 计算机专业实习经验与项目总结
- Sparkle家族轻量级加密与哈希:提升IoT设备数据安全性
- SQL数据库期末考试精选题与答案解析
- H3C规模数据融合:技术探讨与应用案例解析
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)