E.
I
l
g
,
O
¨
.
C
i
c
e
k
,
S
.
G
a
l
e
ss
o
,
A
.
进来
吧
,
O
。
Mak
an
s
i
,
F
.
Hu
t
e
r
and
T
.
B
RO
X
认知不确定性(解释模型不确定性)在联合框架中进行了研究。我们
表明,在本文中,辍学策略中使用 所有先前的计算机视觉应用[15,
26]本身并不是最好的,并且其他策略产生更好的结果。
与诸如MCMC采样的贝叶斯方法相比,自举是一种易于实现并且
很好地扩展到高维空间的频率论方法,因为它仅需要权重的点估计。
其思想是在训练数据的
M
个
不同的自举子集上独立地训练
M
个
神经网
络,并将它们视为来自权重分布的独立样本。虽然自举不能确保模型
的 多 样 性 , 在 最 坏 的 情 况 下 可 能 会 导 致
M
个 相 同 的 模 型 ,
Lakshminarayanan等人。[19]认为,集成模型平均可以被视为丢弃平
均。他们用随机初始化和随机数据洗牌训练单个网络,其中每个网络
预测均值和方差。在测试期间,他们结合了各个模型的预测,以解释
网络的认知不确定性。在我们的实验中,我们还考虑了所谓的
快照集
合
[11这些是通过随机梯度下降与热重启(SGDR)[21]相当有效地获
得的
多假设估计针对所提出的多假设网络的损失函数与Guzman-Rivera
等人有关[9],他为SSVM提出了Lee等人。[20]将损失应用于网络集
合,Chen Koltun [4]应用于单个CNN。
3
深度网络的不确定性估计
假设我们有一个数据集
D
=
{
(x
0
,
ygt
)
,
. . .
,
(x
N
,
y
gt
)
}
,其由以下等式
生成:
0
N
从联合分布
p
(x
,
y)中采样在CNN中,假设存在
通过函数
f
w
(x)从x到y的唯一映射,其由根据D上的给定损失函数
优化的权重w参数化。
对于光流,我们将训练的网络表示为从输入图像x =(I
1
,
I
2
)
到输出光流y =(u
,
v)的映射,如y =
f
w
(I
1
,
I
2
),其中u
,
v是
光流的x和y分量Dosovitskiyet al.[6]最小化每像素端点误差
√
EPE
=
(
u
−
u
gt
)
2
+
(
v
−
v
gt
)
2
,
(1)
其中为了简洁省略了像素坐标如
图
2a
中所描绘
的
,该网络完全基于
两个网络
k的概率输出
根据损失函数,这通常对应于分布p(y)的平
均值|X
,
D)。在本文中,我们研究了三种主要的方法来估计方差
σ
2
。这些都是基于经验方差的分布的合奏,分布的参数模型,和
两者的组合所有这些方法中的方差用作不确定性的估计