因此,所有最近的最先进的方法[8,42,7,26]都建立在其架构上。
他们用更复杂的模块替换剩余模块,添加图形模型以获得更好的推
理,或者使用额外的网络来提供对抗性监督或进行对抗性数据增强
[26]。相比之下,我们设计了一个简单但非常有效的堆叠U型网络的连
接模式。
面部标志定位。同样,CNN在很大程度上重塑了面部标志定位领
域。基于CNN的传统方法可以很容易地胜过[44,45,21,24,25]。
在最近的Menpo面部地标定位挑战[43]中,堆叠沙漏[23]实现了最先进
的性能。所提出的
K
阶
连通U-网可以产生更好的结果,但具有更少的
参数。
3
我们的方法
在本节中,我们首先在回顾堆叠的U型网之后介绍DU-Net然后,我们
提出了阶
K
连接,以提高其参数效率,一个有效的实现,以减少其训
练内存,和一个迭代的改进,使其参数效率更高最后,利用网络量化
进一步减少训练内存和模型大小。
3.1
DU-Net
U-Net包含自上而下、自下而上的块以及它们之间的跳过连接。假设
多个U形网堆叠在一起,对于第六
个
自
上而下的U形网和第二个自下而
上的U形网,
在U-Ne
t中的底部
备份块
中,我们
使用
n
(
·
)
和
g
(
·
)
来
确定不存在此错误。
ℓ ℓ
在
一个实施
例中,线性变换形式是
。
输出
由
y
x
n
和
y
n
表示
。
f
n
(
·
)
和
ℓ ℓ ℓ
g
n
(
·
)
是C
〇nv 〇 l
(
C
〇 nv
)
、
B
at
c
〇
nor
_
malizati
〇
n
(
BN
)
[
16]
、
整流
线性单元(ReLU)[11]和池化的组合运算。
堆叠U型网。在
第
n
U-Net的第
n
个自
上而下和自下而上块处的特征
转换是:
xn
=
f
n
(
xn
)
,
yn
=
gn
(
yn
+
xn
)
.
(一)
ℓ ℓ ℓ−
1
ℓ ℓ ℓ −
1
ℓ
跳过连接仅在每个U-Net内本地存在,这可能限制信息跨U-Net流动。
DU-Net。为了使信息在堆叠的U-网之间有效地流动,我们提出了
一种全局连接模式。不同U-Net的相同位置处的块具有直接连接。因
此,我们将这种密集连接的U-Net架构称为
DU-Net
。图1给出了说
明。在数学上,
第
n
U-Net的第
X
个自
上而下和自下而上块处的特征转换
可以公式化为:
x
n
=
f
n
([x
n
,
X
n
−
1
])
,
y
n
=
g
n
([y
n
,
x
n
,
Y
n
−
1
])
,
(2)
ℓ ℓ ℓ
−1
ℓ
ℓ ℓ ℓ
−1
ℓ
ℓ
其中,X
n
−
1
=
x
0
,
x
1
,
· · ·
,
x
n
−
1
是中第个自上而下块
所有之前的U网。类似地,
Y =
y
,
y
,
···
,
y
表示输出