网络
层
输
入
尺寸
核
尺寸
输
出
尺寸
可
训
练
参
数
量
全连
接层
全连
接层
卷
积
层
输
入
为
的
图
片
数
据
,
分别
在
两个
GPU
中
经
过
核
为
、
步
长
(
stride
)
为
4
的
卷
积
卷
积
后
,
分别
得
到
两
条
独
立
的
的
输
出
数
据
。
下
采
样
层
实
际
上
是
嵌
套
在
卷
积
中
的
最
大
池
化
操
作
,
但
是
为了
区
分
没
有
采
用
最
大
池
化
的
卷
积
层
单
独
列出
来
。
在
卷
积
层
中
的
池
化
操
作
之
后
(
ReLU
激
活
操
作
之
前
),
还
有
一个
LRN
操
作
,
用
作
对
相
邻
特
征
点
的
归
一
化
处
理
。
卷
积
层
的
输
入
与
其
他
卷
积
层
不
同
,
表
示
汇
聚
了
上一
层
网络
在
两个
GPU
上
的
输
出
结
果
作
为
输
入
,
所
以
在
进
行
卷
积
操
作
时
通道
上
的
卷
积
核
维
度
为
384
。
全
连
接
层
中
输
入
数
据
尺寸
也
和
类
似
,
都
是
融
合
了两个
GPU
流
向
的
输
出
结
果
作
为
输
入
。
4.2.3 模型特性
所有卷积层都使用ReLU作为非线性映射函数,使模型收敛速度更快
在多个GPU上进行模型的训练,不但可以提高模型的训练速度,还能
提升数据的使用规模
使用LRN对局部的特征进行归一化,结果作为ReLU激活函数的输入能
有效降低错误率
重叠最大池化(overlapping max pooling),即池化范围z与步长s存
在关系 (如 中核尺度为 ),避免平均池化(average
pooling)的平均效应
使用随机丢弃技术(dropout)选择性地忽略训练中的单个神经元,
避免模型的过拟合
4.3 ZFNet
4.3.1 模型介绍
ZFNet是由 和 在AlexNet基础上提出的大型卷
积网络,在2013年ILSVRC图像分类竞赛中以11.19%的错误率获得冠军(实际上
原ZFNet所在的队伍并不是真正的冠军,原ZFNet以13.51%错误率排在第8,真
正的冠军是 这个队伍,而 这个队伍所对应的一家初创公司的
CEO又是 ,而且 对ZFNet的改动比较小,所以通常认为是ZFNet
获得了冠军) 。ZFNet实际上是微调(ne-tuning)了的AlexNet,并通过