没有合适的资源?快使用搜索试试~ 我知道了~
首页基于改进YOLO和迁移学习的水下鱼类目标实时检测.pdf
资源详情
资源评论
资源推荐
摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇
基
基
于改进 YOLO 和迁移学习的
水下鱼类目标实时检测
李庆忠
1
摇 摇 李宜兵
1
摇 摇 牛摇 炯
1
摘摇 要摇 为了实现非限制环境中水下机器人基于视频图像的水下鱼类目标快速检测,提出基于改进 YOLO 和迁移
学习的水下鱼类目标实时检测算法. 针对 YOLO 网络的不足,设计适合水下机器人嵌入式系统计算能力的精简
YOLO 网络(Underwater鄄YOLO). 利用迁移学习方法训练 Underwater鄄YOLO 网络,克服海底鱼类已知样本集有限的
限制. 利用基于限制对比度自适应直方图均衡化的水下图像增强预处理算法,克服水下图像的降质问题. 利用基于
帧间图像结构相似度的选择性网络前向计算策略,提高视频帧检测速率. 实验表明,文中算法能实现在非限制环境
下海底鱼类目标的实时检测. 相比 YOLO,文中算法对海底鱼类小目标和重叠目标具有更好的检测性能.
关键词摇 卷积神经网络, 深度学习, 鱼类目标检测, 单级式目标检测算法( YOLO), 迁移学习
引用格式摇 李庆忠,李宜兵,牛 炯. 基于改进 YOLO 和迁移学习的水下鱼类目标实时检测. 模式识别与人工智能,
2019, 32(3): 193-203.
DOI摇 10. 16451 / j. cnki. issn1003鄄6059. 201903001摇 摇 摇 摇 摇 摇 中图法分类号摇 TP 181
Real鄄Time Detection of Underwater Fish Based on
Improved YOLO and Transfer Learning
LI Qingzhong
1
, LI Yibing
1
, NIU Jiong
1
ABSTRACT 摇 To fast detect underwater fish in unrestricted underwater environment based on
underwater video collected by underwater robots, a real鄄time detection algorithm for underwater fish based
on improved you only look once(YOLO) and transfer learning is proposed. Firstly, an underwater鄄YOLO
for the embedding computer system of underwater robots is designed to overcome the shortcomings of
traditional YOLO. Then, transfer learning strategy is employed to train the underwater鄄YOLO network
and alleviate the limitation of known underwater fish samples. A preprocessing algorithm based on
contrast limited adaptive histogram equalization is proposed to overcome the problem of underwater image
degradation. Finally, a video frame selection method for foreground computation of underwater鄄YOLO
based on structure similarity between inter鄄frames is proposed to increase the detection frame rate. The
experimental results show that the proposed algorithm achieves the goal of real鄄time detection of
underwater fish in unconstrained underwater environment. Compared with the traditional YOLO, the
proposed underwater鄄YOLO generates better detection performance in complex scenes with small fish and
overlapped fishes.
Key Words摇 Convolutional Neural Network, Deep Learning, Fish Target Detection, You Only Look
Once( YOLO), Transfer Learning
收稿日期:2018-11-14;录用日期:2019-03-13
Manuscript received November 14, 2018;
accepted March 13, 2019
国家重点研发计划项目(No. 2017YFC1405202)、国家自然科
学基金项目(No. 61132005)、海洋公益性行业科研专项(No.
201605002)
Supported by National Key R&D Plan of China(No. 2017YFC14
05202), National Natural Science Foundation of China ( No.
61132005 ), National Marine Technology Program for Public
Welfare of China (No. 201605002)
本文责任编委 叶东毅
Recommended by Associate Editor YE Dongyi
1. 中国海洋大学 工程学院摇 青岛 266100
1. College of Engineering, Ocean University of China, Qingdao
266100
第 32 卷摇 第 3 期 模式识别与人工智能 Vol. 32摇 No. 3
2019 年 3 月 Pattern Recognition and Artificial Intelligence Mar. 摇 2019
摇 摇 摇 摇 摇
摇 摇 摇 摇 摇
摇 摇 摇 摇
摇 摇 摇 摇 摇
摇 摇 摇 摇 摇
摇 摇 摇 摇 摇
摇 摇 摇 摇 摇
摇
《模式识别与人工智能》电子版
Citation摇 LI Q Z, LI Y B, NIU J. Real鄄Time Detection of Underwater Fish Based on Improved YOLO
and Transfer Learning. Pattern Recognition and Artificial Intelligence, 2019, 32(3): 193-
203.
摇 摇 深海探测与作业技术是海洋技术研究的重要领
域之一. 水下机器人(有缆水下机器人( Remote Ope鄄
rated Vehicles, ROVs) / 无 缆 水 下 机 器 人 ( Autono鄄
mous Underwater Vehicles, AUVs) 是目前最先进的
深海探测与作业装备. 要实现深海探测与作业,水下
机器人必须能快速识别理解海底环境,并对感兴趣
的目标进行准确识别与定位
[1-4]
. 因此,利用装有水
下摄像机的 AUVs 对水下感兴趣目标进行实时搜
寻、监测具有重要研究价值和应用前景. 本文目标就
是研究海底非限制环境下基于视频图像的鱼类目标
的快速检测算法,为海底鱼类等生物资源的监测、保
护及可持续开发提供技术支持.
在地面非限制环境下,感兴趣目标的检测算法
发展迅速,在检测精度和实时性方面已接近实用性.
其主 要 原 因 是 基 于 深 度 卷 积 神 经 网 络 ( Deep
Convolutional Neural Network, DCNN)的目标检测算
法可有效克服非限制环境目标检测的困难和瓶颈.
其主流方法可分为如下两类.
1) 基 于 区 域 卷 积 神 经 网 络 ( Region Convolu鄄
tional Neural Network, R鄄CNN)深度学习的目标检测
方法. Girshick 等
[5]
提出 R鄄CNN,由于 R鄄CNN 在所
有候选区域中重复进行特征提取,影响目标检测的
效率,所以快速区域神经网络( Fast R鄄CNN)
[6]
采用
直接在特征图像上产生候选区域的方式,避免反复
进行特征提取,提高目标检测效率. 超快区域神经网
络(Faster R鄄CNN)
[7]
直接使用候选区域生成网络
(Region Proposal Network, RPN)产生召回率更高的
候选区域,平均准确率更高,处理速度更快.
2)基 于单 级式 目标 检 测算法( You Only Look
Once, YOLO)深度学习目标检测算法. 为了克服 R鄄
CNN 的 目 标 检 测 算 法 实 时 性 差 的 问 题, Redmon
等
[8]
提出 YOLO,摒弃候选区域生成的中间步骤,将
目标区域预测和目标类别预测整合在单个 DCNN
模型中. 在 YOLO 基础上 Redmon 等
[9]
提出 YOLOv2
(YOLO Version 2, YOLOv2),采用诸多改进策略,提
高平 均 准 确 率 和 运 行 速 度. 在 YOLO 基 础 上,
Redmon 等
[10]
又提出 YOLOv3 算法( YOLO Version
3, YOLOv3) ,在特征提取阶段,采用浅层次特征和
深层次特征的融合,提取更具鉴别性的深层特征. 对
于 Microsoft COCO 数据集
[11]
,准确 率与 SSD 算 法
(Single Shot MultiBox De鄄tector, SSD)
[12]
相当,处理
速度为 SSD 的 3 倍.
虽然地面目标的实时检测算法已较完善,但在
水下非限制环境中,水下感兴趣目标的实时检测仍
面临许多挑战,其主要原因是水下介质、水下光照条
件、水下海底环境等都要比地面机器人面临的环境
复杂. 对于基于水下视觉的鱼类目标检测,目前代表
性的研究方法主要分为如下 3 类.
1)基于水下图像底层特征的鱼类目标检测算
法. Hsiao 等
[13]
提出真实水下非限制环境中鱼类目
标的检测识别算法,通过提取水下图像的各种底层
特征,并利用稀疏表达技术设计分类器进行鱼类目
标的 辨 识, 识 别 率 可 达 81. 8% , 但 实 时 性 较 差.
Cutter 等
[14]
利用 Haar鄄like 特征和多个级联分类器
实现海底非限制环境下岩石鱼类目标的检测,检测
率可达 89% ,但对于鱼类非正常姿态、背景复杂、光
照条件恶劣、噪声过大、分辨率较低等非限制环境的
检测结果并不理想,误检率较高.
2)基于 R鄄CNN 深度学习的鱼类目标检测算法.
Seese 等
[15]
提出鱼类目标检测分类算法,首先利用
融合技术估计背景图像并实现鱼类前景区域的分
割,然后对于分割的鱼类前景区域, 再利用 DCNN
自动提取特征与分类. Li 等
[16]
改进 Faster R鄄CNN 的
结构,提出适合水下鱼类目标检测的轻型 R鄄CNN,
虽然 检 测 率 可 达 89. 95% , 但 实 时 性 仍 欠 佳, 仅
为11 帧 / 秒.
3)基于 YOLO 深度学习的鱼类目标检测算法.
Sung 等
[17]
把一般地面目标实时检测的 YOLO 网络
结构模型移植到水下鱼类目标的检测,利用特定的
水下视频作为训练、测试数据集,取得较好的分类精
度和实时性,但缺乏考虑水下机器人的实际硬件限
制和水下光照环境的复杂多变性.
通过上述分析可知,目前对水下非限制环境中
基于视觉的鱼类目标的检测主要存在如下三方面问
题. 1)由于光在水体介质中存在严重的衰减和散射
效应,造成水下图像质量下降,为水下鱼类目标的特
征学习、识别理解造成严重障碍. 2) 由于海底鱼类
目标大多具有未知性,鱼类目标在自动识别学习时,
已知标签的样本数量非常有限,传统的训练学习方
法不再适用. 3)水下机器人研制采用嵌入式计算机
系统,相比一般台式计算机,硬件运算能力具有较大
的限制性. 因此,基于 YOLO 等深度学习的地面目标
491
模式识别与人工智能(PR&AI)摇 摇 摇 第 32 卷
《模式识别与人工智能》电子版
实时检测算法不再适合水下机器人的嵌入式系统.
为了克服上述问题,本文提出基于改进 YOLO
和迁移学习 的水 下鱼 类目标实 时检测算 法. 针 对
YOLO 网络结构进行改进,提出适合水下机器人嵌
入式系统的精简 YOLO 结构(Underwater鄄YOLO) ,可
以胜任水下鱼类目标的实时检测要求. 针对网络训
练时样本不 足的 问题, 采用迁移 学习的方 法训练
Underwater鄄YOLO 网络. 针对水下海底图像散射模
糊、对比度较低、光照不均问题,提出基于限制对比
度自适应直方图均衡 化 ( Contrast Limited Adaptive
Histogram Equalization, CLAHE) 的水下图像增强预
处 理 算 法. 此 外, 提 出 基 于 图 像 结 构 相 似 度
(Structural Similarity, SSIM)的视频帧选择性网络前
向计算策略,有效提高检测速率.
1摇 YOLO 实时目标检测算法
YOLO 目标检测算法将目标检测问题转化为一
个回归问题,仅使用一个深度卷积神经网络模型进
行目标检测,能以较高的准确率实现快速目标检测
与识别.
YOLO 的网络结 构如 图 1 所示. 由图 1 可 知,
YOLO 网络结构主要包括两部分. 1) 特征提取. 利用
一个具有 20 个卷积层的基础网络提取输入图像的
特征,可从大小为 448伊448伊3 的彩色图像中提取 14
伊14伊1 024 维特征. 2)回归预测. 使用随机初始化权
值的 4 层卷积进一步运算特征,产生维度为 7伊7 伊1
024 维包含特征,然后使用4 096个尺寸为 7 伊7 的卷
积核将特征矩阵进行二维卷积操作,产生 4 096 伊1
维全连接特征,通过全连接层产生 539 伊1 维输出特
征,将输出特征重排为 7伊7伊11 维,作为回归的输出
矩阵.
!"#$
20%
&'
4%
&'
448
+
448
+
3
()*+
(),-
(),-
14
+
14
+
1024
7
+
7
+
1024
4096
539
7
+
7
+
11
./01
./23
图 1摇 YOLO 网络结构
Fig. 1摇 Network structure of YOLO
回归输出矩阵包含目标边界框的尺寸和坐标、
边界框内包含目标的概 率及目标所 属 类 别. 这些信
息的编码方式如图 2 所示.
图 2 为输出矩阵第 1、2 维度取 1 时,第 3 维度
的编码信息,即一个图像块的编码信息. 目标检测结
果以边界框选中目标的方式呈现,其中, x、y 为边界
框中心点相对于网格左上方的偏移量,w、h 为边界
框的宽度和高度. C 为边界框内包含目标的置信度,
编码结果给出两个边界框的预测值,根据置信度 C
选择合理的边界框. P(c) 为被检测目标属于某一类
别的概率,为目标检测结果确定类别.
YOLO
7
+
7
+
11
x,y,w,h
x,y,w,h
C
C
P c
( )
图 2摇 YOLO 输出矩阵信息编码
Fig. 2摇 Coding mode of output matrix information of YOLO
将训练样本的标注信息处理成为输出矩阵的编
码顺序,可以建立理想输出与实际输出的损失函数.
坐标预测的损失函数如下:
loss
coord
=
移
7
2
i = 0
移
2
j = 0
1
obj
[ (
ij
x
i
- x
卒
)
i
2
(
+ y
i
- y
卒
)
i
]
2
+
移
7
2
i = 0
移
2
j = 0
1
obj
[ (
ij
w
i
- w
卒
)
i
2
(
+ h
i
- h
卒
)
i
]
2
.
(1)
预测网格框包含目标时的损失函数:
loss
obj
=
移
7
2
i = 0
移
2
j = 0
1
obj
[ (
ij
C
i
- C
卒
)
i
]
2
.
预测网格框不包含目标时的目标函数:
loss
noobj
=
移
7
2
i = 0
移
2
j = 0
1
noobj
[ (
ij
C
i
- C
卒
)
i
]
2
.
预测目标类别的损失函数:
loss
class
=
移
7
2
i = 0
1
obj
i
移
c沂
[
class
p
i
(c) - p
卒
i
(c
]
)
2
.
综合部分的损失函数求得总损失函数:
loss = 姿
coord
·loss
coord
+ loss
obj
+ 姿
noobj
·loss
noobj
+ loss
class
.
以损失函数作为卷积神经网络的优化准则,利
用随机梯度下降法进行优化,即可完成 YOLO 网络
的训练.
591
第 3 期 摇 摇 摇 摇 李庆忠摇 等:基于改进 YOLO 和迁移学习的水下鱼类目标实时检测
《模式识别与人工智能》电子版
剩余10页未读,继续阅读
AI研习图书馆
- 粉丝: 1w+
- 资源: 17
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 27页智慧街道信息化建设综合解决方案.pptx
- 计算机二级Ms-Office选择题汇总.doc
- 单链表的插入和删除实验报告 (2).docx
- 单链表的插入和删除实验报告.pdf
- 物联网智能终端项目设备管理方案.pdf
- 如何打造品牌的模式.doc
- 样式控制与页面布局.pdf
- 武汉理工Java实验报告(二).docx
- 2021线上新品消费趋势报告.pdf
- 第3章 Matlab中的矩阵及其运算.docx
- 基于Web的人力资源管理系统的必要性和可行性.doc
- 基于一阶倒立摆的matlab仿真实验.doc
- 速运公司物流管理模式研究教材
- 大数据与管理.pptx
- 单片机课程设计之步进电机.doc
- 大数据与数据挖掘.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0