没有合适的资源?快使用搜索试试~ 我知道了~
首页SDAN-MD:前视车载相机的监督双注意网络多级去模糊
SDAN-MD:前视车载相机的监督双注意网络多级去模糊
0 下载量 7 浏览量
更新于2024-06-17
收藏 4.18MB PDF 举报
"这篇学术论文发表于沙特国王大学学报,主要关注的是针对前视车载摄像机图像的运动模糊问题,以及如何通过一种名为监督双注意网络多级运动去模糊(SDAN-MD)的方法来改善语义分割的性能。论文的作者包括SeongIn Jeong、MinSu Jeong、SeonJong Kang、KyungBong Ryu和KangRyoung Park,他们来自东国大学的电子和电气工程系。SDAN-MD采用了有监督的双重注意模块(SDAM),该模块利用空间和信道注意机制,结合监督信号来处理运动模糊。研究中还引入了Charbonnier损失、边缘损失和感知损失,以优化恢复图像的质量。 在SDAN-MD的架构中,通过多个阶段的处理,有效地去除了图像的运动模糊,从而提高了语义分割的准确性。实验部分对比了SDAN-MD与其他现有方法在CamVid和KITTI两个公开道路场景数据库上的表现,结果显示SDAN-MD的语义分割准确率分别达到了92.89%和87.27%,优于其他方法。 此研究领域涉及到物联网(IoT)系统在驾驶辅助中的应用,特别是那些采用类型2模糊逻辑控制模块的系统。此外,还提到了深度学习在无人机辅助系统、智能人群计数以及远程船舶检测等领域的应用。语义分割是这些系统中的关键技术,它能将图像中的每个像素分类到特定的类别,但传统方法往往忽视了图像模糊的影响。深度学习,尤其是卷积神经网络(CNN),已经在语义分割上取得了显著进展,但处理运动模糊仍然是一个挑战。SDAN-MD的创新在于它解决了这一挑战,提高了模糊图像的处理效果,对于驾驶辅助物联网系统的性能提升具有重要意义。"
资源详情
资源推荐
S.I.
郑,硕士
Jeong
,
S.J.Kang
等人
沙特国王大学学报
5
图二
.
我们提出的方法的整体架构。
(a)SDAN-MD
与
DeeplabV 3-Plus
的语义分割网络。
(b)
原始分辨率块(
ORB
)。(
a
)的原始分辨率网络(
ORSNet
)由三个
ORB
组成
CAB
是
Channel Attention Block
的缩写。(
c
)(
a
)的跨阶段特征融合(
CSFF
)
网络(ORSNet)作为子网络,作为基线。本研究还增加了一个新提出
的SDAM。在图2中,使用子网络(U-Net和ORSNet)和监督双重注意
模块(SDAM)分三步逐步进行恢复。通过分割网络计算每一步生成的
目标图像和恢复图像的感知损失。
我们提出的方法还建议使用损失函数,该损失函数计算地面实况和
恢复图像之间的像素差异,该恢复图像是恢复网络的每个步骤的输出,
以及感知损失,该感知损失通过使用分割网络计算特征图之间的距离。
以前,感知损失使用一般分类网-
工作,它是用ImageNet数据库预训练的。 与以往研究中使用的感知损
失不同,本研究中使用的感知损失通过从用干净数据预训练的语义分割
网络中提取特征图,然后计算差异,从而提高了恢复图像的分割性能。
表2解释了SDAN-MD体系结构的细节。在表2中,如图2所示,在阶
段1和2中对输入进行分段(阶段1中的4路分段,以及阶段2中的2路分
段)。我们使用双线性插值,然后是卷积层,用于下采样和上采样。我
们使用双线性插值代替转置卷积,因为棋盘格
S.I.
郑,硕士
Jeong
,
S.J.Kang
等人
沙特国王大学学报
6
表
2
SDAN-MD
的结构(
PReLU
表示参数校正线性单元)。
阶段层过滤器(过滤器数量、大小、步幅)填充输入输出
第一级输入层
240× 240× 3 240×240 × 3
转换层96,3
×
3 × 3,1 1
×
1 120
×
120
×
3 120
×
120 × 96
CAB
(
PReLU + Sigmoid
)
96
,
3× 3× 96
,
1
24、1
×
1
×
96、1
96,1
×
1
×
24,1
1
×
1 120
×
120
×
96 120
×
120 × 96
第一
次
下采样
144,1
×
1 × 96,1 1
×
1 120
×
120
×
96 60
×
60 × 144
第
二
次
下采样
192,1
×
1 × 144,1 1
×
1 60
×
60
×
144 30
×
30 × 192
第一
次
上采样
144,1
×
1 × 192,1 1
×
1 60
×
30
×
192 120
×
60 × 144
第
二
次
上采样
96
,
1
×
1 × 144
,
1 1
×
1 120
×
60
×
144 240
×
120 × 96
SDAM 96
,
3
×
3
×
96
,
1
3
、
1
×
1
×
96
、
1
1
×
1 240
×
120 × 96
240
×
120 × 3
240
×
120 × 96
240
×
120 × 3
第二阶段输入层
240× 240× 3 240×240 × 3
第
一转换层
96,3
×
3 × 3,1 1
×
1 240
×
120
×
3 240
×
120 × 96
CAB
(
PReLU + Sigmoid
)
96
,
3× 3× 96
,
1
24
、
1
×
1
×
96
、
1
96
,
1
×
1
×
24
,
1
1
×
1 240
×
120
×
96 240
×
120 × 96
级联
第二
Conv
层
96,3
×
3 × 192,1 1
×
1 240
×
120
×
192 240
×
120 × 96
第一
次
下采样
144,1
×
1 × 96,1 1
×
1 240
×
120
×
96 120
×
60 × 144
第
二
次
下采样
192,1
×
1 × 144,1 1
×
1 120
×
60
×
144 60
×
30 × 192
第一
次
上采样
144,1
×
1 × 192,1 1
×
1 60
×
60
×
192 120
×
120 × 144
第
二
次
上采样
96,1
×
1 × 144,1 1
×
1 120
×
120
×
144 240
×
240 × 96
SDAM 96
,
3
×
3
×
96
,
1
3、1
×
1
×
96、1
1
×
1 240
×
240
×
96 240
×
240 × 96
240
×
240 × 3
第
3
级输入层
240× 240× 3 240×240 × 3
第
一转换层
96,3
×
3 × 3,1 1
×
1 240
×
240
×
3 240
×
240 × 96
CAB
(
PReLU + Sigmoid
)
96
,
3× 3× 96
,
1
24、1
×
1
×
96、1
96,1
×
1
×
24,1
1
×
1 240
×
240
×
96 240
×
240 × 96
级联
第二
Conv层
128
,
3
×
3 × 192
,
1 1
×
1 240
×
240
×
192 240
×
240 × 128
ORB(3)128,3
×
3
×
128,1
32、1
×
1
×
128、1
128,1
×
1
×
32,1
1
×
1 240
×
240
×
128 240
×
240 × 128
第
三转换层
3
,
3
×
3 × 128
,
1 1
×
1 240
×
240
×
128 240
×
240 × 3
可以减少由转置卷积引起的伪像(Odena等人,2016年)。每个原始分
辨率块(ORB)由通道注意块(CAB)组成。SDAN-MD的更详细的解
释包括在以下小节中。
3.2.1.
SDAN-MD
的详细描述
本研究中使用的基于多阶段的恢复网络作为基线,从早期阶段到
最后阶段交换信息,并在基于监督学习方法的图像恢复领域中展示了
出色的性能,在每一步中使用地面真值我们添加了感知损失,利用分
割网络产生出色的性能,即使当恢复网络的输出图像成为分割网络的
输入。图
2
示出了所提出的模型的总体架构。它包括总共三个阶段,
其中图像分别在第一阶段和第二阶段中被应用
4
路分割和
2
路分割。
通过
CAB
提取具有通道注意信息的特征,然后成为子网络的输入。
上下文信息在阶段
1
和阶段
2
中通过子网络学习。我们使用标准的
U-
Net
作为具有编码器
-
解码器架构的子网络最后,在第三步中
ORSNet
由三个原始分辨率块
(ORB)组成,其中每个ORB由CAB组成。 空间
上
足够的特征可以通过
ORSNet
获得,因为分辨率在不应用下采样的
情况下得以保持。我们将每一阶段编码器和解码器提取的特征传递给
下一阶段的编码器和
ORSNet
,以减少由于上采样和下采样而导致的
特征损失,并参考
-
在
MPRNet
中建立了跨阶段特征融合(
CSFF
)模块(
Zamir
等人,
2021
年)。
编码器-解码器子网络的输出成为所提出的SDAM在级1和级2中的输
入。每个阶段中的SDAM的输出特征图在成为下一阶段中的子网络的输
入之前被传送并应用信道级级联,然后在经过卷积层之后成为每个阶段
中的子网络的输入。在这样的逐步恢复过程中,三个恢复的图像,这是
每个阶段的输出,成为分割网络的输入,并使用预先训练的分割网络计
算从目标的感知损失。我们使用以下方法对恢复过程中使用的每个数据
集 的目 标 图 像 进行了 预 训 练 : DeeplabV 3-Plus细分网 络 。 选择
DeeplabV 3-Plus是因为它在CamVid数据集中表现出出色的语义分割
性能(Zhu等人, 2019年)。
3.2.2.
SDAM
的详细描述
我们建议SDAM在每个阶段提供地面实况的监督信号,并使重要信
息 通过双重注意机制在不同阶段之间进行交换。SDAM的结构如图所
示。3.第三章。
在图
2
(
a
)的
SDAN-MD
中,信道注意过程被包括在
SDAN-MD
的开始中,以在每个阶段进入子网络(
UNet
)之前细化特征图然
后,在进入子网络之前,将该相比之下,由于注意力地图是在本地监
督预测的帮助下在
SDAM
中生成的,因此我们在生成恢复图像后在
SDAM
的末尾包含了通道注意力模块 如图
3
、
SDAM
生成残差图像
剩余25页未读,继续阅读
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 十种常见电感线圈电感量计算公式详解
- 军用车辆:CAN总线的集成与优势
- CAN总线在汽车智能换档系统中的作用与实现
- CAN总线数据超载问题及解决策略
- 汽车车身系统CAN总线设计与应用
- SAP企业需求深度剖析:财务会计与供应链的关键流程与改进策略
- CAN总线在发动机电控系统中的通信设计实践
- Spring与iBATIS整合:快速开发与比较分析
- CAN总线驱动的整车管理系统硬件设计详解
- CAN总线通讯智能节点设计与实现
- DSP实现电动汽车CAN总线通讯技术
- CAN协议网关设计:自动位速率检测与互连
- Xcode免证书调试iPad程序开发指南
- 分布式数据库查询优化算法探讨
- Win7安装VC++6.0完全指南:解决兼容性与Office冲突
- MFC实现学生信息管理系统:登录与数据库操作
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功