0
4M.Lee等人
0
2.3基于深度学习的RGB-D方法
0
现有的基于深度学习的RGB-D
SOD方法更注重融合从RGB和深度通道提取的互补特征,因为每个通道所代表的领域差
距是显著的。融合策略可以根据融合发生的时间分为三类:早期融合[39,
41],中期融合[7,8]和晚期融合[19,
36]。早期融合方法在最早的阶段将RGB图像和深度图像连接起来,将集成的四通道矩阵
作为单个输入。例如,Qu等人[39]通过从每个RGB-D对生成手工特征向量,并将其作为
CNN模型的输入进行了介绍。中期融合方法融合从各个网络提取的两个不同特征图。例
如,Chen等人[7]建议使用两流互补感知网络,该网络将每种模态的相同阶段的特征与
互补感知融合块的帮助进行融合。最后,晚期融合方法从RGB和深度通道分别产生单独
的显著性预测图,然后通过像素级求和和乘法等后处理操作将这两个预测图合并。例如
,Piao等人[36]提出了一种深度诱导的多尺度循环注意力网络,用于分别提取RGB图像
和深度图像的特征,并设计了深度细化块进行融合。然而,这些方法忽略了两种模态之
间的不匹配问题。例如,在一些场景中,如挂在墙上的薄日历,RGB图像更准确地区分
显著对象和背景,而深度图像中的所有像素值彼此相似。为了解决这个问题,一些研究
提出了利用手工技术改进此类不可靠输入数据以提高准确性的方法。Zhao等人[51]建议
使用对比度先验损失增加深度输入的前景和背景之间的颜色差异。Ji等人[23]提出了一种
有效的深度校准策略,用于校正原始深度图的潜在偏差。此外,Zhang等人[48]提出了
一种深度校正网络,用于减少不可靠深度数据中的噪声,假设深度图中的对象边界与RG
B图中的对象边界对齐。
0
3提出的方法
0
3.1概述
0
图2显示了所提出的SPSN的整体架构。所提出的模型使用RGB图像IRGB、深度图I
D及其超像素图SRGB、S
D作为输入。我们的模型主要由四个部分组成:特征融合模块(FFM)、原型生成模块
(PGM)、原型采样网络模块(PSNM)和可靠性选择模块(RSM)。SPSN还具有用
于RGB图像和深度图的两个编码器和一个解码器。
0
+v:mala2255获取更多论文