![](https://csdnimg.cn/release/download_crawler_static/88423935/bg4.jpg)
4 J.Chen和Y. 方
包括具有Gabor局部线基特征(GALIF)的特征袋(BoF)[13],具有BOF
的密集SIFT [4]。同时,还开发了大量的匹配方法,例如流形排名[4],动
态时间规整[32],基于稀疏编码的匹配[33]和自适应视图聚类[12,14]。
最近,已经开发了各种深度模型用于特征提取和匹配,这与我们
提出的方法密切相关在[28]中,采用两个连体CNN通过最小化模态内
和跨模态损失来学习草图和3D形状在[36]中,使用金字塔跨域神经网
络来补偿跨域分歧。在[2]和[31]中,应用Siamese度量网络来最小化模
态内和跨模态类内距离,同时最大化类间距离。在[31]中,另外采用
Wasserstein重心来聚合来自3D模型的渲染图像的多视图深度特征。然
而,这些方法仅减少了局部跨模态发散。他们未能消除跨模态的数据
分布的偏移。相比之下,我们提出的模型采用基于对抗学习的方法来
以整体方式减轻两种模态的分布之间的差异,同时通过引入类感知的
平均差异项来解决局部分歧问题此外,我们应用IAML挖掘不同的训
练样本的重要性
与我们的工作相关的另一个工作分支是跨域适应[1,5,20,27],
特别是针对do的监督判别对抗学习
主要适应。在[5,17,18,27]中,开发了各种对抗性判别模型用于域
适应。这些方法的基本思想是通过采用域鉴别器和对抗性损失来重新
移动源域和目标域之间的域移位。然而,这些工作集中在目标域中几
乎没有标记数据可用的情况下(尽管源域中有丰富的标记数据),并
且无法联合探索两个域的局部判别语义结构,使得它们不适合我们的
任务。在[34]中,作者还明确采用了转换网络将数据从源域传输到目
标域,其中通过对抗性损失来减轻跨域分歧然而,他们使用的是手工
制作的特征,而我们的模型使用深度CNN来学习特定于识别模式的特
征,并将它们与转换网络集成为一个整体。此外,我们引入了一个类
意识的跨模态平均差异项,原来的对抗性损失。该术语可以增强跨模
态的数据分布的语义相关性,以及去除域移位,这在很大程度上被现
有的工作所忽视。
3
深度跨模态适应
如示于图1,我们提出的框架主要包括五个组成部分-
元素,包括用于2D草图的CNN网络(由
f
1
表示
)和用于
3D形状(由
f
2
表示 ),2D草图的全连接度量网络
es(由
f1
表示 )和3D形状(由
f2
表示 ),以及