![](https://csdnimg.cn/release/download_crawler_static/88424264/bg4.jpg)
相似/不相似对来学习散列函数。Bronstein等人[11]提出了跨模态相似性敏感散
列(
CMSSH
),其学习散列函数以确保如果两个样本(具有不同模态)是相关
/不相关的,则它们对应的二进制代码是相似/不相似的。监督方法利用标签信
息来学习更多有区别的公共表示。语义相关最大化(
SCM
)
[40]
使用标签向量
来获得相似度矩阵并通过二进制代码重建它。Xu等人。[35]提出了离散跨模态
散列(
DCH
),它直接学习具有离散约束的判别二进制代码。这些作品大多是
基于手工制作的功能。
神经网络的深度学习表明,这种方法可以有效地发现不同模态之间的相关性
深度跨模态散列(DCMH)[15]将特征学习和散列代码学习集成到同一框架
中。Cao等人[3]提出了深度视觉语义哈希(DVSH),它利用卷积神经网络
(CNN)和长短期记忆(LSTM)来分别学习每种模态的常见表示。成对关系
引导的深度哈希(
PRDH
)
[36]
也采用深度
CNN
模型来同时学习特征表示和哈
希码。
2.2
生成对抗网络
最近,生成对抗网络(GANs)[10]受到了很多关注,并在各种应用中取得了令
人印象深刻的结果,包括图像
到图像翻译[42],图像生成[23,1]和表示学习[
24,
22]
。
GAN
也被应用于检索问题。
IRGAN [32]
是最近提出的一种信息检索方
法,其中生成式检索侧重于预测相关文档,判别式检索侧重于预测给定查询文
档对的相关性。
IRGAN
是为单模态检索而设计的。本文主要研究跨模态检索。
最近,Wang et al.[28]提出了一种对抗性跨模态检索(ACMR)方法,以基
于对抗性搜索来寻找有效的公共子空间。
al learning
:模态分类器根据它们的
模态 来区分样本,并且特征投影器生成混淆模态分类器的模态不变表示。
ACMR
和所提出的方法都使用对抗学习,主要区别在于
ACMR
寻求学习多模态
数据的公共子空间,而所提出的方法中的对抗学习被定制为显式地处理用于跨
模态散列的注意力感知网络。此外,ACMR属于实值方法的范畴,而我们的方
法属于二元方法。此外,Li等人。[18]提出了一种用于跨模态检索的自监督对
抗哈希(SSAH)。
据我们所知,注意力机制尚未被很好地探索用于跨模态散列。注意力机制在
许多应用中已经被证明是非常强大的,例如图像分类[2]、图像字幕[34]、图像
问答[38]、视频动作识别[25]和