基于 transformers 的多模态目标 sentiment 分类方法研究

CapTrBERT - Multimodal Target Sentiment Classification through Input Space Translation CapTrBERT 是一种 Multimodal Target Sentiment Classification 模型，它通过输入空间翻译来结合图像和文本信息，实现对目标sentiment的分类。该模型由两部分组成：Caption Transformer 和信息融合。 **Caption Transformer** Caption Transformer 是一种图像翻译模型，用于生成图像的描述。该模型采用 DETR架构，输入图像首先通过 ResNet101 提取激活映射，然后通过 1x1 卷积对激活映射的维度进行降维，得到图像的特征图。为了增强信息，模型还加入了固定位置编码，以增强图像的空间信息。最后，模型将融入位置编码的特征拉直送入 Transformer，生成图像的句子描述。 **信息融合** 信息融合是将情感目标的标记与图像的翻译连接起来，得到一个多模态丰富的辅助句子。该部分的目的是将图像和文本信息结合起来，生成一个多模态的描述，以增强语言模型的性能。 **Multimodal Sample** 多模态样本包括句子 Si、图片 Ii、意见目标 Ti（Si 的子序列），Ti 的标签是 negative、neutral、positive。该模型旨在结合图像和文本信息，实现对目标sentiment的分类。 **架构** 整个架构如下： 首先，Caption Transformer 生成图像的翻译，然后将翻译与情感目标的标记连接起来，得到一个多模态丰富的辅助句子。最后，语言模型将该辅助句子作为输入，实现对目标sentiment的分类。 **优点** CapTrBERT 模型有以下优点： * 能够结合图像和文本信息，实现多模态的 sentiment 分类 * 能够生成多模态丰富的辅助句子，增强语言模型的性能 * 能够处理复杂图像中的对象级信息 **应用** CapTrBERT 模型可以应用于多种领域，例如： * 图像评论 sentiment 分类 * 多模态信息检索 * 图像描述生成 CapTrBERT 模型是一种强大的多模态 sentiment 分类模型，能够结合图像和文本信息，实现对目标sentiment的分类。