多任务学习的时序多模态情感分析新模型

"2020-基于多任务学习的时序多模态情感分析模型1" 这篇论文提出了一种新的情感分析模型，主要关注在时序多模态数据中的情感理解和评估。情感分析是理解用户对不同情境反应的心理状态的关键技术，特别是在社交网络环境中，用户的情绪表达常常是多模态的，包括文字、语音和视频等多种形式。传统的单模态情感分析方法可能无法充分捕捉到这些丰富的信息。 论文中介绍的模型结合了多任务学习的思想，以解决时序多模态情感分析中的两个主要问题：单模态特征表示和跨模态特征融合。首先，模型利用卷积神经网络(CNN)来处理图像模态的数据，提取视觉特征；同时，采用双向门控循环神经网络(BiGRU)处理文本模态，捕捉语义序列信息。为了增强单模态的表示能力，还引入了多头自注意力机制，它能更有效地捕获不同部分之间的关系。 接下来，模型通过多头注意力机制进行跨模态信息融合，使得不同模态间的关联信息得以有效整合。多头注意力允许模型并行处理多个注意力分布，从而从不同角度理解信息，这有助于提高情感分析的准确性。 为了进一步提升模型的性能，论文采用了多任务学习策略。除了主要的情感评分回归任务外，还附加了情感极性分类和情感强度回归两个辅助任务。这三个任务共享底层的特征表示，但各自有独立的输出层。这种设计使得模型在训练过程中不仅能优化主任务，还能通过辅助任务学习到更多相关的上下文信息。 实验结果显示，该模型在CMU-MOSEI和CMU-MOSI两个多模态数据集上相比于多模态分解模型，二分类准确度分别提升了7.8和3.1个百分点，表明了模型的有效性。此模型对于多模态场景下的情感分析具有广泛的应用潜力，如商品推荐、股市预测和舆情监控等领域，能够为决策提供有价值的情感洞察。 关键词涉及：情感分析、多模态、多任务学习、序列学习和特征融合。这篇工作对于深入理解时序多模态数据中的情感信息以及提升相关应用的性能具有重要意义。