人脸图像与脑电结合的连续情绪识别技术研究

"本文主要探讨了基于人脸图像和脑电的连续情绪识别方法，通过结合多模态生理数据，克服了被试数据不足和情绪主观性的挑战。文章提出了利用迁移学习训练的多任务卷积神经网络来处理人脸图像数据，以解决过拟合问题。在脑电信号模态，研究了基于支持向量机的被试依赖型模型和基于长短时记忆网络的跨被试型模型，以应对个体差异和非平稳特性。此外，还介绍了两种融合多模态决策层情绪信息的方法，即枚举权重方法和自适应增强方法，以提升情绪识别的准确性。实验结果显示，同源数据下双模态模型在情绪唤醒度和效价维度的平均准确率分别为74.23%和80.30%，而在不同源数据下，长短时记忆网络模型的准确率为58.65%和51.70%。" 本文研究的重点在于利用多模态生理数据（人脸图像和脑电）进行连续情绪识别，旨在改善情绪识别技术在实际应用中的效果。首先，针对人脸图像数据集小可能导致的过拟合问题，研究者应用了迁移学习技术来训练多任务卷积神经网络（CNN）。迁移学习允许模型从大型数据集（如ImageNet）中学习到的特征应用于目标任务，有效提升了模型的泛化能力，从而缓解过拟合现象。 在脑电（EEG）信号处理方面，文章提到了两种情绪识别模型。一种是被试依赖型模型，它基于支持向量机（SVM），在训练和测试数据同源的情况下表现出较高的准确率。然而，由于个体差异，这种模型可能不适用于跨被试的情况。因此，研究者设计了一种跨被试型模型，该模型基于长短时记忆网络（LSTM），能够捕捉EEG信号的时间序列模式，即使在不同源的数据上也能保持稳定的情绪识别性能。 为了进一步提高情绪识别的准确率，文章提出了两种多模态信息融合策略。枚举权重方法尝试通过调整不同模态数据的权重来优化结果，而自适应增强方法则动态地适应数据变化，自适应地调整融合策略，以达到更佳的识别效果。 实验结果显示，当测试数据与训练数据来自同一来源时，结合人脸图像和脑电的双模态模型在情绪唤醒度和效价两个维度上的平均准确率分别达到了74.23%和80.30%。而在不同源数据的条件下，采用LSTM的跨被试型模型的准确率分别为58.65%和51.70%，显示了其在处理异源数据时的稳健性。 这篇研究工作为连续情绪识别提供了新的思路和方法，通过结合多模态数据和深度学习技术，提高了情绪识别的准确性和鲁棒性，对于情感分析、人机交互等领域具有重要的理论和实践价值。