红外视频面部表情识别：时空特征与深度玻尔兹曼机分析

"该资源是一篇关于视频中红外面部表情识别的时空分析的研究论文，由天津大学计算机科学与技术学院的Zhilei Liu和海洋科学与技术学院的Cuicui Zhang共同撰写。" 在人机交互领域，面部表情识别（Facial Expression Recognition, FER）对于情绪推断具有重要意义。传统上，大部分研究集中在可见光图像上的面部表情识别，但光照条件的变化可能会影响其识别效果。红外热成像技术因其能够反映温度分布，对光照变化具有较强的鲁棒性，近年来逐渐受到关注。 本研究提出了一种新颖的基于红外图像序列的面部表情识别方法，该方法利用时空特征分析和深度玻尔兹曼机（Deep Boltzmann Machines, DBM）。首先，通过光流算法在红外图像序列中生成密集的运动场，这有助于捕捉到面部表情变化的动态信息。光流算法能计算相邻帧间的像素位移，从而揭示出面部肌肉的运动轨迹。 接着，主成分分析（Principal Component Analysis, PCA）被应用来进行特征降维，以减少数据的复杂性同时保留关键信息。PCA可以将原始高维数据转换为一组线性不相关的低维特征向量，降低后续处理的计算负担。 最后，设计了一个三层的DBM结构进行最终的表情分类。DBM是一种无监督学习的神经网络模型，能捕获数据的隐含结构并进行有效的特征学习。在该研究中，DBM用于从提取的时空特征中学习表达的表示，并进行分类任务。 该论文的研究成果为红外面部表情识别提供了一种新途径，特别是在光照条件不稳定或夜晚环境下，这种方法可能表现出比基于可见光图像的方法更高的识别准确性和稳定性。此外，结合时空分析和深度学习的策略也为其他生物特征识别和情感计算领域的研究提供了新的思路。