深度学习驱动的面部动作单元识别算法研究

本文主要探讨了在面部动作单元识别（AU）任务中，如何通过算法设计和多任务联合训练来改善模型性能。作者提出了一种结合动态加权损失、类别不平衡处理、多任务训练以及利用人脸关键点信息的深度学习算法。 在面部动作单元识别任务中，通常存在类别不平衡的问题，即某些AU类别的样本数量远少于其他类别。为了解决这个问题，文章提到了对少数类样本信息的重视，通过调整损失函数，使得模型在训练过程中能更好地学习这些样本。 文章进一步介绍了多任务联合训练的概念，这种训练方式能够通过共享和互补信息提高模型的泛化能力，特别是在数据量有限的情况下。作者在优化加权交叉熵损失的基础上，还考虑了多标签的共现关系和人脸关键点的位置信息。 对于多标签的共现关系，由于不同的AU类别可能存在相关性，传统的独立Sigmoid交叉熵损失函数无法捕捉这种相关性。因此，文章引入了一个新的损失函数，Lcooccur，它鼓励网络学习AU之间的共现关系，促进模型对这类关系的理解。 此外，考虑到人脸关键点与某些AU之间的关联性，例如闭眼（AU43）与眼睛部位关键点的关系，文章利用Dlib库预测并归一化人脸关键点坐标，然后通过L1损失函数来优化网络，使模型能够更好地学习这些关键点与AU的关系。 最终，文章提出了一个综合损失函数Lfinal，它由三部分组成：动态加权损失Lγ、共现关系损失Lcooccur和人脸关键点回归损失Llm，每个部分都有相应的加权系数λc和λl。通过这样的综合损失函数，模型能够在识别AU的同时，兼顾标签共现性和人脸关键点的特征。 算法的设计步骤包括数据收集、模型构建、数据预处理、训练集验证集划分、模型训练以及人脸关键点提取。整个过程旨在通过深度卷积网络模型H0和后续的改进模型H1，实现更准确的AU识别。 这篇论文提供了一种结合多任务学习和深度学习的方法，以解决面部动作单元识别中的类别不平衡问题，并利用了 AU之间的共现性和人脸关键点信息，提升了模型的识别性能。