MTCNN与FaceNet结合实现人脸识别系统部署

资源摘要信息:"mtcnn-align-facenet部署项目是结合mtcnn（多任务级联卷积网络）和facenet两个深度学习模型，实现在人脸检测和人脸识别的综合应用。项目首先通过mtcnn进行人脸检测并提取关键点，然后通过仿射变换进行人脸校正，之后将校正后的人脸图像输入facenet进行特征提取，最后通过特征比对完成人脸识别功能。 项目简介提到，本项目是基于bubbliiiing的两个工程，并对其作者表示感谢。这两个工程均使用了keras框架定义的模型文件，但只包含了权重信息，没有具体的网络结构。项目开发者通过补充网络结构信息，生成了带有完整网络结构和权重的模型文件。在此过程中，开发者使用了keras2onnx工具，将keras模型文件转换为onnx格式，以方便跨平台部署和优化。此外，还尝试了将keras的h5模型文件转换成tensorflow的pb模型文件，这一过程同样需要单独的转换脚本。 整个项目中涉及到了一系列的专业技术点和工具，下面将详细说明这些知识点： 1. MTCNN模型：MTCNN是一个高效的级联卷积神经网络，专门用于实时的人脸检测和关键点定位。它通过三个阶段进行级联，即P-Net、R-Net和O-Net。它能够准确地检测图像中的人脸，并且能够定位出人脸上的五个关键点，这些关键点通常包括两眼、鼻尖、嘴部和下巴的位置。 2. FaceNet模型：FaceNet是Google开发的一种用于人脸识别的深度学习模型。它通过训练卷积神经网络来学习人脸的嵌入（embedding），即生成一个固定长度的向量，用以表示人脸图像。这些向量之间的距离可以用来衡量不同人脸之间的相似度。 3. 人脸识别流程：在本项目中，人脸识别流程包括人脸检测、关键点提取、人脸校正和特征提取四个步骤。首先，使用MTCNN检测人脸并获取关键点；然后，使用关键点信息进行仿射变换校正人脸图像；接着，将校正后的人脸输入Facenet进行特征提取；最后，将得到的特征与数据库中已有的人脸特征进行比对，判断是否为同一人。 4. 模型转换工具：项目中使用了keras2onnx工具将keras格式的模型转换为onnx格式，以便在不同深度学习框架或平台中部署和优化。Onnx（Open Neural Network Exchange）是一种开放的格式，旨在促进不同深度学习框架间的模型互操作性。 5. TensorFlow和Keras：Keras是一个高层神经网络API，它可以运行在TensorFlow等其他深度学习框架之上。Keras允许快速实现深度学习模型原型，而TensorFlow是一个由Google开发的开源机器学习框架。项目中涉及将Keras模型转换为TensorFlow可识别的PB模型文件，PB（Protocol Buffers）是一种语言无关、平台无关的可扩展机制，用于序列化结构化数据。 6. Python编程语言：本项目使用Python语言开发，Python是一种高级编程语言，因其易读性和简洁的语法而被广泛使用于机器学习和人工智能领域。 7. TensorRT：虽然在描述中没有直接提及，但考虑到项目的深度学习应用背景，可能还涉及到了NVIDIA的TensorRT，这是一个用于深度学习推理的高性能计算平台。通过使用TensorRT对模型进行优化，可以在NVIDIA的GPU上加速模型的推理速度。 通过上述知识点，可以了解到项目实现人脸识别功能的整个过程，以及所使用的工具、框架和技术。"