NNIE精度问题定位与解决策略

"NNIE精度问题定位步骤.pdf" 在海思芯片上进行算法移植并运行在NNIE（Neural Network Inference Engine）协处理器上时，可能会遇到精度下降的问题。解决这个问题的关键在于如何准确地分析和定位原因。本文档提供了一个详细的步骤指南，帮助开发者定位NNIE中的精度问题。 首先，定位精度问题的第一步是确认数据是否正确。选择一张出现精度问题的图片，分别通过量化、指令仿真和Caffe进行处理，并比较它们在每一层的相似度。若第一层（data层）的相似度低于0.999，则应进入第二步。 在第二步，需要确保data层的输入是一致的。这涉及到检查几个关键因素：均值(mean_file)、数据缩放(data_scale)以及预处理方式(norm_type)。这些参数必须与Caffe中的设置保持一致。特别是对于Mxnet和Darknet(yolo)等网络，由于它们在训练时默认采用RGB顺序，因此在量化或编译配置中，cfg文件的[RGB_order]也需要配置为RGB。 如果数据输入已经确认无误，但精度仍然存在问题，那么下一步是考虑是否由量化误差引起。通过修改nnie_mapper的配置，将[compile_mode]从0改为1，可以将8位低精度模式转换为16位高精度模式。然后重新量化和仿真，观察相似度是否有显著提升。如果所有层的相似度提高至0.99以上，说明量化误差是导致精度下降的原因。但高精度模式可能会影响性能，这时可以通过[compile_mode]2采用自定义高精度，只对部分层如第一层卷积层添加"_hp"后缀来平衡精度和性能。如果仍无法接受性能损失，可以考虑使用fine-tuning量化库进行重训，寻求海思FAE（Field Application Engineer）的帮助。 如果在切换到高精度模式后，精度没有明显提升，需要关注那些相似度显著下降的层，并将这些信息反馈给海思进行进一步分析。这可能是由于模型结构、量化方法或其他硬件限制导致的问题。 NNIE精度问题的定位是一个系统性过程，涉及数据一致性、量化误差等多个环节。通过逐一排查这些因素，可以有效地找出问题所在，并采取相应的措施来优化和恢复模型的精度。