tensorrt fp16 图像校准

TensorRT（Tensor RT）是 NVIDIA 开发的一种用于实现实时深度学习推理的高性能库。它特别擅长优化基于张量（tensor）的计算任务，比如图像识别模型。FP16（半精度浮点数）是一种数据格式，它使用16位存储单精度（32位）的数值，能够极大地减小内存占用和计算速度，提高性能。

图像校准在 TensorRT 中是为了补偿量化过程中的精度损失，尤其是在使用 FP16 进行推理时。校准通常涉及到对模型在一组已知真实标签的图像上进行微调，目的是找到一个转换系数，将输入图像调整到最接近 FP32 计算的理想状态，从而提升模型在低精度模式下的准确性。

TensorRT 提供了 Calibrator 类来处理这种校准，它可以根据训练集或验证集动态调整量化策略。校准流程包括收集输入数据、计算平均值和标准差，然后生成一个校准表，该表会被 TensorRT 使用来量化输入数据并推断出最佳的精度/效率平衡。