推理時間 python
时间: 2023-11-01 12:59:39 浏览: 75
基于tensorrt int8量化yolov5 onnx模型并实现推理python源码(加速推理)+操作说明.zip
在上述代码中,推理时间是通过使用GPU计时器来测量的。在代码中,使用了torch.cuda.Event来创建计时器,通过记录开始和结束的时间点来计算时间差。在每轮iteration中,模型的推理时间被记录在times数组中,然后取平均值得到整体的推理时间。最后,通过计算FPS(每秒处理的帧数)来衡量推理速度。
阅读全文