python 版本tensorrt CPU推理

TensorRT 支持 CPU 推理，但是需要使用 TensorRT Python API 和 TensorRT 介质库来实现。需要注意的是，CPU 推理的性能一般不如 GPU 推理，因为 CPU 的计算能力有限。不过，如果你是在低功耗设备上进行推理，或者没有可用的 GPU，那么 CPU 推理是一个很好的选择。

以下是使用 TensorRT Python API 进行 CPU 推理的基本步骤：

1. 准备模型：导出已经训练好的模型并转换成 TensorRT 支持的格式（如 ONNX 或 TensorFlow）。

2. 创建 TensorRT 引擎：通过 TensorRT Python API 创建一个 TensorRT 引擎对象，这个对象会对模型进行优化和编译，以便在 CPU 上高效地执行推理。

3. 分配内存：创建 CPU 内存作为输入和输出数据的容器。

4. 执行推理：通过 Python API 将输入数据传递给 TensorRT 引擎，并获取输出数据。

下面是一个简单的代码示例：

import tensorrt as trt
import numpy as np

# 创建 TensorRT 引擎
engine_file_path = "/path/to/trt/engine/file"
trt_logger = trt.Logger(trt.Logger.WARNING)
with open(engine_file_path, "rb") as f, trt.Runtime(trt_logger) as runtime:
    engine = runtime.deserialize_cuda_engine(f.read())

# 分配内存
input_shape = (1, 3, 224, 224)
output_shape = (1, 1000)
input_data = np.random.rand(*input_shape).astype(np.float32)
output_data = np.empty(output_shape, dtype=np.float32)
bindings = [None, input_data, output_data]
inputs, outputs, bindings = [], [], []
for binding in engine:
    if engine.binding_is_input(binding):
        inputs.append(binding)
        bindings.append(input_data)
    else:
        outputs.append(binding)
        bindings.append(output_data)

# 执行推理
with engine.create_execution_context() as context:
    context.execute_v2(bindings=bindings)

# 输出结果
print(output_data)