tensorrt使用

TensorRT是英伟达（NVIDIA）专门为深度学习模型推理（inference）而开发的高性能推理引擎。TensorRT可以优化和加速深度学习推理，并提供支持各种深度学习框架的API，例如 TensorFlow，PyTorch，Caffe 等等。

使用TensorRT进行推理可以大幅度提高推理速度，因为它采用了多项技术优化，包括半精度计算（half precision），kernel融合（kernel fusion），动态tensor缓冲区等等。

TensorRT使用流程一般如下：

1. 用深度学习框架训练好模型，如TensorFlow、PyTorch等等。
2. 导出训练好的模型为ONNX或UFF格式。
3. 用TensorRT API读取ONNX或UFF格式的模型，创建推理引擎。
4. 将待推理的数据输入到引擎中，进行推理计算。
5. 获取结果并输出。

以下是一个简单的使用TensorRT API进行推理的示例代码：

import tensorrt as trt

# Load the serialized TensorRT model from disk.
with open('model.engine', 'rb') as f:
    engine_data = f.read()

# Create a TensorRT engine from the serialized data.
trt_runtime = trt.Logger(trt.Logger.WARNING)
engine = trt_runtime.deserialize_cuda_engine(engine_data)

# Allocate memory for input and output tensors.
input_shape = (1, 3, 224, 224)
output_shape = (1, 1000)
input_tensor = cuda.mem_alloc(np.prod(input_shape) * np.dtype(np.float32).itemsize)
output_tensor = cuda.mem_alloc(np.prod(output_shape) * np.dtype(np.float32).itemsize)

# Create a CUDA stream for the engine to execute on.
stream = cuda.Stream()

# Create a bindings object that maps the input and output tensors to memory.
bindings = [int(input_tensor), int(output_tensor)]

# Create a Python context object that can execute the engine.
context = engine.create_execution_context()

# Perform inference on a batch of data.
input_data = np.random.rand(*input_shape).astype(np.float32)
cuda.memcpy_htod_async(input_tensor, input_data, stream)
context.execute_async_v2(bindings=bindings, stream_handle=stream.handle)
cuda.memcpy_dtoh_async(output_data, output_tensor, stream)
stream.synchronize()

# Print the inference result.
print(output_data)