C++ tensorrt部署

C++ TensorRT 是 NVIDIA 推出的用于高性能深度学习推理的库，可以在 GPU 上加速模型推理。TensorRT 支持多种深度学习框架，包括 TensorFlow、Caffe、PyTorch 等。TensorRT 的部署流程大致如下：

1. 使用深度学习框架训练模型，并将模型保存为 ONNX 或 TensorFlow 格式。
2. 使用 TensorRT 的 API 加载模型，并进行优化。
3. 将优化后的模型部署到 GPU 上进行推理。

以下是一个简单的 C++ TensorRT 部署示例：

#include <iostream>
#include <fstream>
#include <sstream>
#include <vector>
#include <chrono>

#include "NvInfer.h"
#include "NvOnnxParser.h"
#include "NvInferRuntimeCommon.h"

using namespace nvinfer1;
using namespace std;

int main(int argc, char** argv) {
    // 1. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 2. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 3. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 4. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 5. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);    INetworkDefinition* network = builder->createNetwork();

    // 6. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 7. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 8. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 9. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 10. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();

    // 11. 创建 TensorRT 的 builder 和 network 对象
    IBuilder* builder = createInferBuilder(gLogger);
    INetworkDefinition* network = builder->createNetwork();


    // 释放资源
    parser->destroy();
    engine->destroy();
    context->destroy();
    inputTensor->destroy();
    outputTensor->destroy();
    stream->destroy();
    runtime->destroy();
    return 0;
}