c++ tensorrt 从onnx创建engine

TensorRT是一种用于高性能深度学习推理的库，它可以从ONNX模型创建引擎。

以下是使用TensorRT从ONNX模型创建引擎的步骤：

1. 安装TensorRT：首先需要安装TensorRT库。可以在NVIDIA官网上下载TensorRT安装包，并按照指示进行安装。

2. 转换ONNX模型：使用TensorRT的`trtexec`工具将ONNX模型转换为TensorRT引擎。可以使用以下命令：

   trtexec --onnx=<path_to_onnx_model> --saveEngine=<path_to_save_engine>

这将使用默认参数生成一个TensorRT引擎，并将其保存到指定路径。

3. 加载引擎：使用TensorRT的C++ API加载生成的引擎。可以使用以下代码：

   #include <iostream>
   #include <fstream>
   #include "NvInfer.h"
   #include "NvOnnxParser.h"
   
   int main()
   {
       // Load engine from file
       std::ifstream engineFile("path/to/engine");
       engineFile.seekg(0, std::ios::end);
       const size_t fileSize = engineFile.tellg();
       engineFile.seekg(0, std::ios::beg);
       std::vector<char> engineData(fileSize);
       engineFile.read(engineData.data(), fileSize);
       nvinfer1::IRuntime* runtime = nvinfer1::createInferRuntime(...);
       nvinfer1::ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), fileSize, nullptr);
       ...
   }

这将从文件中加载引擎数据，并使用TensorRT API创建一个运行时和一个CUDA引擎对象。

4. 运行推理：使用引擎对象运行推理。可以使用以下代码：

   nvinfer1::IExecutionContext* context = engine->createExecutionContext();
   
   // Prepare input and output buffers
   void* inputBuffer = ...; // Allocate input buffer
   void* outputBuffer = ...; // Allocate output buffer
   ...
   
   // Run inference
   const int batchSize = 1;
   context->setBindingDimensions(inputIndex, nvinfer1::Dims4(batchSize, inputChannels, inputHeight, inputWidth));
   context->setBindingDimensions(outputIndex, nvinfer1::Dims4(batchSize, outputChannels, outputHeight, outputWidth));
   context->execute(batchSize, bindings);

这将使用引擎对象创建一个执行上下文，并准备输入和输出缓冲区。然后，可以指定批量大小并运行推理。