C++ tensorRT部署real-esrgan onnx转engine 输入Mat 输出Mat

TensorRT是一个高性能的深度学习推理库，可以用来加速模型的推理过程。要在C++中使用TensorRT部署Real-RGAN模型，需要进行以下步骤：

1. 将Real-ESRGAN模型转换为ONNX格式。
2. 使用TensorRT API将ONNX模型转换为TensorRT引擎。
3. 使用TensorRT引擎进行推理。

下面是一个简单的C++代码示例，用于将ONNX模型转换为TensorRT引擎，并进行推理：

#include <iostream>
#include <fstream>
#include <vector>
#include <opencv2/opencv.hpp>
#include <NvInfer.h>
#include <NvOnnxParser.h>

using namespace std;
using namespace nvinfer1;
using namespace nvonnxparser;

int main()
{
    // Step 1: Load the ONNX model
    const string onnx_model_path = "real_esrgan.onnx";
    ifstream onnx_file(onnx_model_path, ios::binary);
    onnx_file.seekg(0, ios::end);
    const size_t onnx_size = onnx_file.tellg();
    onnx_file.seekg(0, ios::beg);
    vector<char> onnx_buf(onnx_size);
    onnx_file.read(onnx_buf.data(), onnx_size);

    // Step 2: Create the TensorRT engine
    IRuntime* runtime = createInferRuntime(logger);
    ICudaEngine* engine = runtime->deserializeCudaEngine(onnx_buf.data(), onnx_buf.size(), nullptr);
    IExecutionContext* context = engine->createExecutionContext();

    // Step 3: Prepare input and output buffers
    const int batch_size = 1;
    const int input_channels = 3;
    const int input_height = 256;
    const int input_width = 256;
    const int output_channels = 3;
    const int output_height = 1024;
    const int output_width = 1024;

    // Allocate memory for input and output buffers
    float* input_data = new float[batch_size * input_channels * input_height * input_width];
    float* output_data = new float[batch_size * output_channels * output_height * output_width];

    // Create input and output tensors
    ITensor* input_tensor = engine->getBindingTensor(0);
    ITensor* output_tensor = engine->getBindingTensor(1);

    // Create CUDA memory for input and output tensors
    void* input_cuda_mem, *output_cuda_mem;
    cudaMalloc(&input_cuda_mem, batch_size * input_channels * input_height * input_width * sizeof(float));
    cudaMalloc(&output_cuda_mem, batch_size * output_channels * output_height * output_width * sizeof(float));

    // Step 4: Run inference
    cv::Mat input_image = cv::imread("input.png");
    cv::Mat input_resized;
    cv::resize(input_image, input_resized, cv::Size(input_width, input_height));

    // Copy input data to CUDA memory
    cudaMemcpy(input_cuda_mem, input_data, batch_size * input_channels * input_height * input_width * sizeof(float), cudaMemcpyHostToDevice);

    // Set input tensor data
    input_tensor->setLocation(CUDA, input_cuda_mem);
    input_tensor->setDimensions({ batch_size, input_channels, input_height, input_width });
    input_tensor->setType(DataType::kFLOAT);

    // Set output tensor data
    output_tensor->setLocation(CUDA, output_cuda_mem);
    output_tensor->setDimensions({ batch_size, output_channels, output_height, output_width });
    output_tensor->setType(DataType::kFLOAT);

    // Run inference
    context->enqueue(batch_size, &input_cuda_mem, &output_cuda_mem, nullptr);

    // Copy output data from CUDA memory
    cudaMemcpy(output_data, output_cuda_mem, batch_size * output_channels * output_height * output_width * sizeof(float), cudaMemcpyDeviceToHost);

    // Convert output data to OpenCV Mat
    cv::Mat output_image(output_height, output_width, CV_32FC3, output_data);
    output_image.convertTo(output_image, CV_8UC3, 255.0);

    // Step 5: Save output image
    cv::imwrite("output.png", output_image);

    // Step 6: Cleanup
    cudaFree(input_cuda_mem);
    cudaFree(output_cuda_mem);
    delete[] input_data;
    delete[] output_data;
    context->destroy();
    engine->destroy();
    runtime->destroy();

    return 0;
}

在这个示例中，我们首先加载了Real-ESRGAN模型的ONNX文件，然后使用TensorRT API将其转换为TensorRT引擎。接下来，我们准备了输入和输出缓冲区，并使用CUDA内存分配函数为它们分配了内存。然后，我们将输入数据复制到CUDA内存中，并设置了输入和输出Tensor的相关属性。最后，我们启动了推理过程，并将结果保存到输出文件中。最后，我们清理了使用的资源。

需要注意的是，该示例仅适用于输入和输出都是Mat的情况。如果你的输入和输出数据类型不同，请相应地修改代码。