onnxruntime-gpu+c++部署

部署 ONNX Runtime GPU 版本的 C API 可以分为以下几个步骤：

1. 下载 ONNX Runtime GPU 版本的 C API 库文件和模型文件。

2. 编写 C 代码，调用 ONNX Runtime C API 加载模型文件，并使用 ONNX Runtime 进行推理。

3. 配置环境变量，设置 LD_LIBRARY_PATH 为 ONNX Runtime C API 库文件所在的路径。

4. 编译 C 代码，链接 ONNX Runtime C API 库文件，生成可执行文件。

以下是一个简单的示例代码，使用 ONNX Runtime C API 加载模型文件并进行推理：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "onnxruntime_c_api.h"

int main() {
    // 加载模型文件
    OrtEnv* env;
    OrtCreateEnv(ORT_LOGGING_LEVEL_WARNING, "test", &env);
    OrtSession* session;
    OrtSessionOptions* session_options;
    OrtCreateSessionOptions(&session_options);
    OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);
    OrtCreateSession(env, "model.onnx", session_options, &session);
    
    // 准备输入数据
    float input_data[1][3][224][224];
    // ... 填充输入数据
    
    // 创建输入张量
    size_t input_shape[] = {1, 3, 224, 224};
    OrtMemoryInfo* memory_info;
    OrtCreateCpuMemoryInfo(OrtDeviceAllocator, OrtMemTypeCPU, 0, OrtMemAllocatorTypeDefault, &memory_info);
    OrtValue* input_tensor;
    OrtCreateTensorWithDataAsOrtValue(memory_info, input_data, sizeof(input_data), input_shape, 4, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &input_tensor);
    
    // 创建输出张量
    OrtValue* output_tensor;
    size_t output_shape[] = {1, 1000};
    OrtCreateTensorAsOrtValue(memory_info, output_shape, 2, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &output_tensor);
    
    // 进行推理
    OrtRunOptions* run_options;
    OrtCreateRunOptions(&run_options);
    OrtRun(session, run_options, NULL, &input_tensor, 1, &output_tensor, 1);
    
    // 获取输出数据
    float* output_data = (float*)OrtGetTensorMutableData(output_tensor);
    // ... 处理输出数据
    
    // 释放资源
    OrtReleaseValue(output_tensor);
    OrtReleaseValue(input_tensor);
    OrtReleaseMemoryInfo(memory_info);
    OrtReleaseSession(session);
    OrtReleaseSessionOptions(session_options);
    OrtReleaseEnv(env);
    
    return 0;
}

编译命令如下：

gcc -I /path/to/onnxruntime/include -L /path/to/onnxruntime/lib -lonnxruntime -lonnxruntime_providers_cuda -o test test.c

其中 /path/to/onnxruntime 是 ONNX Runtime C API 和 CUDA Execution Provider 库文件所在的路径。