onnxruntime调用onnx格式

OnnxRuntime是一个用于执行ONNX模型的开源引擎，它支持多种平台和硬件设备，包括CPU、GPU和FPGA等。要使用OnnxRuntime调用ONNX格式的模型，可以按照以下步骤进行：

1. 安装OnnxRuntime库：可以在OnnxRuntime官方网站上下载并安装相应版本的库。

2. 加载ONNX模型：使用OnnxRuntime提供的API加载ONNX格式的模型文件，并创建InferenceSession对象。

3. 准备输入数据：为模型准备输入数据，可以使用C++的STL容器或者指针数组来存储数据。

4. 执行推理：调用InferenceSession对象的Run方法，将准备好的输入数据作为参数传入，执行模型推理过程。

5. 获取输出结果：从InferenceSession对象中获取输出结果，可以使用C++的STL容器或者指针数组来接收数据。

以下是一个简单的C++代码示例，演示了如何使用OnnxRuntime调用ONNX格式的模型：

#include <iostream>
#include <vector>
#include <fstream>
#include "onnxruntime_cxx_api.h"

int main() {
    // 1. 加载模型
    Ort::Env env{ ORT_LOGGING_LEVEL_WARNING, "test" };
    Ort::Session session{ env, "model.onnx", Ort::SessionOptions{} };

    // 2. 准备输入数据
    std::vector<float> input_data(3 * 224 * 224);
    // 将数据填充到input_data中

    // 3. 执行推理
    Ort::Value input_tensor{ Ort::Value::CreateTensor<float>(input_data.data(), input_data.size(), { 1, 3, 224, 224 }) };
    auto output_tensors = session.Run(Ort::RunOptions{}, { "input" }, { &input_tensor }, { "output" });

    // 4. 获取输出结果
    std::vector<float> output_data(1000);
    output_tensors.front().GetTensorMutableData<float>()->CopyTo(output_data.data(), output_data.size());

    // 输出结果
    for (auto& val : output_data) {
        std::cout << val << " ";
    }

    return 0;
}