使用 C++ 编写支持多模型调用的动态连接库，并将 ONNX 模型加载进来，并编译生成dll与注释供其他程序使用

下面是一个简单的C++代码示例，用于加载ONNX模型并将其包装为动态链接库（DLL）以供其他程序使用：

#include <iostream>
#include <onnxruntime_cxx_api.h>

// 加载ONNX模型的函数
Ort::Session LoadModel(const std::string& model_path)
{
    Ort::Session session(nullptr);
    Ort::SessionOptions session_options;
    Ort::ThrowOnError(OrtCreateSessionOptions(&session_options));
    Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_CPU(session_options, 0));

    Ort::ThrowOnError(session.Load(model_path.c_str(), session_options));
    return session;
}

// 在DLL中导出的函数
extern "C" __declspec(dllexport) int RunModel(float* input_data, float* output_data)
{
    try
    {
        // 加载模型
        Ort::Session session = LoadModel("path/to/your/onnx/model");

        // 获取模型输入和输出的信息
        Ort::AllocatorWithDefaultOptions allocator;
        Ort::MemoryInfo memory_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeDefault);
        Ort::TypeInfo type_info = session.GetInputTypeInfo(0);
        auto tensor_info = type_info.GetTensorTypeAndShapeInfo();
        std::vector<int64_t> input_shape = tensor_info.GetShape();

        // 创建输入和输出张量
        size_t input_tensor_size = sizeof(float) * input_shape[1] * input_shape[2] * input_shape[3];
        size_t output_tensor_size = sizeof(float) * output_shape[1] * output_shape[2] * output_shape[3];
        Ort::Value input_tensor = Ort::Value::CreateTensor<float>(memory_info, input_data, input_tensor_size, input_shape.data(), input_shape.size());
        Ort::Value output_tensor = Ort::Value::CreateTensor<float>(memory_info, output_data, output_tensor_size, output_shape.data(), output_shape.size());

        // 运行模型
        Ort::ThrowOnError(session.Run(Ort::RunOptions{ nullptr }, input_names.data(), &input_tensor, 1, output_names.data(), &output_tensor, 1));

        // 打印输出
        float* output_pointer = output_tensor.GetTensorMutableData<float>();
        for (int i = 0; i < output_shape[1] * output_shape[2] * output_shape[3]; i++)
        {
            std::cout << output_pointer[i] << " ";
        }
        std::cout << std::endl;

        return 0;
    }
    catch (const Ort::Exception& ex)
    {
        std::cerr << ex.what() << std::endl;
        return -1;
    }
}

这个示例代码包括一个名为`LoadModel`的函数，用于加载ONNX模型，并将其包装在一个名为`RunModel`的导出函数中。在`RunModel`函数中，我们首先加载模型，然后获取模型输入和输出的信息。接下来，我们创建输入和输出张量，并将输入数据传递给输入张量。最后，我们运行模型，将输出张量传递给输出数据，并返回0表示模型运行成功。

要将此代码编译为DLL，您可以使用Visual Studio或其他C++编译器。在Visual Studio中，您可以执行以下步骤：

1. 创建一个空的Win32控制台应用程序项目。
2. 添加源文件`model_runner.cpp`到项目中。
3. 在项目属性中，选择`配置属性>常规`，将配置类型更改为`动态库(.dll)`。
4. 编译项目。
5. 将生成的DLL文件复制到其他程序可以访问的位置。

现在您已经创建了一个支持多模型调用的动态链接库，可以将其用于其他C++程序中。