Microsoft.ML.OnnxRuntime GPU加载GPU模型

Microsoft.ML.OnnxRuntime是一个高性能的开源库，用于运行由ONNX（开放神经网络交换格式）定义的机器学习模型。如果你想在GPU上加载并利用其计算能力运行模型，OnnxRuntime提供了一种有效的方式。它支持CUDA（Compute Unified Device Architecture），这是一种专为图形处理设计的并行计算架构。

在使用GPU加载模型时，你需要确保你的模型已经被转换为支持GPU运算的版本，通常是通过工具如ONNX的onnxruntime-gpu工具或者使用像TensorRT这样的优化器来优化模型。然后，你可以创建一个`InferenceSession`实例，并指定设备设置为GPU：

using Microsoft.ML.OnnxRuntime;
...
var sessionOptions = new InferenceSessionOptions();
sessionOptions.EnableGPUExecution = true; // 设置为true启用GPU
var session = InferenceSession.Load(modelPath, sessionOptions);

一旦模型加载到GPU，InferenceSession就可以在GPU上执行推理操作，这通常会比CPU更快，特别是在处理大规模数据和复杂计算任务时。

相关问题

c# onnxruntime gpu

### 使用ONNX Runtime在C#中实现GPU加速

为了在C#环境中通过ONNX Runtime启用GPU加速，需确保安装了适用于Windows平台的官方GPU包及其依赖项[^1]。对于希望利用NVIDIA GPU执行推理的应用程序开发者而言，这意味着要特别关注CUDA版本兼容性。

#### 安装必要的软件组件

首先，应确认已正确配置本地开发环境中的CUDA工具链以及cuDNN库，因为这些是运行基于GPU的ONNX模型所必需的基础设施。接着，可以通过NuGet获取最新版的`Microsoft.ML.OnnxRuntime.Gpu`包来引入对GPU的支持：

Install-Package Microsoft.ML.OnnxRuntime.Gpu

此命令会自动处理所有相关的依赖关系并将其集成到项目当中。

#### 编写代码加载模型并设置设备选项

一旦完成了上述准备工作，则可以在应用程序内部创建SessionOptions实例，并显式指明目标硬件为GPU：

using System;
using OnnxRuntime;

class Program {
    static void Main(string[] args){
        var sessionOptions = new SessionOptions();
        // Enable logging for debugging purposes.
        sessionOptions.AddConfigEntry("session_log_verbosity_level", "2");
        
        // Specify that we want to use the available GPU(s).
        sessionOptions.ExecutionMode = ExecutionMode.ORT_SEQUENTIAL;
        sessionOptions.GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL;
        sessionOptions.AppendExecutionProvider_CUDA(0); 

        using (var session = new InferenceSession("model.onnx", sessionOptions)){
            Console.WriteLine($"Model loaded successfully.");
            
            // Prepare input data...
            var inputs = ... ;
            
            // Run inference with specified options.
            using(var results = session.Run(inputs)){
                foreach(var result in results){
                    Console.WriteLine(result);
                }
            }
        }
    }
}

这段示例展示了如何初始化带有特定参数的InferenceSession对象，其中最重要的是调用了`AppendExecutionProvider_CUDA()`方法以激活GPU作为计算资源的一部分。

ONNXRuntime启用CUDA支持 C#

要在C#中使用ONNXRuntime启用CUDA支持，你需要确保首先安装了支持CUDA的ONNXRuntime库，这通常需要安装包含CUDA计算能力对应的版本。以下是启用CUDA支持的基本步骤：

1. **添加必要的 NuGet 包**：
使用 Visual Studio 或者通过命令行工具（dotnet CLI），确保已添加Microsoft.ML.OnnxRuntime.Gpu包，它包含了对CUDA的支持。

   dotnet add package Microsoft.ML.OnnxRuntime.Gpu

2. **初始化会话时指定执行提供商**：
创建`OrtSession`时，将`ExecutionProviders`设置为`ProviderNames.Cuda`，如下所示：

   using Microsoft.ML.OnnxRuntime;
   
   var options = new OrtSessionOptions();
   options.SetExecutionProvider("CUDA");
   var session = new OrtSession("/path/to/model.onnx", options);

这里`/path/to/model.onnx`替换为你的ONNX模型文件的实际路径。

3. **检查兼容性**：
确保你的机器上已经安装了CUDA SDK和对应的CUDA驱动程序，并且Python版本（ONNXRuntime背后使用的默认编程语言）也安装了CUDA的PyTorch或TensorFlow后端。

4. **处理数据**：
需要注意的是，在使用CUDA时，输入张量应适合设备内存（即，它们应该可以直接在GPU上操作）。如果你的数据不适合，可能需要先将其复制到GPU内存中。

5. **执行模型**：
使用加载好的会话执行模型推理时，ONNXRuntime会自动利用CUDA加速。

6. **清理资源**：
计算完成后，别忘了关闭和释放会话以避免内存泄漏：

   session.Close();