onnxruntime-gpu 1.20
时间: 2025-01-06 09:31:27 浏览: 12
### ONNX Runtime GPU 1.20 安装与使用
#### 安装准备
为了确保 `onnxruntime-gpu` 正常工作,环境需满足特定条件。对于NVIDIA驱动程序和CUDA版本的要求尤为重要[^1]。
- **硬件需求**: 支持 CUDA 的 NVIDIA 显卡。
- **软件需求**:
- 已安装适用于 Linux 或 Windows 的最新版 NVIDIA 驱动程序。
- 符合兼容性的 CUDA 和 cuDNN 库已正确配置并可用。
#### 安装过程
通过 Python 包管理工具 pip 可轻松完成 `onnxruntime-gpu` 的安装:
```bash
pip install onnxruntime-gpu==1.20.0
```
此命令会自动下载对应平台预编译好的二进制文件,并处理依赖关系。如果遇到任何问题,建议先更新 pip 至最新版本再尝试安装。
#### 使用示例
下面是一个简单的例子来展示如何加载模型并在 GPU 上执行推理操作:
```python
import onnxruntime as ort
import numpy as np
# 设置为优先使用GPU设备
providers = ['CUDAExecutionProvider', 'CPUExecutionProvider']
session = ort.InferenceSession("model.onnx", providers=providers)
input_name = session.get_inputs()[0].name
dummy_input = np.random.randn(1, 3, 224, 224).astype(np.float32)
result = session.run(None, {input_name: dummy_input})
print(result)
```
这段代码创建了一个新的推断会话实例,并指定了首选的计算提供者列表(即 GPU)。接着定义输入张量形状及数据类型,最后调用 run 方法启动实际运算流程。
阅读全文