在pytorch中通过onnx runtime运行onnx模型

要在PyTorch中使用ONNX Runtime运行ONNX模型，需要安装ONNX Runtime包。

安装ONNX Runtime：

pip install onnxruntime

在Python中加载ONNX模型：

import onnxruntime as ort

# Load model
model_path = 'model.onnx'
ort_session = ort.InferenceSession(model_path)

# Input shape
input_shape = ort_session.get_inputs()[0].shape

# Input name
input_name = ort_session.get_inputs()[0].name

# Output name
output_name = ort_session.get_outputs()[0].name

# Input data
import numpy as np
input_data = np.ones(input_shape, dtype=np.float32)

# Run inference
output_data = ort_session.run([output_name], {input_name: input_data})[0]

首先，我们导入onnxruntime包并加载ONNX模型。我们使用ort.InferenceSession（）方法创建一个会话对象。然后使用ort_session.get_inputs（）和ort_session.get_outputs（）方法来获取输入和输出的元数据信息，这将帮助我们准备输入和输出数据。

在本例中，我们首先检索输入的形状，然后检索输入和输出的名称。接下来，我们为输入数据创建具有正确形状的numpy数组，并将其传递给run（）方法以获取任意数量的输出。

最后，我们得到输出数据和格式化输出，以便在屏幕上获取矩阵的值。

ONNX Runtime提供了多种推理选项以优化性能和内存使用。可以使用以下代码设置性能和优化选项：

# Options 
ort_session.set_providers(['CPUExecutionProvider'])
ort_session.set_providers(['CUDAExecutionProvider'])
ort_session.set_providers(['TensorrtExecutionProvider'])
ort_session.set_providers(['MIGraphXExecutionProvider'])

ort_session.set_providers([ort.SessionOptions.ExecutionProvider_CPU])
ort_session.set_providers([ort.SessionOptions.ExecutionProvider_CUDA])
ort_session.set_providers([ort.SessionOptions.ExecutionProvider_Tensorrt])
ort_session.set_providers([ort.SessionOptions.ExecutionProvider_MIGraphX])

ort_session.set_optimization_level(0)
ort_session.set_optimization_level(1)
ort_session.set_optimization_level(2)

这里我们可以设置CPU，CUDA，Tensorrt和MIGraphX的执行提供程序。此外，还可以设置优化级别以控制推理选项的优化程度。

在实际应用中，通常需要对使用ONNX Runtime对模型执行推理进行更多配置，以便在具体数据和平台上获得最佳性能。