jetson orin nano怎么运行onnx模型

### 部署和运行 ONNX 模型于 Jetson Orin Nano

#### 准备工作
为了确保能够在 Jetson Orin Nano 上顺利部署和运行 ONNX 模型，需先完成必要的准备工作。这包括但不限于安装所需的依赖库以及配置开发环境。

- 安装 TensorRT 和其他必需工具包，这些可以通过 NVIDIA 提供的官方文档获取指导[^1]。

sudo apt-get update && sudo apt-get install -y tensorrt python3-libnvinfer-dev uff-converter-tf onnx-graphsurgeon

#### 转换 ONNX 至 TensorRT Engine 文件
直接利用 `trtexec` 工具转换可能会遇到兼容性问题或错误报告[^2]。推荐采用 Python API 或者通过编写自定义脚本来实现更稳定的转换流程：

import tensorrt as trt
from polygraphy.backend.common import bytes_from_path
from polygraphy.comparator import DataLoader, CompareFunc, Comparator
from polygraphy.logger import G_LOGGER
from polygraphy.backend.trt import CreateConfig, engine_from_bytes, NetworkFromOnnxPath, SaveEngine


def build_engine(onnx_file_path="model.onnx", output_engine_path="model.engine"):
    with trt.Builder(TRT_LOGGER) as builder, \
         builder.create_network() as network, \
         trt.OnnxParser(network, TRT_LOGGER) as parser:

        config = builder.create_builder_config()
        config.max_workspace_size = 1 << 30
        
        model_stream = open(onnx_file_path, 'rb').read()

        if not parser.parse(model_stream):
            for error in range(parser.num_errors):
                print(parser.get_error(error))
        
        serialized_engine = builder.build_serialized_network(network, config)

        with open(output_engine_path, "wb") as f:
            f.write(serialized_engine)


if __name__ == "__main__":
    build_engine()

此方法允许更加灵活地调整参数设置，并能有效规避潜在的问题。

#### 使用 DeepStream 进行推理
一旦成功创建了 `.engine` 文件，则可以借助 DeepStream SDK 来加载该模型并执行实时视频分析任务。具体操作可参照 NVIDIA 发布的相关教程来构建应用管道。

deepstream-app -c <path_to_your_config_file>

其中 `<path_to_your_config_file>` 是指向已编辑好的配置文件路径，在这里应当指定之前生成的 TensorRT 模型位置以及其他必要的选项。