tensorrt安装教程

时间: 2023-12-01 21:04:00 浏览: 258

TensorRT安装

TensorRT安装以及相关配置看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR **TensorRT 安装详解** 在深度学习领域，优化模型的推理速度是至关重要的，而NVIDIA的TensorRT就是一款专为此目的设计的高性能深度学习推理框架。它能对神经网络模型进行分析、优化和构建高效的运行时执行图，从而在GPU上实现更快的推理速度。本文将详细介绍如何在Linux环境下通过tar包安装TensorRT，并配置相应的环境。 ### 1. 下载TensorRT TensorRT提供了多种安装方式，包括通过apt-get、conda、Docker以及直接下载tar包。这里推荐使用tar包进行安装，因为这种方式更为灵活，适用于各种自定义配置。您可以在NVIDIA的官方网站上找到最新的TensorRT版本，地址为：https://developer.nvidia.com/tensorrt。 ### 2. 安装TensorRT #### 2.1 解压tar包下载完成后，使用以下命令解压TensorRT的tar包： ```bash tar xzvf TensorRT-<version>-<config>.tar.gz ``` 这里的`<version>`和`<config>`代表具体的TensorRT版本号和配置，例如TensorRT-6.0.1.5-gnu.cuda-10.1.cudnn7.x。 #### 2.2 添加环境变量为了使系统能够正确找到TensorRT库，需要编辑`~/.bashrc`文件，添加如下环境变量： ```bash $ vim ~/.bashrc ``` 然后在文件中加入以下行： ```bash export LD_LIBRARY_PATH=<TensorRT解压路径>/lib:$LD_LIBRARY_PATH export CUDA_INSTALL_DIR=/usr/local/cuda-10.1 export CUDNN_INSTALL_DIR=/usr/local/cuda-10.1 ``` 其中`<TensorRT解压路径>`应替换为实际的TensorRT解压目录。保存并关闭文件，然后执行以下命令使更改生效： ```bash $ source ~/.bashrc ``` #### 2.3 安装TensorRT Python接口进入解压后的TensorRT目录的Python子目录，使用pip安装对应Python版本的TensorRT库： ```bash $ cd TensorRT-<version>/python $ sudo pip3 install tensorrt-<version>-cp35-none-linux_x86_64.whl ``` 这里的`<version>`应与下载的TensorRT版本一致。 ### 3. 安装相关工具 #### 3.1 安装UFF转换器 UFF是TensorRT的一种输入格式，可以用来转换其他框架（如Caffe）的模型。使用pip安装UFF转换器： ```bash $ cd TensorRT-<version>/uff $ sudo pip3 install uff-0.6.5-py2.py3-none-any.whl ``` #### 3.2 安装GraphSurgeon GraphSurgeon是用于处理UFF文件的工具，同样通过pip安装： ```bash $ cd TensorRT-<version>/graphsurgeon $ sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl ``` ### 4. 配置Yolov3-tiny-onnx-TensorRT项目环境如果你打算使用TensorRT运行Yolov3-tiny模型，还需要安装以下依赖库： #### 4.1 安装NumPy ```bash $ sudo pip3 install numpy ``` #### 4.2 安装ONNX ONNX是一种开放的模型交换格式，确保不同框架之间的模型兼容性。确保安装与TensorRT版本兼容的ONNX： ```bash $ sudo pip3 install onnx==1.4.1 ``` 如果遇到安装问题，可以尝试使用豆瓣源： ```bash pip install onnx==1.4.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 4.3 安装PyCUDA PyCUDA是Python与CUDA交互的库，对于某些TensorRT操作可能需要： ```bash $ pip install pycuda==2019.1.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 4.4 安装Pillow Pillow库用于处理图像数据： ```bash $ pip install Pillow==6.1.0 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.douban.com ``` #### 4.5 安装wget wget是一个命令行工具，用于从互联网上下载文件： ```bash $ pip install wget==3.2 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.douban.com ``` ### 结语完成上述步骤后，您的系统已经成功安装了TensorRT，并配置好了运行Yolov3-tiny-onnx-TensorRT项目所需的环境。接下来，你可以使用TensorRT API构建和执行深度学习模型，享受GPU加速带来的高效推理性能。记住，当升级TensorRT或相关依赖时，一定要确保所有组件的兼容性，以避免可能出现的问题。同时，持续关注NVIDIA的更新，以获取最新功能和性能优化。

以下是TensorRT的安装教程： 1. 下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装依赖 ```shell sudo apt-get update sudo apt-get install -y python-dev python-pip python3-dev python3-pip sudo apt-get install -y libnvinfer5 libnvinfer-dev libnvparsers5 libnvparsers-dev libnvonnxparsers5 libnvonnxparsers-dev libnvinfer-plugin5 libnvinfer-plugin-dev libnvcaffe_parser5 libnvcaffe_parser-dev ``` 3. 安装TensorRT ```shell sudo dpkg -i nv-tensorrt-repo-ubuntu1604-cuda10.0-trt5.1.5.0-ga-20190427_1-1_amd64.deb sudo apt-key add /var/nv-tensorrt-repo-cuda10.0-trt5.1.5.0-ga-20190427/7fa2af80.pub sudo apt-get update sudo apt-get install tensorrt sudo apt-get install python3-libnvinfer-dev ``` 4. 验证安装 ```shell dpkg -l | grep TensorRT ``` 5. 安装UFF ```shell sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v42 tensorflow-gpu==1.15.0+nv20.3 sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v42 tensorrt==5.1.5.0 sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl uff-0.6.5-py2.py3-none-any.whl ``` 6. 验证UFF安装 ```shell python3 -c 'import uff; print(uff.__version__)' ```

阅读全文

tensorrt安装教程

相关推荐

Tensorrt官方例程

TensorRT-Installation-Guide.pdf

深度学习模型加速秘籍：TensorRT完整教程

基于YOLOv5的训练与部署在TensorRT优化教程

Matlab深度学习服务部署与TensorRT教程

tensorrt的window安装教程

tensorrt教程

Linux环境TensorRT *.*.*.*版本CUDA 11.3和cuDNN 8.2安装教程

C++深度学习车牌检测与识别TensorRT部署全教程

使用LaMa算法实现TensorRT图像修复Demo教程

TensorRT部署大模型详细教程分析流程

TensorRT深度学习服务端部署教程案例分析

C#实现基于yolov10和TensorRT的目标检测教程

TensorRT推理服务器深度学习部署实战教程

TensorRT推理服务器部署深度学习案例教程

基于TensorRT的YOLOv4部署实战教程

深度学习服务部署教程：TensorRT Inference Server

TensorRT部署BEVDet-ROS模型C++源码教程

最新推荐

Python 查看主机IP及mac地址

MATLAB实现小波阈值去噪：Visushrink硬软算法对比

管理建模和仿真的文件

【交互特征的影响】：分类问题中的深入探讨，如何正确应用交互特征

c语言从链式队列 中获取头部元素并返回其状态的函数怎么写

易语言实现画板图像缩放功能教程

"互动学习：行动中的多样性与论文攻读经历"

【交互特征：优化与调试的艺术】：实战技巧，提升回归模型与分类模型的性能

用IDEA写一个高速收费系统框架附带代码

大模型推荐系统: 优化算法与模型压缩技术

Linux环境TensorRT ...版本CUDA 11.3和cuDNN 8.2安装教程

c语言从链式队列中获取头部元素并返回其状态的函数怎么写