TensorRT安装
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式,建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR **TensorRT安装详解** 在深度学习领域,TensorRT是一个高效的高性能推理引擎,它能够优化和加速神经网络模型的运行。本文将详细介绍如何安装TensorRT及其相关的配置步骤。 ### 1. 下载TensorRT TensorRT提供了多种安装方式,包括通过NVIDIA的apt仓库、Docker容器以及Python包管理器等。但为了保证灵活性和可控性,建议采用下载tar包的方式进行安装。官方下载地址是:https://developer.nvidia.com/tensorrt。请根据自己的CUDA和CUDNN版本选择合适的包。 ### 2. 安装TensorRT #### 2.1 解压文件 下载完成后,使用以下命令解压缩文件: ```bash tar xzvf TensorRT-6.0.1.5.-gnu.cuda-10.1.cudnn7.x.tar.gz ``` #### 2.2 配置环境变量 打开环境变量文件`.bashrc`,添加TensorRT库路径、CUDA和CUDNN的安装路径: ```bash vim ~/.bashrc ``` 在文件中添加以下内容: ```bash export LD_LIBRARY_PATH=<TensorRT解压路径>/lib:$LD_LIBRARY_PATH export CUDA_INSTALL_DIR=/usr/local/cuda-10.1 export CUDNN_INSTALL_DIR=/usr/local/cuda-10.1 ``` 保存并使改动生效: ```bash source ~/.bashrc ``` #### 2.3 安装TensorRT Python接口 进入解压后的TensorRT目录的Python子目录,并安装TensorRT的Python接口: ```bash cd TensorRT-6.0.1.5/python sudo pip3 install tensorrt-6.0.1.5-cp35-none-linux_x86_64.whl ``` #### 2.4 安装UFF UFF(Unified Format for Frameworks)是TensorRT支持的一种中间格式。安装UFF库: ```bash cd TensorRT-6.0.1.5/uff sudo pip3 install uff-0.6.5-py2.py3-none-any.whl ``` #### 2.5 安装GraphSurgeon GraphSurgeon是用于转换和操作计算图的工具,对于TensorRT的模型优化非常有用: ```bash cd TensorRT-6.0.1.5/graphsurgeon sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl ``` ### 3. 安装Yolov3-tiny-onnx-TensorRT工程所需环境 为了运行特定的TensorRT工程,比如Yolov3-tiny-onnx,还需要安装一些额外的依赖库。 #### 3.1 安装NumPy NumPy是Python科学计算的基础包,为数组处理提供了高效的数据结构: ```bash sudo pip3 install numpy ``` #### 3.2 安装ONNX ONNX(Open Neural Network Exchange)是一种开放的跨框架神经网络交换格式。确保安装与TensorRT兼容的版本: ```bash sudo pip3 install onnx==1.4.1 # 如果遇到问题,可以尝试使用豆瓣源 pip install onnx==1.4.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 3.3 安装PyCUDA PyCUDA提供了一种使用Python访问CUDA API的方法: ```bash pip install pycuda==2019.1.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 3.4 安装Pillow Pillow是Python图像处理库PIL的一个分支,支持多种图像文件格式: ```bash pip install Pillow==6.1.0 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com ``` #### 3.5 安装wget wget是一个非交互式的网络下载工具: ```bash pip install wget==3.2 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com ``` ### 结语 以上就是TensorRT的完整安装过程,包括了必要的环境变量配置和相关依赖库的安装。安装完成后,你就可以利用TensorRT对你的神经网络模型进行优化和加速,提升推理性能。在实际应用中,根据具体项目需求,可能还需要安装其他依赖库或工具,确保模型能够顺利运行。记得在完成所有安装步骤后,测试TensorRT是否正确安装,例如通过Python导入TensorRT库并查看版本信息。