windows安装TensorRT

时间: 2023-11-18 08:02:43 浏览: 89

PDF

TensorRT安装

TensorRT安装以及相关配置看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR **TensorRT安装详解** 在深度学习领域，TensorRT是一个高效的高性能推理引擎，它能够优化和加速神经网络模型的运行。本文将详细介绍如何安装TensorRT及其相关的配置步骤。 ### 1. 下载TensorRT TensorRT提供了多种安装方式，包括通过NVIDIA的apt仓库、Docker容器以及Python包管理器等。但为了保证灵活性和可控性，建议采用下载tar包的方式进行安装。官方下载地址是：https://developer.nvidia.com/tensorrt。请根据自己的CUDA和CUDNN版本选择合适的包。 ### 2. 安装TensorRT #### 2.1 解压文件下载完成后，使用以下命令解压缩文件： ```bash tar xzvf TensorRT-6.0.1.5.-gnu.cuda-10.1.cudnn7.x.tar.gz ``` #### 2.2 配置环境变量打开环境变量文件`.bashrc`，添加TensorRT库路径、CUDA和CUDNN的安装路径： ```bash vim ~/.bashrc ``` 在文件中添加以下内容： ```bash export LD_LIBRARY_PATH=<TensorRT解压路径>/lib:$LD_LIBRARY_PATH export CUDA_INSTALL_DIR=/usr/local/cuda-10.1 export CUDNN_INSTALL_DIR=/usr/local/cuda-10.1 ``` 保存并使改动生效： ```bash source ~/.bashrc ``` #### 2.3 安装TensorRT Python接口进入解压后的TensorRT目录的Python子目录，并安装TensorRT的Python接口： ```bash cd TensorRT-6.0.1.5/python sudo pip3 install tensorrt-6.0.1.5-cp35-none-linux_x86_64.whl ``` #### 2.4 安装UFF UFF（Unified Format for Frameworks）是TensorRT支持的一种中间格式。安装UFF库： ```bash cd TensorRT-6.0.1.5/uff sudo pip3 install uff-0.6.5-py2.py3-none-any.whl ``` #### 2.5 安装GraphSurgeon GraphSurgeon是用于转换和操作计算图的工具，对于TensorRT的模型优化非常有用： ```bash cd TensorRT-6.0.1.5/graphsurgeon sudo pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl ``` ### 3. 安装Yolov3-tiny-onnx-TensorRT工程所需环境为了运行特定的TensorRT工程，比如Yolov3-tiny-onnx，还需要安装一些额外的依赖库。 #### 3.1 安装NumPy NumPy是Python科学计算的基础包，为数组处理提供了高效的数据结构： ```bash sudo pip3 install numpy ``` #### 3.2 安装ONNX ONNX（Open Neural Network Exchange）是一种开放的跨框架神经网络交换格式。确保安装与TensorRT兼容的版本： ```bash sudo pip3 install onnx==1.4.1 # 如果遇到问题，可以尝试使用豆瓣源 pip install onnx==1.4.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 3.3 安装PyCUDA PyCUDA提供了一种使用Python访问CUDA API的方法： ```bash pip install pycuda==2019.1.1 -i http://pypi.douban.com/simple --trusted-host pypi.douban.com ``` #### 3.4 安装Pillow Pillow是Python图像处理库PIL的一个分支，支持多种图像文件格式： ```bash pip install Pillow==6.1.0 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com ``` #### 3.5 安装wget wget是一个非交互式的网络下载工具： ```bash pip install wget==3.2 -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com ``` ### 结语以上就是TensorRT的完整安装过程，包括了必要的环境变量配置和相关依赖库的安装。安装完成后，你就可以利用TensorRT对你的神经网络模型进行优化和加速，提升推理性能。在实际应用中，根据具体项目需求，可能还需要安装其他依赖库或工具，确保模型能够顺利运行。记得在完成所有安装步骤后，测试TensorRT是否正确安装，例如通过Python导入TensorRT库并查看版本信息。

在Windows上安装TensorRT需要进行以下几个步骤： 1. 安装CMake，配置C/C++环境，安装Visual Studio 2019； 2. 下载并解压TensorRT； 3. 将TensorRT的头文件和库文件复制到CUDA的安装目录下； 4. 编译TensorRT的示例程序； 5. 测试TensorRT的示例程序。具体步骤如下： 1. 安装CMake，配置C/C++环境，安装Visual Studio 2019； 2. 下载TensorRT并解压缩； 3. 将TensorRT的头文件和库文件复制到CUDA的安装目录下，具体操作为： a. 将TensorRT-7.2.3.4\include中的头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\include； b. 将TensorRT-7.2.3.4\lib中的所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\lib\x64； c. 将TensorRT-7.2.3.4\lib中的所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin； 4. 打开TensorRT的示例程序sample_mnist.sln，选择Visual Studio 2019 (v142)作为平台工具集，重新生成工程； 5. 进入TensorRT-7.2.3.4\data\mnist目录，执行python download_pgms.py； 6. 进入TensorRT-7.2.3.4\bin目录，使用cmd执行sample_mnist.exe --datadir=d:\path\to\TensorRT-7.0.0.11\data\mnist\，如果执行成功则说明TensorRT配置成功。可能存在的问题是无法打开包括文件"cuda_runtime.h"，这是因为CUDA的路径没有正确配置。可以尝试将CUDA的路径添加到系统环境变量中，或者在Visual Studio中设置CUDA的路径。

阅读全文

相关推荐

CSDN会员

开通CSDN年卡参与万元壕礼抽奖

海量 VIP免费资源千本正版电子书商城会员专享价千门课程&专栏

全年可省5,000元立即开通