tensorrt部署ubuntu

TensorRT是英伟达推出的一种高性能深度学习推理优化工具库，它专为提高深度神经网络模型在服务器端和嵌入式设备上的推理速度而设计。在Ubuntu上部署TensorRT主要包括以下几个步骤：

安装依赖：首先需要安装CUDA和cuDNN，因为TensorRT是建立在它们之上的。可以使用apt-get或者下载二进制包进行安装。

sudo apt-get update
sudo apt-get install nvidia-cuda-toolkit nvidia-docker
登录后复制

下载并解压TensorRT：访问NVIDIA官方TensorRT GitHub页面下载适合版本的TensorRT，并按照说明解压到指定目录。

配置环境变量：将TensorRT的bin目录添加到系统PATH环境变量中，以便运行其命令行工具。

测试安装：通过trtexec命令测试TensorRT是否正常工作。

部署模型：将训练好的模型转换为TensorRT支持的引擎文件（.engine），通常使用NVIDIA提供的nvcc和tensorrtconvert工具进行转换。

使用：在Ubuntu应用中集成TensorRT引擎，比如在Python应用中使用onnx-tensorrt、torch2trt等库来利用TensorRT进行加速。

相关问题

tensorrt安装ubuntu

Ubuntu系统上安装TensorRT
文件复制至系统路径
为了使TensorRT库能够在全局范围内被识别，在完成初步解压之后，需把TensorRT根目录中的/lib/下面的文件复制到 /usr/lib/下；同样地，把TensorRT根目录中的/include/下面的文件复制到 /usr/include/下[^1]。
安装Python包
进入TensorRT根目录下的python/目录可以发现存在针对不同Python版本准备好的.whl安装文件。依据所使用的Python解释器版本挑选合适的轮子文件进行安装。例如对于Python 3.10环境而言，则应选用类似名为tensorrt-8.4.1.5-cp310-none-linux_x86_64.whl这样的文件并执行如下命令来完成安装：
pip install tensorrt-8.4.1.5-cp310-none-linux_x86_64.whl
登录后复制
如果是在conda虚拟环境中操作的话，先激活对应的环境再按照上述方式前往相应位置实施安装动作即可[^2]。
版本兼容性考量
值得注意的是，在着手部署前还需确认已正确配置好与目标TensorRT版本相匹配的CUDA以及cuDNN版本，因为这些组件之间存在着严格的依赖关系。具体可参照官方文档获取详细的版本对照表以确保顺利搭建开发环境[^3]。

ModuleNotFoundError: No module named 'tensorrt' ubuntu

解决 Ubuntu 上 Python TensorRT ModuleNotFoundError 的方法
在处理 Ubuntu 系统上的 ModuleNotFoundError: No module named 'tensorrt' 问题时，需确保 TensorRT 已经正确安装并配置好环境变量。以下是详细的解决方案：
验证现有安装情况
首先确认当前环境中是否存在 TensorRT 及其版本信息：
sudo find / -name "libnvinfer.so*" 2>/dev/null
登录后复制
此命令用于查找系统内所有与 TensorRT 库文件有关的内容[^4]。
安装依赖项
对于某些情况下 SSL 模块不可用的问题，可能是因为缺少必要的 OpenSSL 开发包。可以通过以下方式来修复该类问题：
sudo apt-get update && sudo apt-get install libssl-dev
登录后复制
这一步骤有助于解决因缺失 _ssl 扩展而导致的 pip 命令失败的情况[^3]。
下载匹配版本的 Wheel 文件
根据所使用的 Python 版本下载对应的 TensorRT wheel 文件。例如，在 Python 3.6 中可以这样操作：
pip3 download https://developer.nvidia.com/nvidia_tensorrt_7234_py3 --no-deps
登录后复制
注意 URL 地址应替换为适用于目标平台的具体链接，并且要选择适合特定架构（ARM 或 x86）以及 Python 版本的 .whl 文件[^2]。
安装 TensorRT Python API
利用之前获取到的本地轮子文件完成最终安装过程：
pip3 install ./tensorflow-<version>-cp36-cp36m-linux_aarch64.whl --force-reinstall
登录后复制
此处假设已成功下载了 ARM 架构下的 Python 3.6 对应版 TensorRT whl 文件；实际应用中请依据实际情况调整路径名和参数设置。
设置环境变量
为了使程序能够找到所需的共享库，还需要更新 LD_LIBRARY_PATH 和 PYTHONPATH 这两个重要环境变量。编辑 /etc/profile.d/tensorrt.sh 添加如下内容：
export TENSORRT_DIR=/usr/local/TensorRT-7.2.3.4 # 替换成真实的安装位置
export PATH=$TENSORRT_DIR/bin:$PATH
export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$LD_LIBRARY_PATH
export PYTHONPATH=$TENSORRT_DIR/python/:$PYTHONPATH
source ~/.bashrc
登录后复制
上述脚本中的路径应当指向实际部署好的 TensorRT SDK 根目录[^1]。
通过以上步骤应该能有效解决大多数关于无法导入 TensorRT 模块的问题。然而，如果仍然存在其他异常状况，则建议进一步排查具体原因或尝试官方文档提供的更多帮助资源。