tensorrt算子融合

TensorRT算子融合是指通过对网络层间的横向或纵向合并，将卷积、偏置和激活等层合并成一个更简化的层结构，从而减少整个模型的层数、提高模型的大小、速度和效率。横向合并可以将卷积、偏置和激活层合并为一个CBR结构，只占用一个CUDA核。纵向合并可以将结构相同但权值不同的层合并为一个更宽的层，也只占用一个CUDA核心。这种优化是基于GPU硬件设计的，并且更适合并行计算和密集型计算。TensorRT会尽量直接执行大块矩阵运算，对于通道数较多的卷积层和反卷积层进行较大程度的优化。相比之下，对于复杂的小操作（如reshape、gather、split等），TensorRT的优化力度就不那么明显了。有关TensorRT算子融合的更多细节可以在TensorFlow的GitHub库中找到。 [3<em>1</em><em>2</em><em>3</em>
#### 引用[.reference_title]
- *1* [TensorRT：1.基本概念和环境准备](https://blog.csdn.net/mist99/article/details/119869087)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item]
- *2* [TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！](https://blog.csdn.net/javastart/article/details/128287548)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item]
- *3* [CUDA与TensorRT(5)之TensorRT介绍](https://blog.csdn.net/qq_42692305/article/details/128749146)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}} ] [.reference_item]
[ .reference_list ]