cudnn benchmark
时间: 2023-08-27 21:07:22 浏览: 50
cudnn benchmark是PyTorch中的一个功能,用于设置cudnn底层库的参数。在PyTorch中,可以通过设置torch.backends.cudnn.benchmark的值为True或False来启用或禁用cudnn benchmark模式。
当torch.backends.cudnn.benchmark设置为True时,PyTorch会在启动时衡量cudnn库中多个卷积算法的速度,并选择最快的算法进行使用。这意味着在启动时会花费额外的时间进行算法配置,但在运行时可以获得更快的执行速度。适用于输入大小固定的情况下进行推理和训练。
然而,如果输入大小在每次迭代中都会发生变化,cudnn benchmark模式会在每次出现新的输入大小时重新进行算法配置,可能导致运行时间变慢。因此,在输入大小变化较大的情况下,建议将torch.backends.cudnn.benchmark设置为False来关闭该功能。
参考链接1: https://pytorch.org/docs/stable/backends.html
参考链接2: https://discuss.pytorch.org/t/what-does-torch-backends-cudnn-benchmark-do/5936
总结来说,cudnn benchmark是PyTorch中用于优化运行效率的功能,通过选择最适合当前配置的高效算法来加速计算。但在输入大小变化较大的情况下,可能会影响运行效果,因此可以根据实际情况选择是否使用该功能。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [torch.backends.cudnn.benchmark的用法](https://blog.csdn.net/leviopku/article/details/121661020)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *2* [浅谈pytorch torch.backends.cudnn设置作用](https://download.csdn.net/download/weixin_38695061/13736911)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
- *3* [【pytorch系列】 torch.backends.cudnn系列用法](https://blog.csdn.net/sazass/article/details/116600234)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"]
[ .reference_list ]
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)