nn.Parameter
时间: 2023-09-28 18:07:05 浏览: 52
nn.Parameter是PyTorch中的一个类,用于将一个Tensor注册为可学习的参数。这意味着被nn.Parameter包装的Tensor会被加入到模型的parameters列表中,并且在训练过程中会与其他参数一起进行更新。 [1 [3]
在给定的代码示例中,通过使用nn.Parameter,可以将positional embedding和class token这两个需要随着网络训练学习的参数注册为可学习的参数。这样,在优化器中进行训练时,这两个参数会被自动更新。 例如,在使用Adam优化器时,通过将net_vit.parameters()作为参数传递给Adam的构造函数,可以确保包含这两个参数在内的所有模型参数都会被优化器进行更新。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [PyTorch中的torch.nn.Parameter() 详解](https://blog.csdn.net/weixin_44966641/article/details/118730730)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]