MoCo queue
时间: 2023-08-18 22:11:26 浏览: 151
MoCo中的queue是利用队列数据结构来存储字典的一部分,用于代替传统的内存库(memory bank)。这种设计使得字典大小与batch size解耦,也保证了参数的平稳更新,从而保持了字典的一致性。具体来说,队列的大小可以设置得很大,而在每次模型前向过程中,当前batch的特征会被添加到队列中,同时最早的一个batch的特征会被移出队列。由于队列的先入先出特性,引入队列的操作后,字典的大小可以设置得很大,而不需要每次迭代都更新所有元素。这样的设计使得只使用一个普通的GPU也能训练出很好的模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [MoCo v1原理解析](https://blog.csdn.net/qq_42718887/article/details/113834840)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [自监督学习-MoCo-论文笔记](https://blog.csdn.net/qq_39802199/article/details/122364432)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]
阅读全文