聚合token与token

聚合token与token是一种操作，用于将所有token上的信息进行汇聚，以获得全局特征聚合。这种操作具有以下优点：首先，它避免了对sequence中某个特定token的偏向性，因为聚合操作是对所有token进行的；其次，它可以减少token的数量，因为多个tokens可以连接成一个token，从而降低了计算量。然而，聚合操作也带来了一个问题，那就是token的长度会增加很多，因为多个tokens连接在一个token上。为了平衡计算量和维度数目，后续模型会相应地降低维度数目。在T2T中，Token to Token结构可以在浅层时建模出结构信息，并避免极值的出现。所以，聚合token与token是一种有效的操作，可以帮助建模全局特征并解决一些问题。 <span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [【解析】Token to Token Vision Transformer](https://blog.csdn.net/ViatorSun/article/details/115828629)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
- *2* [vit 中的 cls_token 与 position_embed 理解](https://blog.csdn.net/chumingqian/article/details/124660657)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]