李宏毅2020机器学习笔记attention

在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成模型中，主要讲述了如何生成一个有结构的对象。接下来介绍了注意力机制，包括一些有趣的技术，比如图片生成句子等。在生成的技巧部分，提到了一些新的技术以及可能遇到的问题和偏差，并给出了相应的解决方案。最后，稍微提到了强化学习。其中还提到了在输出"machine"这个单词时，只需要关注"机器"这个部分，而不必考虑输入中的"学习"这个部分。这样可以得到更好的结果。另外，还提到了关于产生"ei"的方法，其中有研究应用了连续动态模型自注意力(Self-attention)来学习位置编码的方法。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* [2020李宏毅机器学习笔记-Condition Generation by RNN&Attention](https://blog.csdn.net/zn961018/article/details/117593813)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *3* [李宏毅机器学习学习笔记：Self-attention](https://blog.csdn.net/weixin_44455827/article/details/128094176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]