注意力机制BiLSTM
时间: 2023-10-11 12:06:02 浏览: 47
注意力机制BiLSTM是在双向LSTM文本分类模型的基础上改进的,通过引入注意力机制,可以关注与决策最相关的信息。对于双向LSTM编码得到的表征向量,注意力机制能够对其进行加权求和,得到融合了注意力的输出。在实现中,Query表示最终的隐藏状态,Key和Value表示LSTM的输出。通过将注意力权重与LSTM的输出进行加权求和,得到融合了注意力的输出。这种结构能够提取每个词语的上下文特征,并将双向的特征进行拼接。最后,输出为一个特征矩阵,具有更好的表征能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *3* [NLP实战之text-Attition-BiLSTM中文文本分类](https://blog.csdn.net/vivian_ll/article/details/106236236)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* [NLP之基于Bi-LSTM和注意力机制的文本情感分类](https://blog.csdn.net/Louise_Trender/article/details/126869133)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]