词嵌入、SimpleRNN、LSTM

词嵌入是一种将离散的词语映射到连续的向量空间中的技术，它可以将词语的语义信息编码为向量表示。通过词嵌入，我们可以将文本数据转化为机器学习模型可以处理的数值形式。

SimpleRNN是一种循环神经网络模型，它在每个时间步将当前输入和前一个时间步的隐藏状态作为输入，通过一个简单的线性变换和非线性激活函数来更新隐藏状态。然而，SimpleRNN存在梯度消失的问题，导致难以学习长期依赖关系。

LSTM（长短期记忆网络）是一种改进的循环神经网络模型，它通过引入门控机制来解决SimpleRNN的梯度消失问题。LSTM具有更复杂的结构，包括输入门、遗忘门和输出门，这些门控制着信息的流动和记忆的更新，使得LSTM能够更好地捕捉长期依赖关系。

相比于SimpleRNN，LSTM在处理序列数据时表现更好，尤其是在需要考虑长期依赖关系的任务中。因此，当我们需要使用循环神经网络模型时，通常会选择LSTM而不是SimpleRNN。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* [RNN模型与NLP应用笔记(4)：LSTM模型详解与完整代码实现](https://blog.csdn.net/weixin_45012204/article/details/124655323)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [LSTM介绍，并以keras为架构使用LSTM层实现IMDB电影评论分类（含代码）](https://blog.csdn.net/ximu__l/article/details/127528994)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]