文本情感色彩分类
一．模型原理
NLP问题中的数据是时间序列数据，每个单词的出现都依赖于它的前一个单
词和后一个单词。由于这种依赖的存在，所以使用循环网络来处理这种时间序列
数据。
RNN网络结构如下：
表示t时刻或者t步，t=1,2,3,……的输入。
表示隐藏层第 t时刻或第 t步的状态，它是网络的记忆单元。其中 =
(
+ − 1),f一般为非线性的激活函数。
是第t时刻或第t步的输出。
对于基本RNN来说，它能够处理一定的短期依赖，但无法处理长期依赖问题。
当句子比较长，RNN就无法处理这种问题。因为当序列较长时，序列后部的梯度
很难反向传播到前面的序列，这就产生了梯度消失问题。当然，RNN也存在梯度
爆炸问题。
RNN本时刻的隐藏层信息只来源于当前输入和上一时刻的隐藏层信息，没有
记忆功能。为了解决RNN的长期依赖也即梯度消失问题，LSTM应运而生。LSTM
的网络结构图如下：
LSTM引入了细胞状态，并使用输入们、遗忘们、输出门三种门来保持和控制
信息。
LSTM某个timestep的计算公式如下：
= ( ∗ [ℎ −1, ] + )
= ( ∗ [ℎ −1, ] + )
= tanh( ∗ [ℎ −1, ] + )
=
∗
−1 + ∗
= ( ∗ [ℎ −1, ] + )
徕胖
- 粉丝: 146
- 资源: 4
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
评论0