A Note on BPTT for LSTM LM
Tomonari MASADA @ Nagasaki University
January 15, 2015
1 Forward pass
K is the vocabulary size. N is the number of hidden layers. D
n
is the number of hidden units at the nth
layer. The input sequence is X ≡ (x
1
, . . . , x
T
), where each x
t
≡ (x
t1
, . . . , x
tK
)
⊤
is a one-hot vector.
• ι : input gates
• ϕ : forget gates
• η : cells
• ω : output gates
• h : cell outputs
f and g are sigmoid functions.
ι
n
t
= f (W
n
xι
x
t
+ W
n
h
−
ι
h
n−1
t
+ W
n
hι
h
n
t−1
+ w
n
ηι
⊙ η
n
t−1
+ b
n
ι
) ≡ f(a
n
ι,t
) (1)
ϕ
n
t
= f (W
n
xϕ
x
t
+ W
n
h
−
ϕ
h
n−1
t
+ W
n
hϕ
h
n
t−1
+ w
n
ηϕ
⊙ η
n
t−1
+ b
n
ϕ
) ≡ f(a
n
ϕ,t
) (2)
η
n
t
= ϕ
n
t
⊙ η
n
t−1
+ ι
n
t
⊙ g(W
n
xη
x
t
+ W
n
h
−
η
h
n−1
t
+ W
n
hη
h
n
t−1
+ b
n
η
) ≡ ϕ
n
t
⊙ η
n
t−1
+ ι
n
t
⊙ g(a
n
η,t
) (3)
ω
n
t
= f (W
n
xω
x
t
+ W
n
h
−
ω
h
n−1
t
+ W
n
hω
h
n
t−1
+ w
n
η ω
⊙ η
n
t
+ b
n
ω
) ≡ f(a
n
ω,t
) (4)
h
n
t
= ω
n
t
⊙ g(η
n
t
) , (5)
where ⊙ is the element-wise product. The superscript n means the n-th layer.
These can be rewritten for d = 1, . . . , D
n
separately:
ι
n
t,d
= f (w
n⊤
xι,d
x
t
+ w
n⊤
h
−
ι,d
h
n−1
t
+ w
n⊤
hι,d
h
n
t−1
+ w
n
η ι,d
η
n
t−1,d
+ b
n
ι,d
) ≡ f(a
n
ι,t,d
) (6)
ϕ
n
t,d
= f (w
n⊤
xϕ,d
x
t
+ w
n⊤
h
−
ϕ,d
h
n−1
t
+ w
n⊤
hϕ,d
h
n
t−1
+ w
n
ηϕ,d
η
n
t−1,d
+ b
n
ϕ,d
) ≡ f(a
n
ϕ,t,d
) (7)
η
n
t,d
= ϕ
n
t,d
η
n
t−1,d
+ ι
n
t,d
g(w
n⊤
xη ,d
x
t
+ w
n⊤
h
−
η,d
h
n−1
t
+ w
n⊤
hη,d
h
n
t−1
+ b
n
η,d
) ≡ ϕ
n
t,d
η
n
t−1,d
+ ι
n
t,d
g(a
n
η ,t,d
) (8)
ω
n
t,d
= f (w
n⊤
xω,d
x
t
+ w
n⊤
h
−
ω ,d
h
n−1
t
+ w
n⊤
hω ,d
h
n
t−1
+ w
n
η ω,d
η
n
t,d
+ b
n
ω,d
) ≡ f(a
n
ω,t,d
) (9)
h
n
t,d
= ω
n
t,d
g(η
n
t,d
) . (10)
Word probabilities for each t are obtained as follows:
ˆ
y
t
= b
y
+
N
n=1
W
n
hy
h
n
t
, y
t
≡
exp(
ˆ
y
t,k
)
K
k
′
=1
exp(
ˆ
y
t,k
′
)
. (11)
These can be rewritten for k = 1, . . . , K separately:
ˆy
t,k
= b
y,k
+
N
n=1
D
n
d=1
w
n
hy,kd
h
n
t,d
, y
t,k
≡
exp(ˆy
t,k
)
K
k
′
=1
exp(ˆy
t,k
′
)
. (12)
1
brucejiang1314
- 粉丝: 0
- 资源: 3
我的内容管理
收起
- 我的资源
快来上传第一个资源
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助
会员权益专享
最新资源
- VMP技术解析：Handle块优化与壳模板初始化
- C++ Primer 第四版更新：现代编程风格与标准库
- 计算机系统基础实验：缓冲区溢出攻击(Lab3)
- 中国结算网上业务平台：证券登记操作详解与常见问题
- FPGA驱动的五子棋博弈系统：加速与创新娱乐体验
- 多旋翼飞行器定点位置控制器设计实验
- 基于流量预测与潮汐效应的动态载频优化策略
- SQL练习：查询分析与高级操作
- 海底数据中心散热优化：从MATLAB到动态模拟
- 移动应用作业：MyDiaryBook - Google Material Design 日记APP
- Linux提权技术详解：从内核漏洞到Sudo配置错误
- 93分钟快速入门 LaTeX：从入门到实践
- 5G测试新挑战与罗德与施瓦茨解决方案
- EAS系统性能优化与故障诊断指南
- Java并发编程：JUC核心概念解析与应用
- 数据结构实验报告：基于不同存储结构的线性表和树实现
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
