Recurrent Neural Networks Tutorial (RNN)



网址(DL/NLP)：hp://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduc"on-to-rnns/

P a r t 1 – I n t r o d u c tion to RNNs



 !

"!#$

% " & 

!'

%!&!'2$

""%

!/

!0%/$

# %

//&#%!

"134&

""!

 !"! 

$12/$

""!

recurrent"!!!

5$"1

"67!

""!!!

"5$""

!8'

A recurrent neural network and the unfolding in time of the computation involved in its forward

computation. Source: Nature

%""unrolled!!

   67! 

"

' %! 

+ $5:$

;;

  2#$!#

"!""

" 

%!'

 <! ! 

=!!$3

>%"!



 %"$"

"2#$!

":$!

/$%!!

$!"5

1.2 What can RNNs do?

1

L a n g u a ge Modeling  a n d G e n e r a t i n g T e x t

-5!""!

0$

!0%&""

1&>!""#

generative$#"!

""1

!>05!

&!#$5!

? 

0%5!

-?5!

@1>

!$":!

5!!5

RNN for Machine Translation. Image Source: http://cs224d.stanford.edu/lectures/CS224d-Lecture8.pdf

 1 !/0% 

 /5/5  

 A%0 

S p e e c h R e c o gnition

-5!!$

5!""

!

Deep Visual-Semantic Alignments for Generating Image Descriptions. Source:

http://cs.stanford.edu/people/karpathy/deepimagesent/

1. 3 T r a i n i ng R N Ns

%?

"$"

"$

!$"2#$

 "*

%%%%%!

 !$ $ 

1. 4 R N N E x t en s i o ns

C!

!!?

$""!

!#分类!

" 

5$"!2

#$5"!

#5%3

!%"