没有合适的资源?快使用搜索试试~ 我知道了~
首页第六章_循环神经网络(RNN).pdf
第六章_循环神经网络(RNN).pdf
需积分: 27 190 浏览量
更新于2023-05-27
评论
收藏 5.9MB PDF 举报
时间序列数据是指在不同时间点上收集到的数据,这类数据反映了某一事物、现象等随时间的变化状态或程度。一般的神经网络,在训练数据足够、算法模型优越的情况下,给定特定的x,就能得到期望y。其一般处理单个的输入,前一个输入和后一个输入完全无关,但实际应用中,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的
资源详情
资源评论
资源推荐

第六章_循环神经网络(RNN).md
2020/7/27
1 / 30
[TOC]
第六章 循环神经⽹络(RNN)
6.1 为什么需要RNN?
时间序列数据是指在不同时间点上收集到的数据,这类数据反映了某⼀事物、现象等随时间的变化状态或程
度。⼀般的神经⽹络,在训练数据⾜够、算法模型优越的情况下,给定特定的x,就能得到期望y。其⼀般处理
单个的输⼊,前⼀个输⼊和后⼀个输⼊完全⽆关,但实际应⽤中,某些任务需要能够更好的处理序列的信息,
即前⾯的输⼊和后⾯的输⼊是有关系的。⽐如:
当我们在理解⼀句话意思时,孤⽴的理解这句话的每个词不⾜以理解整体意思,我们通常需要处理这些词连接
起来的整个序列; 当我们处理视频的时候,我们也不能只单独的去分析每⼀帧,⽽要分析这些帧连接起来的整
个序列。为了解决⼀些这样类似的问题,能够更好的处理序列的信息,RNN就由此诞⽣了。
6.2 图解RNN基本结构
6.2.1 基本的单层⽹络结构
在进⼀步了解RNN之前,先给出最基本的单层⽹络结构,输⼊是$x$,经过变换Wx+b和激活函数f得到输出y:
6.2.2 图解经典RNN结构
在实际应⽤中,我们还会遇到很多序列形的数据,如:
⾃然语⾔处理问题。x1可以看做是第⼀个单词,x2可以看做是第⼆个单词,依次类推。
语⾳处理。此时,x1、x2、x3……是每帧的声⾳信号。

第六章_循环神经网络(RNN).md
2020/7/27
2 / 30
时间序列问题。例如每天的股票价格等等。
其单个序列如下图所⽰:
前⾯介绍了诸如此类的序列数据⽤原始的神经⽹络难以建模,基于此,RNN引⼊了隐状态$h$(hidden
state),$h $可对序列数据提取特征,接着再转换为输出。
为了便于理解,先计算$h_1 $:
注:图中的圆圈表⽰向量,箭头表⽰对向量做变换。
RNN中,每个步骤使⽤的参数$U,W,b$ 相同,$h_2$的计算⽅式和$h_1 $类似,其计算结果如下:
计算$h_3$,$h_4 $也相似,可得:

第六章_循环神经网络(RNN).md
2020/7/27
3 / 30
接下来,计算RNN的输出$y_1$,采⽤$Softmax$作为激活函数,根据$y_n=f(Wx+b)$,得$y_1 $:
使⽤和$y_1 $相同的参数$V,c $,得到$y_1,y_2,y_3,y_4 $的输出结构:

第六章_循环神经网络(RNN).md
2020/7/27
4 / 30
以上即为最经典的RNN结构,其输⼊为$x_1,x_2,x_3,x_4$,输出为$y_1,y_2,y_3,y_4$,当然实际中最⼤值
为$y_n$,这⾥为了便于理解和展⽰,只计算4个输⼊和输出。从以上结构可看出,RNN结构的输⼊和输
出等长。
6.2.3 vector-to-sequence结构
有时我们要处理的问题输⼊是⼀个单独的值,输出是⼀个序列。此时,有两种主要建模⽅式:
⽅式⼀:可只在其中的某⼀个序列进⾏计算,⽐如序列第⼀个进⾏输⼊计算,其建模⽅式如下:

第六章_循环神经网络(RNN).md
2020/7/27
5 / 30
⽅式⼆:把输⼊信息X作为每个阶段的输⼊,其建模⽅式如下:
剩余29页未读,继续阅读




















hkd_ywg
- 粉丝: 4
- 资源: 94
上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制

评论0