LSTM及其在语音识别中的应用

经过几十年的研究与发展，语音识别建立了以隐马尔可夫模型（Hidden Markov Models，HMM）为基础的框架。近几年，在HMM基础上深度神经网络(Deep Neural Network，DNN)的应用大幅度提升了语音识别系统的性能。DNN将每一帧语音及其前后的几帧语音拼接在一起作为网络的输入，从而利用语音序列中上下文的信息。DNN中每次输入的帧数是固定的，不同的窗长对最终的识别结果会有影响。递归神经网络（Recurrent neural network，RNN）通过递归来挖掘序列中的上下文相关信息，在一定程度上克服了DNN的缺点。但是RNN在训练中很容易出现梯度消失的问题，无法记忆长时信息。长短期记忆单元（Long Short-Term Memory，LSTM）通过特定的门控单元使得当前时刻的误差能够保存下来并选择性传给特定的单元，从而避免了梯度消失的问题。本文对RNN及LSTM的基本原理进行了介绍，并且在TIMIT语音数据库上进行了实验。实验结果表明，LSTM型递归神经网络在语音识别上的可以取得较好的识别效果