深度tensor神经网络：结构改进与大词汇语音识别提升

深度神经网络（Deep Neural Networks, DNNs）在近年来的研究中展现出强大的潜力，特别是在大规模词汇语音识别领域。本文献《深度张量神经网络及其在大词汇语音识别中的应用》由IEEE高级会员Dong Yu、IEEE会士Li Deng和IEEE成员Frank Seide共同撰写，深入探讨了对传统深度神经网络进行结构改进的方法，即深度张量神经网络（Deep Tensor Neural Network, DTNN）。 在传统的深度神经网络中，每一层通常处理输入信号并通过线性变换将其映射到下一层。然而，CD-DNN-HMMs（上下文依赖的深度神经网络隐马尔可夫模型）已经显示出在处理复杂任务时的优势，尤其是在大词汇量语音识别中。DTNN在此基础上进行了创新，主要体现在两个关键层面： 首先，DTNN引入了一种双投影（Double Projection, DP）层。在这个层中，每个输入向量被分别投影到两个线性子空间，这使得网络能够捕获更丰富的特征表示。这种结构增加了模型的表达能力，有助于处理更复杂的模式和上下文信息。 其次，DTNN包含了一个名为“张量层”的特殊结构，它将两个子空间的投影进行交互，共同预测深度架构中的下一层。这种设计允许不同维度的信息协同工作，增强了网络对数据的建模精度。 为了便于训练，论文作者还提出了一种方法，将张量层与传统的sigmoid层进行映射，使其能够在类似的框架下进行学习。这样，DTNN可以看作是常规DNN的一种增强版本，其中融入了DP层作为额外的学习模块。使用反向传播（Backpropagation, BP）算法进行训练，DTNN能够在保持模型性能的同时，显著提升分类精度，特别是在处理大规模语音识别任务时，其优越性更加凸显。 本文的核心贡献在于深度张量神经网络的设计与实现，以及如何通过结构优化提升深度学习模型在语音识别领域的表现。这些改进对于推动深度学习在实际应用中的性能提升具有重要意义。