人工神经网络：递归神经网络与FIR学习算法

"本次课程主要介绍了人工神经网络理论及其应用，特别是递归神经网络的相关算法。内容涵盖了延时神经元、时空神经元、FIR网络学习算法以及随时间演化的反向传播算法（BPTT）和实时递归学习（RTRL）等核心概念。" 在神经网络领域，递归神经网络（Recursive Neural Networks，RNN）是一种能够处理序列数据的网络结构，因其在处理时间序列问题中的强大能力而被广泛应用。递归神经网络的核心是延时单元，包括两种基本类型：FIR（Finite Impulse Response）网络和IIR（Infinite Impulse Response）网络。 FIR网络的输入输出关系是一个线性滤波器的形式，其输出是过去一段时间内输入的加权和。每个神经元延迟地响应其输入，形成了一个时间上的链式结构。FIR网络的学习算法通常采用随机梯度下降（Stochastic Gradient Descent, SGD）进行权值更新，以最小化误差函数，这个误差函数通常是输入和输出之间的差异的平方和。 IIR网络则更复杂，它的输出不仅依赖于当前输入，还依赖于过去的输出，形成了一种递归结构。这使得IIR网络能更好地捕捉长期依赖，但训练也相对复杂。 此外，课程还提及了时空神经元模型，这种模型扩展了传统神经元的概念，将时间和空间维度考虑进来，使得网络能够处理同时具有时间和空间特征的数据。 随时间演化的反向传播算法（Backpropagation Through Time, BPTT）是RNN训练中最常用的方法之一，它扩展了标准的反向传播算法，用于计算时间序列上的梯度。BPTT通过展开RNN的时间步长来处理序列，然后应用标准的反向传播算法来更新权重。 实时递归学习（Real-Time Recurrent Learning, RTRL）是另一种RNN学习算法，它在每次时间步长都更新权重，而不是等到整个序列结束。这种方法的优点是可以立即对新输入做出反应，但计算复杂度较高。 本课程深入讲解了递归神经网络的基本原理和学习算法，对于理解和应用神经网络处理时间序列问题具有重要价值。无论是FIR网络、IIR网络还是BPTT和RTRL，都是理解和实现递归神经网络的关键知识点。