orthogonal初始化

Orthogonal初始化是一种权重初始化方法，它可以使得神经网络的权重矩阵具有正交性质，从而有助于提高网络的训练效果。具体来说，Orthogonal初始化会随机生成一个正交矩阵，然后将其复制到权重矩阵中。这种方法在循环神经网络中尤为常用。