Kaiming初始化算法

Kaiming初始化算法，也称为He初始化，是深度学习中一种常用的权重初始化方法。它是在神经网络特别是卷积神经网络(Convolutional Neural Networks, CNNs)中用于激活函数如ReLU的情况下设计的。该算法建议对于ReLU激活函数，权重矩阵应该以标准差为`sqrt(2/n)`的方式初始化，其中n是输入特征的数量。这样做的目的是为了保持激活层的均值为0（E[w]=0），并保持梯度分布的稳定性，防止梯度消失或爆炸[^1]。

具体实现时，对于实数张量（weight matrices with real-valued entries），He初始化可以表示为：

std = np.sqrt(2 / (input_channels + output_channels))
weights = np.random.randn(output_channels, input_channels) * std

其中`input_channels`是输入特征通道数，`output_channels`是输出通道数。通过这种方式，Kaiming初始化有助于神经网络更快地收敛到较好的局部最优解。