突触权重向量的初始化

突触权重向量的初始化是神经网络中非常重要的一步，它决定了神经网络的初始状态和学习过程中的收敛性。通常情况下，突触权重向量的初始化可以使用以下几种方法：

1. 随机初始化：将突触权重向量初始化为一个小的随机数。这种方法适用于大多数情况，可以帮助网络避免陷入局部最优解。常见的随机初始化方法包括从均匀分布或高斯分布中随机采样。

2. 零初始化：将突触权重向量初始化为零。这种方法适用于某些特定情况，例如当网络的输入特征已经被预处理为具有零均值的情况。

3. Xavier初始化：根据突触权重向量的输入和输出维度，使用特定的公式来初始化权重。Xavier初始化方法可以帮助网络在前向传播和反向传播过程中保持梯度的稳定性。

4. He初始化：类似于Xavier初始化，但是根据突触权重向量的输入维度来初始化权重。He初始化方法适用于使用ReLU激活函数的网络。

下面是一个使用随机初始化方法初始化突触权重向量的例子：

import numpy as np

# 初始化突触权重向量
input_size = 784
hidden_size = 100
output_size = 10

# 随机初始化隐藏层和输出层的权重
W1 = np.random.randn(input_size, hidden_size) * 0.01
b1 = np.zeros(hidden_size)
W2 = np.random.randn(hidden_size, output_size) * 0.01
b2 = np.zeros(output_size)

# 打印初始化后的权重
print("隐藏层权重：", W1)
print("隐藏层偏置：", b1)
print("输出层权重：", W2)
print("输出层偏置：", b2)