Xavier初始化权重的表达式

Xavier初始化是一种常用的权重初始化方法，它的表达式如下：

$$
W \sim U[-\sqrt{\frac{6}{n_{in}+n_{out}}}, \sqrt{\frac{6}{n_{in}+n_{out}}}]
$$

其中，$n_{in}$ 是输入神经元的数量，$n_{out}$ 是输出神经元的数量，$U$ 表示均匀分布。这个表达式的意义是让权重在 $[-\sqrt{\frac{6}{n_{in}+n_{out}}}, \sqrt{\frac{6}{n_{in}+n_{out}}}]$ 的范围内均匀分布，以便避免梯度消失或爆炸的问题。