ResNet+Identity Mapping Initialization公式

ResNet+Identity Mapping Initialization公式如下：

假设网络中某一层的输入为x，输出为H(x)，则该层的初始化方式为：

H(x) = f(x) + x

其中，f(x)为该层的非线性变换，可以是卷积、全连接等。

初始化方式为：

xavier初始化：W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in/2)
其中fan_in为输入神经元数量，fan_out为输出神经元数量。

如果使用ReLU激活函数，则可以使用He初始化：W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)

对于ResNet的Identity Mapping初始化，可以使用如下方式：

W = np.random.randn(fan_in, fan_out) / np.sqrt(fan_in)
b = np.zeros((1, fan_out))
H(x) = f(x) + Wx + b

其中，W是该层的权重参数，b是该层的偏置参数。