分别实现ReLU层、Sigmoid层、Affine层和Softmax层的反向传播
时间: 2024-06-17 20:05:34 浏览: 139
SL-ST 差速器3D模型 SL-ST 差速器
ReLU层的反向传播:当前向传播的输入大于0时,反向传播的值为1,小于等于0时为0。
Sigmoid层的反向传播:当前向传播的输入为x,反向传播的值为sigmoid(x) * (1 - sigmoid(x))。
Affine层的反向传播:设当前向传播的输入为x,权重为w,偏置为b,反向传播的值为dx = dout * w.T;dw = x.T * dout;db = dout.sum(axis=0)。
Softmax层的反向传播:设当前向传播的输入为x,输出为y,反向传播的值为dx = dy * y_i - y_i * dy_i (i!=j),其中y_i表示softmax函数输出的第i个元素。
阅读全文