class Affine: def __init__(self, W, b): self.W =W self.b = b self.x = None self.original_x_shape = None # 权重和偏置参数的导数 self.dW = None self.db = None def forward(self, x): # 对应张量 self.original_x_shape = x.shape x = x.reshape(x.shape[0], -1) self.x = x out = np.dot(self.x, self.W) + self.b return out def backward(self, dout): dx = np.dot(dout, self.W.T) self.dW = np.dot(self.x.T, dout) self.db = np.sum(dout, axis=0) dx = dx.reshape(*self.original_x_shape) # 还原输入数据的形状(对应张量) return dx
时间: 2024-02-14 15:22:34 浏览: 74
fangshe.rar_Affine_affine encryption _fangshe_仿射
这是一个全连接层的类实现,也称为Affine层。在类的初始化函数中,初始化该层的权重W和偏置b,并且初始化该层的输入x以及原始输入x的形状original_x_shape。在前向传播函数中,将输入x展开为二维矩阵,然后与权重W相乘并加上偏置b,得到该层的输出out。在反向传播函数中,首先计算该层的输入梯度dx,即损失函数关于该层输入的梯度,然后计算该层的权重W和偏置b的梯度dW和db。最后将输入梯度dx还原为原始输入x的形状,从而得到该层的输入梯度dx。最终返回该层的输入梯度dx。
阅读全文