def sgd_momentum(w, dw, config=None): if config is None: config = {} config.setdefault('learning_rate', 1e-2) config.setdefault('momentum', 0.9) v = config.get('velocity', np.zeros_like(w)) next_w = None v = config['momentum'] * v - config['learning_rate'] * dw next_w = w + v config['velocity'] = v return next_w, config

这段代码实现了带有动量（momentum）的随机梯度下降（Stochastic Gradient Descent，SGD）的更新方法。其中，w表示待更新的参数，dw表示对应参数的梯度，config是一个包含超参数的字典，包括学习率和动量等。函数返回更新后的参数和更新后的超参数配置。具体实现是，如果config参数为空，则初始化为一个空字典。然后，如果字典中没有设置学习率和动量，则将它们设置为默认值1e-2和0.9。接着，初始化动量v为0或上一次更新时保存的动量。然后，根据带有动量的随机梯度下降的公式，更新动量v：v = momentum * v - learning_rate * dw。最后，根据更新后的动量和参数，计算下一次的参数值：next_w = w + v。更新后的参数和超参数配置被打包成一个元组返回。