Python代码实现Adam算法

以下是Python代码实现Adam算法：

import numpy as np

def adam(grad_func, x_init, alpha=0.001, beta1=0.9, beta2=0.999, eps=1e-8, num_iters=1000):
    # Initialize variables
    x = x_init
    m = np.zeros_like(x)
    v = np.zeros_like(x)
    t = 0

    # Optimization loop
    for i in range(num_iters):
        t += 1
        g = grad_func(x)

        # Update biased first moment estimate
        m = beta1 * m + (1 - beta1) * g

        # Update biased second raw moment estimate
        v = beta2 * v + (1 - beta2) * (g ** 2)

        # Compute bias-corrected first moment estimate
        m_hat = m / (1 - beta1 ** t)

        # Compute bias-corrected second raw moment estimate
        v_hat = v / (1 - beta2 ** t)

        # Update parameters
        x -= alpha * m_hat / (np.sqrt(v_hat) + eps)

    return x

这是一个实现Adam算法的Python代码，可以用于优化目标函数。其中，grad_func是目标函数的梯度函数，x_init是优化变量的初始值，alpha是学习率，beta1和beta2是两个指数加权平均的系数，eps是一个小常数，num_iters是迭代次数。