手动实现TAdam算法代码

TAdam算法是Adam算法的改进版，主要是增加了两个超参数来控制梯度的缩放比例，具体算法可以参考论文《TAdam: A Robust Stochastic Gradient Optimizer》。下面是手动实现TAdam算法的代码，供参考：

import numpy as np

class TAdam:
    def __init__(self, learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8, gamma=0.1, eta=1.0):
        self.learning_rate = learning_rate
        self.beta1 = beta1
        self.beta2 = beta2
        self.epsilon = epsilon
        self.gamma = gamma
        self.eta = eta
        self.t = 0
        self.m = None
        self.v = None

    def step(self, x, gradients):
        self.t += 1
        if self.m is None:
            self.m = np.zeros_like(x)
        if self.v is None:
            self.v = np.zeros_like(x)

        # update biased first moment estimate
        self.m = self.beta1 * self.m + (1 - self.beta1) * gradients

        # update biased second raw moment estimate
        self.v = self.beta2 * self.v + (1 - self.beta2) * np.square(gradients)

        # compute unbiased first and second moment estimates
        m_hat = self.m / (1 - self.beta1 ** self.t)
        v_hat = self.v / (1 - self.beta2 ** self.t)

        # compute the adaptive learning rate
        lr = self.learning_rate / (np.sqrt(v_hat) + self.epsilon)

        # compute the adaptive gradient
        g_hat = self.eta * gradients / (self.gamma + np.abs(gradients))

        # update the parameters
        x -= lr * g_hat * np.sign(m_hat)

        return x

其中，`learning_rate`、`beta1`、`beta2`、`epsilon`、`gamma` 和 `eta` 分别表示学习率、一阶动量衰减率、二阶动量衰减率、防止除数为零的小常数、梯度缩放比例和梯度缩放比例的上限。`step()` 函数接受当前参数 `x` 和相应的梯度 `gradients`，并返回更新后的参数 `x`。

需要注意的是，这里的实现只是一种可能的实现方式，具体实现方式可能会因为应用场景和具体需求不同而有所差异。