比adam更好的优化器
时间: 2024-01-25 15:11:29 浏览: 126
AdaX:一个比Adam更优秀,带”长期记忆“的优化器.rar
根据引用内容,AdaX是一个比Adam更好的优化器。它在《AdaX: Adaptive Gradient Descent with Exponential Long Term Memory》一文中被介绍。AdaX通过引入指数长期记忆来自适应地调整学习率,从而提高了优化的效果。与Adam相比,AdaX在一些任务上表现更好,并且对于超参数的选择更加稳健。
阅读全文