简述 Adam 优化器,BN 的作用,为什么能加快收敛速度??
时间: 2023-05-20 09:03:56 浏览: 166
Adam优化算法原理详解(吴恩达深度学习笔记)
4星 · 用户满意度95%
Adam 优化器是一种基于梯度下降算法的优化器,它结合了动量法和自适应学习率的思想,能够在训练过程中自适应地调整学习率,从而更快地收敛到最优解。BN(Batch Normalization)是一种在深度神经网络中常用的技术,它通过对每个 batch 的数据进行归一化,使得网络在训练过程中更加稳定,能够加快收敛速度。BN 的作用主要有两个方面:一是解决梯度消失/爆炸的问题,二是减少对初始权重的依赖,使得网络更加鲁棒。因此,Adam 优化器和 BN 技术的结合能够加快神经网络的收敛速度。
阅读全文