BatchNormalization的作用

BatchNormalization的作用是对神经网络的输入数据进行归一化处理，以解决训练数据与测试数据分布不同的问题，提高网络的泛化能力。此外，BatchNormalization还可以固定每个隐层节点的激活输入分布，避免"Internal Covariate Shift"问题和梯度消失问题，加速训练收敛过程。具体来说，BatchNormalization通过将隐层神经元激活输入从变化不拘一格的正态分布拉回到均值为0，方差为1的正态分布，使得大部分激活值落入非线性函数的线性区内，远离导数饱和区，从而加速训练过程。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [深度学习—BN的理解（一）](https://blog.csdn.net/dbsggal90047018/article/details/101609333)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]