2 篇文档带有标签「batch-norm」

层归一化 (Layer Normalization, LN) 和 批归一化 (Batch Normalization, BN) 是深度学习中两种最常用的归一化技术。它们的核心目的都是为了解决 "内部协变量偏移" (Internal Covariate Shift) 问题，从而加速模型收敛并提高训练稳定性。

在深度学习里，大家简直是对 $\mu=0, \sigma=1$（均值为 0，标准差为 1）这种状态有着近乎疯狂的迷恋。