[学习笔记]各种Normalization

Normalization主要包括BatchNormalization 、LayerNormalization 、InstanceNormalization 和GroupNormalization ，以下是它们的基本原理和应用场景：

BatchNormalization ：
- 基本原理：针对每层输入进行归一化，通过调整两个参数确保归一化后的数据分布与原分布保持一致。
- 应用场景：广泛应用于卷积神经网络中，有利于加速网络收敛并减少内部协变量位移。
LayerNormalization ：
- 基本原理：对同一层的所有神经元进行归一化，而非基于batch。
- 应用场景：适用于循环神经网络和Transformer结构，有助于解决在序列数据中因长度不同导致的归一化问题。
InstanceNormalization ：
- 基本原理：对每个样本的每个channel单独进行归一化。
- 应用场景：适用于RNN、LSTM以及生成对抗网络，特别是在图像风格迁移和图像生成任务中表现优异。
GroupNormalization ：
- 基本原理：将channel分成多个组，在每个组内进行归一化。
- 应用场景：为解决BN在小批量数据下的问题而设计，对批量大小不敏感。在batch size较小时，GN更适合作为BN的替代方案，其性能稳定。

总结：不同的Normalization方法适用于不同的神经网络结构和任务。选择合适的Normalization方法可以有效提升模型的训练效率和性能。

热门标签