Definition
层归一化通过减少内部协变量偏移来稳定训练过程，尤其在循环神经网络和Transformer架构中非常有效。与依赖于批次统计信息的批归一化不同，层归一化不依赖于批次大小。
Summary
一种技术，针对每个单独样本，对神经网络层的激活值在特征维度上进行归一化处理。
Key Concepts
- 归一化
- 内部协变量偏移
- Transformer模型
- 循环神经网络
Use Cases
- 训练BERT等Transformer模型
- 稳定RNN/LSTM的训练
- 小批量大小的深度学习
Code Example
| |