Definition
レイヤー正規化は内部共変量シフトを軽減することでトレーニングを安定させ、特にリカレントネットワークやトランスフォーマーアーキテクチャで効果的です。バッチ統計に依存するバッチ正規化とは異なり、サンプルごとに独立して計算されます。
Summary
各個別サンプルについて、ニューラルネットワークの層の活性化を特徴量次元全体で正規化する手法。
Key Concepts
- 正規化
- 内部共変量シフト
- トランスフォーマーモデル
- RNN（再帰型ニューラルネットワーク）
Use Cases
- BERTのようなトランスフォーマーモデルのトレーニング
- RNN/LSTMのトレーニング安定化
- 小バッチサイズでのディープラーニング
Code Example
| |