バッチ正規化 - AI用語辞典

Definition

この手法は、トレーニング中の各ミニバッチ内で活性化値の平均を0、分散を1に調整・スケーリングします。内部共変量シフトを軽減し、より高い学習率の使用や高速な収束を可能にします。

Summary

バッチ正規化は、ミニバッチ全体にわたって層の入力を正規化し、ニューラルネットワークのトレーニングを安定させ、加速させる手法です。

Key Concepts

内部共変量シフト
ミニバッチ統計量
勾配の安定化
正則化効果

Use Cases

ディープニューラルネットワーク
畳み込みニューラルネットワーク (CNN)
トレーニングの最適化

Code Example

1
2
3
4
5
6
import torch.nn as nn
layer = nn.Sequential(
    nn.Linear(10, 20),
    nn.BatchNorm1d(20),
    nn.ReLU()
)