ドロップアウト - AI用語辞典

Definition

ニューラルネットワークにおいて、ドロップアウトは各トレーニングステップ中にランダムなサブセットのニューロンを一時的に削除することで過学習を防ぎます。これにより、ネットワークは結合して有用な堅牢な特徴を学習することを強制されます。

Summary

ドロップアウトは、過学習を防ぐためにトレーニング中にランダムにニューロンを無視する正則化手法です。

Key Concepts

正則化
過学習防止
ニューラルネットワーク
ランダム抑制

Use Cases

ディープ順伝播型ニューラルネットワークのトレーニング
大規模言語モデルにおける汎化性能の向上
特定のニューロン経路への計算依存性の低減

Code Example

1
2
3
4
5
6
7
import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)