Dropout - AI术语词典

Definition

在神经网络中，Dropout 通过在每次训练步骤中临时移除随机子集的神经元来防止过拟合。这迫使网络学习在联合使用时有用的鲁棒特征。

Summary

Dropout 是一种正则化技术，通过在训练过程中随机忽略神经元来防止过拟合。

Key Concepts

正则化
防止过拟合
神经网络
随机抑制

Use Cases

训练深层前馈神经网络
提高大型语言模型的泛化能力
减少对特定神经元路径的计算依赖

Code Example

1
2
3
4
5
6
7
import torch.nn as nn
model = nn.Sequential(
    nn.Linear(100, 50),
    nn.Dropout(0.5),
    nn.ReLU(),
    nn.Linear(50, 10)
)