Regularization

Definition

構造化スパース正則化は、標準的なL1正則化を拡張し、個々の係数を独立してゼロにするのではなく、特定の構造パターンにおいてゼロになることを促進します。これは、特徴量間の関係性やグ …

構造的リスク最小化（SRM）は、過学習を防ぐためにモデルの複雑さを制御することで期待リスクを最小化する手法です。これは経験的リスク最小化を拡張したもので、正則化項を追加し、モデル …

行列正則化は、スカラー正則化の概念を行列に拡張したもので、マルチタスク学習や推薦システムなどでよく使用されます。重み行列のノルム（例えば、フロベニウスノルムや核ノルム）に対して制 …

多様体正則化は、データ分布の内在的な幾何学構造を組み込むことで、従来の正則化手法を拡張したものです。高次元のデータ点が低次元の多様体上に存在するという仮定に基づき、データの幾何学 …

早期打ち切りは、勾配降下法などの反復的トレーニングプロセスで主に使用される正則化の一種です。トレーニング中、モデルのパフォーマンスは通常、トレーニングデータに対し …

ニューラルネットワークにおいて、ドロップアウトは各トレーニングステップ中にランダムなサブセットのニューロンを一時的に削除することで過学習を防ぎます。これにより、ネットワークは結合 …