Definition
表現崩壊とは、特に自己教師ありのコントラスト学習フレームワークにおいて、ニューラルネットワークがすべての入力データポイントを同じ固定された出力ベクトルにマッピングするように学習してしまう現象です。これは自明な解（trivial solution）であり、モデルがデータの構造や特徴を学習できていないことを示します。これを回避するために、バッチ正規化やモーメンタムエンコーダーなどの技術が用いられます。
Summary
自己教師あり学習において、モデルが入力に対して同一の表現を出力し、識別力を失う失敗モード。
Key Concepts
- 自己教師あり学習
- コントラスト損失
- 自明な解
- 特徴学習
Use Cases
- SimCLRやMoCoモデルのデバッグ
- コントラスト損失関数の改善
- モデルの収束分析