Definition
自己教師あり学習は、教師信号が手動ラベリングの必要性を排除するためにデータ自体から自動的に導き出される機械学習の一分野です。モデルは通常、データ内の構造を利用して予備課題を解くことで、データの潜在表現を学習します。
Summary
自己教師あり学習とは、モデルが入力データから独自のラベルを生成し、人間の注釈なしに表現を学習する手法です。
Key Concepts
- pretextタスク（予備課題）
- マスクドモデリング
- ラベルなしデータ
- 表現学習
Use Cases
- マスクド言語モデリングによるBERTのトレーニング
- 画像埋め込みのためのコントラスト学習
- LLMにおける次のトークンの予測