Definition
予測学習とは、明示的な人間のラベルなしに、観測された入力から未観測のデータポイントを推論するようにニューラルネットワークを訓練するプロセスです。言語モデルにおける次トークンの予測や、画像におけるマスクされた領域の復元などのタスクを解くことで、モデルはデータの構造化された表現を学習します。
Summary
モデルが入力データの欠落部分を予測することで表現を学習する自己教師あり手法。
Key Concepts
- 自己教師あり学習
- マスクドモデリング
- 表現学習
- ラベルなしデータ
Use Cases
- 大規模言語モデルの事前学習
- 画像インペインティング（欠損部分補完）タスク
- 時系列データにおける異常検知