Definition
プレフィックスチューニングは、事前学習済みトランスフォーマーモデルに適応させるためのパラメータ効率的な手法です。モデルの全重みを更新する代わりに、学習可能な連続ベクトルのシーケンス（プレフィックス）を入力シーケンスの先頭に付加します。これにより、固定されたバックボーンモデルに対して少量のパラメータのみを更新することで、特定タスクへの適応を可能にし、計算コストとメモリ使用量を大幅に削減します。
Summary
トランスフォーマー層の入力に学習可能な連続ベクトルを追加し、パラメータ効率的にファインチューニングする方法。
Key Concepts
- パラメータ効率的なチューニング
- ソフトプロンプト
- トランスフォーマー層
- 凍結バックボーン
Use Cases
- ファースショット学習への適応
- 限られたリソースでのマルチタスク学習
- ニッチなドメイン向けLLMのカスタマイズ