Definition
提示微调涉及在预训练语言模型的输入层添加可训练的软提示(连续向量),同时保持底层模型参数冻结。这种方法允许在几乎不增加计算成本的情况下,使模型适应特定任务或领域,特别适用于资源受限的场景。
Summary
一种参数高效的微调方法,通过优化连续的输入嵌入(embeddings)而非更新整个模型权重来调整模型。
Key Concepts
- 软提示 (Soft Prompts)
- 参数效率
- 冻结权重
- 少样本学习 (Few-shot Learning)
Use Cases
- 针对特定领域适配大语言模型
- 低资源环境下的微调
- 多任务学习优化