Definition
适配器是一种参数高效的微调技术,主要用于大型语言模型和Transformer架构中。与计算成本高昂的更新所有模型权重不同,适配器仅训练少量新增参数,从而保留预训练知识并降低资源消耗。
Summary
插入预训练模型中的轻量级模块,用于针对特定下游任务进行高效微调。
Key Concepts
- 参数高效微调
- 迁移学习
- 模块化架构
- 灾难性遗忘
Use Cases
- 为客服聊天机器人微调大型语言模型
- 适配视觉模型以进行医学图像分析
- 高效部署多个领域特定的模型
A comprehensive multilingual AI terminology dictionary
适配器是一种参数高效的微调技术,主要用于大型语言模型和Transformer架构中。与计算成本高昂的更新所有模型权重不同,适配器仅训练少量新增参数,从而保留预训练知识并降低资源消耗。
插入预训练模型中的轻量级模块,用于针对特定下游任务进行高效微调。