低秩自适应 (LoRA) - AI术语词典

Definition

LoRA冻结预训练模型的权重，并在Transformer架构的每一层中插入可训练的分解矩阵。通过仅优化这些低秩矩阵，LoRA显著减少

Summary

低秩自适应是一种参数高效的微调方法，它将可训练的秩分解矩阵注入现有模型权重中。

Key Concepts

参数高效微调
秩分解
权重冻结
适配器模块

Use Cases

定制大语言模型
领域特定适配
资源受限的训练环境

Code Example

1
2
3
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)