AI用語辞典

Definition

LoRAは事前学習済みモデルの重みを凍結し、トランスフォーマーアーキテクチャの各層に学習可能な分解行列を挿入します。この低ランク行列のみを最適化することで、LoRAは大幅に減少

Summary

低ランク適応は、既存のモデル重みに学習可能なランク分解行列を注入する、パラメータ効率的なファインチューニング手法である。

Key Concepts

• パラメータ効率的ファインチューニング
• ランク分解
• 重みの凍結
• アダプターモジュール

Use Cases

• LLMのカスタマイズ
• ドメイン固有適応
• リソース制約下でのトレーニング

Code Example

1
2
3

from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32)
model = get_peft_model(base_model, config)

Related Terms

• PEFT (Parameter-Efficient Fine-Tuningの略称)
• Fine-Tuning (ファインチューニング)
• Quantization (量子化)