QLoRA - AI用語辞典

Definition

QLoRAは、低ランク適応（LoRA）と4ビット量子化を組み合わせることで、巨大なモデルのファインチューニングに必要なメモリフットプリントを大幅に削減します。重みを4ビット形式で保存し、小さなアダプター層を追加することで、少ないリソースでも高精度な調整を可能にします。

Summary

4ビット量子化と低ランクアダプターを使用して、大規模言語モデルを効率的にファインチューニングするための手法である、量子化低ランク適応。

Key Concepts

低ランク適応
4ビット量子化
メモリ効率
ファインチューニング

Use Cases

コンシューマーGPUでのファインチューニング
リソース制約のある環境
モデルの迅速な反復開発

Code Example

1
2
3
from peft import LoraConfig, get_peft_model
config = LoraConfig(r=8, lora_alpha=32, target_modules=["q_proj", "v_proj"])
model = get_peft_model(base_model, config)