数据集:Jackrong/Qwen3.5 Reasoning 700X
Definition
此条目指代标识符为 ‘Jackrong/Qwen3.5 Reasoning 700X’ 的特定数据集仓库。它通常用于监督微调（SFT）或强化学习等场景，旨 …
Fine-Tuning
监督微调
Definition
监督微调（SFT）涉及采用大型预训练模型（如语言模型），并在较小的高质量、针对特定下游任务标注的数据集上继续训练该模型。
Summary
在特定数据集上进一步训练预训练模型，使其 …
QLoRA
Definition
QLoRA 将低秩适应（LoRA）与 4 位量化相结合，显著减少了微调大规模模型所需的内存占用。通过将权重存储为 4 位格式并添加训练好的低秩适配器，该方法在保持性能的同时降低了 …
低秩自适应 (LoRA)
Definition
LoRA冻结预训练模型的权重，并在Transformer架构的每一层中插入可训练的分解矩阵。通过仅优化这些低秩矩阵，LoRA显著减少
Summary
低秩自适应是一种参数高效的微 …