Unsloth
Definition
Unsloth 是一款专为优化大语言模型（LLM）的微调和部署而设计的工具。它通过替换标准的 PyTorch 操作，实现了显著的速度提升和内存占用减少。
Training
人机互惠学习
Definition
这种方法超越了简单的人机回环标注。它涉及双向知识转移：人类纠正模型错误，同时模型协助人类识别模式或自动化任务，从而实现持续的协同改进。
Summary
一种协作学习范式，人类和机 …
离线学习
Definition
也称为批量学习，离线学习涉及使用先前收集的固定数据集来训练机器学习模型。与在线学习不同，模型不会根据新数据实时更新其参数，而是定期重新训练。
Summary
离线学习是一种训练范 …
多任务学习
Definition
该技术利用相关任务之间共享的归纳偏置来提高学习效率 and 性能。通过训练单个模型同时执行多项任务，模型能够学习到更具通用性的特征表示，从而提升整体表现。
Summary
多任务 …
混合精度训练
Definition
混合精度训练（MPT）在神经网络训练过程中结合使用半精度（FP16）和全精度（FP32）数据类型。通过使用FP16处理大多数操作，MPT减少了内存占用并提
Summary
一种使 …
学习曲线
Definition
通常，学习曲线在y轴上显示训练得分和验证得分，在x轴上显示训练样本数量或迭代次数。它有助于诊断模型是否存在高偏差（欠拟合）或高方差（过拟合）问题。
Summary
学习曲线将模型 …
知识蒸馏
Definition
知识蒸馏是一种机器学习方法，用于将庞大复杂的神经网络（教师模型）压缩为更小、更高效的网络（学生模型）。学生模型经过训练以模仿教师模型的行为。
Summary
知识蒸馏是一种模型压 …
Imatrix
Definition
Imatrix（Importance Matrix，重要性矩阵）是一种主要与基于GGML的大语言模型（LLM）训练和量化相关的技术。它计算损失函数关于模型参数的二阶导数（即海森矩 …
超参数
Definition
与模型参数（权重和偏置）不同，后者是在训练过程中从数据中学习得到的，而超参数是实践者在训练开始前选择的外部设置。它们控制着模型的结构、学习过程以及正则化强度等关键方面。 …
超参数调优
Definition
超参数调优涉及评估不同的超参数集，以找到能产生最高模型准确率或最低错误率的配置。常见的策略包括网格搜索、随机搜索以及基于贝叶斯优化的方法，旨在通过迭代改进来寻找最优解。 …
顿悟学习
Definition
顿悟学习（Grokking）是指深度学习中观察到的一种反直觉行为：模型在训练数据上长时间过拟合，表现出较差的泛化能力，但在经过漫长的训练周期后，突然在测试集上实现近乎完美的泛化。 …
微调过的
Definition
微调是指采用已在大型通用数据集上训练好的模型，并在较小、特定领域的数据集上继续训练的技术。这使得模型能够保留通用知识的同时，针对特定任务进行优化和适配。
Summary
在特定数 …
轮次 (Epoch)
Definition
在机器学习中，一个轮次代表对整个训练数据集的一次单遍迭代。在每个轮次中，模型处理所有训练样本，通过反向传播更新其权重，并评估损失函数。增加轮次数通常可以提高模型性能，但过多轮次可 …
急切学习
Definition
在急切学习中，系统在遇到新实例之前，会根据训练数据构建一个通用的目标函数或模型。这与延迟学习形成对比，后者将泛化过程推迟到查询阶段，即直到需要预测时才进行计算。
Summary
…
早停法
Definition
早停法是一种主要用于梯度下降等迭代训练过程中的正则化形式。在训练期间，模型在训练数据上的表现通常会持续改善，但在验证集上的表现可能会在某个点后开始恶化（表明出现过拟合）。早停法通 …
领域自适应
Definition
领域自适应解决了训练数据和测试数据来自不同分布的挑战。通过对齐有标签的源领域和无标签或稀疏标签的目标领域之间的特征表示，该方法能够提升模型的泛化能力。
Summary
一种通过利 …
宪法人工智能
Definition
宪法人工智能是一种框架，旨在使大型语言模型与人类价值观保持一致，而无需在每个步骤都完全依赖人类反馈。它涉及创建一套高层级的“宪法”原则，让模型根据这些原则进行自我修正和对齐。 …
学徒学习
Definition
学徒学习，也称为基于演示的逆强化学习，使智能体能够通过观察专家行为来获取技能，而不是完全依赖奖励函数。
Summary
一种强化学习方法，智能体通过模仿专家的演示来学习策略。 …
对抗机器学习
Definition
该领域既包括破坏模型的进攻性技术，也包括加固模型的防御策略。它涉及在对抗样本上训练模型以提高其韧性，这一过程被称为对抗训练。
Summary
对抗机器学习是一个研究领域，旨在研究 …
监督微调
Definition
监督微调（SFT）涉及采用大型预训练模型（如语言模型），并在较小的高质量、针对特定下游任务标注的数据集上继续训练该模型。
Summary
在特定数据集上进一步训练预训练模型，使其 …
监督学习
Definition
在监督学习中，算法在带标签的数据集上进行训练，意味着每个输入示例都与正确的输出配对。目标是让模型学习输入与输出之间的潜在关系。
Summary
一种机器学习范式，模型基于带标签的 …
自监督学习
Definition
自监督学习是一种技术，算法从无标签数据本身创建监督信号，通常通过预测输入的缺失部分来实现。它弥合了无监督学习和…
Summary
一种训练方法，模型从输入数据中生成 …
损失函数
Definition
损失函数也被称为成本函数或误差函数，它提供一个标量值，指示模型的执行表现。在训练过程中，优化算法利用该值来计算梯度，从而更新模型参数以最小化误差。
Summary
在训练期间量化 …
学习率
Definition
学习率决定了在每次训练迭代中，模型权重相对于计算出的梯度更新了多少。如果学习率过高，可能导致模型在优化过程中越过最优解；如果过低，则可能导致训练收敛缓慢。
Summary
控制模 …
梯度下降
Definition
梯度下降是一种用于寻找可微函数局部最小值的一阶迭代优化算法。在机器学习中，它沿梯度的反方向更新模型权重，以逐步降低损失。
Summary
一种迭代优化算法，通过调整模型参数来最小 …
少样本学习
Definition
少样本学习旨在使模型能够从寥寥几个示例中进行泛化，模仿人类的学习效率。它通常依赖于元学习策略，即模型先在一系列相关任务上进行预训练，从而获得快速适应新任务的能力，即使这些新任务只 …
微调后的
Definition
微调涉及使用较小且针对特定任务的数据集，继续训练已在大型通用数据集上训练好的模型。该技术利用了预训练模型中习得的通用特征表示，使其能够以较低的计算成本和较少的数据量，高效地适配到 …
监督式
Definition
监督学习涉及向算法提供包含输入和正确答案（标签）的数据。模型通过最小化预测误差来学习将输入映射到输出。这项技术…
Summary
一种机器学习范式，模型在有标签的输 …
预训练
Definition
预训练是深度学习中的一种基础技术，模型从海量数据中学习广泛的特征和模式，通常无需标签。这一过程使模型能够发展出通用的知识表示，从而在后续针对特定下游任务进行微调时，仅需少量数据即 …
损失
Definition
损失函数（也称为成本函数）衡量机器学习模型的预测结果与真实标签在训练期间的匹配程度。优化算法的目标是最小化这个损失值，从而提高模型的准确性。
Summary
一个数值，用于量化模 …
指令微调
Definition
这一过程弥合了通用预训练与特定任务表现之间的差距。通过让模型接触多样化的指令-响应对，它学会了泛化到未见过的任务，而无需针对每个新任务进行额外的调整（注：原文截断，此处补全语 …
微调
Definition
微调涉及采用在大型数据集上训练过的通用模型，并在较小、更专业的数据集上进行进一步训练，以提高其在特定任务上的性能。该技术利用了迁移学习的优势。
Summary
微调是指使用额外数 …
微调
Definition
微调涉及在一个已在大而通用数据集上训练好的模型基础上，继续在专业化数据集上进行训练。这使得模型在保留通用知识的同时，能够习得特定任务的技能。
Summary
使用较小的数据集将预 …
反向传播
Definition
反向传播（Backpropagation），即误差反向传播，是一种用于人工神经网络的方法，旨在计算损失函数关于权重的梯度。它通过将误差信号从输出层向输入层反向传播，并利用链式法则 …
对齐
Definition
对齐关注的是确保 AI 系统执行人类真正希望它做的事情，而不仅仅是字面上要求它做的事。它涉及诸如来自人类反馈的强化学习（RLHF）等技术，旨在缩小模型输出与人类期望之间的差距，提 …