阿谀奉承
Definition
阿谀奉承是大语言模型中的一种故障模式，系统优先考虑取悦用户而非提供准确信息。这通常发生在基于人类反馈的强化学习过程中。
Summary
AI模型倾向于过度迎合用户输入或偏好，即使 …
Evaluation
稳定性
Definition
在机器学习中，稳定性（Stability）指模型的性能和参数在面对训练数据的微小扰动时保持稳健的程度。一个稳定的算法即使输入数据略有不同，也能生成相似的模型或预测结果。稳定性是评 …
MAUVE
Definition
MAUVE 是一种统计度量，旨在评估生成语言模型的输出在多大程度上类似于人类语言使用习惯。与简单的困惑度分数不同，MAUVE 使用虚拟嵌入
Summary
MAUVE（基于虚拟嵌 …
留一法交叉验证
Definition
留一法交叉验证（LOOCV）是k折交叉验证的一种特殊情况，其中k等于数据集中的样本数量。它提供了对模型性能的近乎无偏的估计，因为每次训练都使用了尽可能多的数据，从而最大限度地减少 …
数据泄露
Definition
数据泄露是机器学习中的一个关键错误，指模型在训练过程中获取了在预测时无法获得的信息。这通常是由于不恰当的数据处理（如未正确划分训练集和测试集）造成的。
Summary
当训练数据 …
大模型作为裁判
Definition
“大模型作为裁判”（LLM-as-a-Judge）是一种评估范式，其中大语言模型充当其他模型输出质量的自动化评估者。这种方法旨在减少对人工标注员或严格规则匹配的依赖，通过提示工程 …
Inception Score
Definition
Inception Score（IS）是一种引入用于评估生成对抗网络（GANs）及其他生成模型性能的统计度量。它结合了两个因素：图像质量（清晰度）和多样性。
Summary
一种 …
FrontierMath
Definition
FrontierMath是一个专门的评估套件，用于测试大型语言模型在复杂数学问题解决方面的极限。与标准的算术基准不同，它侧重于高水平（high-scoring）的数学推理能力评 …
二分类器评估
Definition
该领域涉及分析准确率、精确率、召回率、F1分数以及接收者操作特征曲线下面积（AUC-ROC）等指标。它有助于确定模型在区分正负样本方面的表现，并揭示模型在不同阈值下的权衡情况。 …
交叉验证
Definition
交叉验证是一种用于估计机器学习模型性能的统计方法。最常见的形式是k折交叉验证，即将数据分为k个相等的部分。模型在k-1个部分上进行训练，并在剩余的一个部分上进行测试，此过程重复k …
混淆矩阵
Definition
混淆矩阵是一种特定的表格布局，用于可视化算法（通常是监督学习算法）的性能。它显示了真阳性、真阴性、假阳性和假阴性的计数。
Summary
用于描述分类模型在测试数据集上性能的表 …
机器学习软件比较
Definition
该术语指对TensorFlow、PyTorch、Scikit-learn和Keras等各种机器学习库和平台进行的系统性评估和基准测试。比较通常分析这些工具在特定任务上的表现、开发 …
类别效用
Definition
该指标量化了一组类别在多大程度上允许人们预测这些类别内属性的值。它在类别大小与其内容同质性之间取得平衡，是概念学习和聚类评估中的重要指标。
Summary
类别效用是一种数学度 …
损失函数
Definition
损失函数也被称为成本函数或误差函数，它提供一个标量值，指示模型的执行表现。在训练过程中，优化算法利用该值来计算梯度，从而更新模型参数以最小化误差。
Summary
在训练期间量化 …
分布外
Definition
分布外（OOD）检测用于识别落在训练数据分布范围之外的输入。模型在处理 OOD 数据时往往表现不佳，或者自信地给出错误答案，从而导致不可靠
Summary
与模型训练阶段所见的分 …
高质量
Definition
在人工智能中，高质量通常描述具有高保真度、低噪声和强大泛化能力的模型或数据输出。高质量的训练数据确保模型能够…
Summary
指具有 superior 准确性、可 …
保留的（数据）
Definition
“保留的”数据集由故意排除在机器学习模型训练阶段之外的示例组成。该子集用于评估模型对未见数据的泛化能力，为开发者提供关于模型在真实场景中表现的无偏估计，从而辅助超参数调整和模型选 …
Test
Definition
测试集是在训练过程中保留出来的一部分数据，用于评估最终模型的泛化能力。与用于超参数调优的验证集不同，测试集提供……
Summary
Test 指评估阶段，在此阶段对未见过的数据进 …
得分
Definition
得分量化了机器学习模型针对特定指标（如准确率、精确度或奖励）的表现。在强化学习中，得分表示累积奖励，而在分类任务中，得
Summary
得分是表示模型预测或解决方案质量、置信度或 …
总体
Definition
在评估 AI 模型时，“总体”指标提供了系统性能的全面视图，而不是仅关注孤立的部分。这包括总体准确率、平均精度均值（mAP）或总体的业务影响评估。
Summary
总体指 AI …
证据
Definition
在人工智能领域，证据指的是实证数据、统计结果或可观察的结果，用于证实关于模型行为、准确性或有效性的主张。它作为模型评估和决策制定的基础。
Summary
用于支持假设或验证人工智 …
基准
Definition
在人工智能中，基准是一套标准化的测试套件或数据集，旨在衡量机器学习模型的能力。它提供了一个一致的框架，用于比较不同模型的性能表现。
Summary
用于评估AI模型性能相对于既定 …
基准
Definition
基准测试为比较不同AI模型或算法的能力提供了标准化的参考点。它通常涉及精心策划的数据集以及特定的评估指标，如准确率、召回率等。
Summary
Benchmark（基准）的缩写， …
分析
Definition
在人工智能的背景下，分析指的是系统地检查数据、模型预测或系统行为，以了解潜在模式、诊断问题或得出可操作的见解。该……
Summary
检查数据或模型输出以提取有意义见解和模式的过 …
幻觉
Definition
当生成式AI模型产生的输出看似合理，但缺乏现实或源数据的支撑时，就会发生幻觉。这是在对准确性要求极高的应用中面临的一个重大挑战。
Summary
当AI模型生成自信但事实错误或无 …