句子相似度
Definition
句子相似度衡量两个不同句子之间的语义重叠程度。它超越了词汇匹配，旨在理解含义、上下文和意图。这通常通过计算向量之间的距离来实现。
Summary
一种量化两个句子在语义上相似程度 …
Metrics
MAUVE
Definition
MAUVE 是一种统计度量，旨在评估生成语言模型的输出在多大程度上类似于人类语言使用习惯。与简单的困惑度分数不同，MAUVE 使用虚拟嵌入
Summary
MAUVE（基于虚拟嵌 …
Inception Score
Definition
Inception Score（IS）是一种引入用于评估生成对抗网络（GANs）及其他生成模型性能的统计度量。它结合了两个因素：图像质量（清晰度）和多样性。
Summary
一种 …
二分类器评估
Definition
该领域涉及分析准确率、精确率、召回率、F1分数以及接收者操作特征曲线下面积（AUC-ROC）等指标。它有助于确定模型在区分正负样本方面的表现，并揭示模型在不同阈值下的权衡情况。 …
等几率公平
Definition
等几率公平是算法公平性中使用的一种统计parity约束，旨在确保模型对所有受保护群体具有同等良好的表现。具体而言，它要求模型在不同群体中的真正例率（TPR）和假正例率（FPR）保 …
混淆矩阵
Definition
混淆矩阵是一种特定的表格布局，用于可视化算法（通常是监督学习算法）的性能。它显示了真阳性、真阴性、假阳性和假阴性的计数。
Summary
用于描述分类模型在测试数据集上性能的表 …
类别效用
Definition
该指标量化了一组类别在多大程度上允许人们预测这些类别内属性的值。它在类别大小与其内容同质性之间取得平衡，是概念学习和聚类评估中的重要指标。
Summary
类别效用是一种数学度 …
贝叶斯遗憾
Definition
贝叶斯遗憾量化了在拥有完美信息时可实现的最佳奖励与智能体在不确定性下行动所获得的预期奖励之间的差异。它是通过对所有可能的世界状态进行积分计算得出的，反映了决策者在信息不完全情况下 …
ASR-complete
Definition
术语“ASR-complete”表示自动语音识别系统在特定且定义明确的任务和数据集上，其性能已达到与人类转录员相当的水平。这是一个重要的里程碑，标志着系统在特定领域内的识别精度已 …
延迟
Definition
延迟衡量AI服务的响应速度，通常以毫秒为单位表示。它包括推理时间、网络传输延迟和处理开销。低延迟对于实时应用至关重要。
Summary
AI系统中请求发起与响应开始之间的时间延 …
Wasserstein（瓦瑟斯坦）
Definition
Wasserstein距离，也称为地球移动距离（Earth Mover’s Distance），通过计算将质量从一个分布移动到另一个分布所需的“最小工作量”来量化两个 …
得分
Definition
得分量化了机器学习模型针对特定指标（如准确率、精确度或奖励）的表现。在强化学习中，得分表示累积奖励，而在分类任务中，得
Summary
得分是表示模型预测或解决方案质量、置信度或 …
总体
Definition
在评估 AI 模型时，“总体”指标提供了系统性能的全面视图，而不是仅关注孤立的部分。这包括总体准确率、平均精度均值（mAP）或总体的业务影响评估。
Summary
总体指 AI …
评估
Definition
评估涉及使用定量指标（如准确率、F1分数、BLEU分数）和定性分析，系统地测量AI模型在特定任务上的表现。它包括验证集测试、交叉验证以及对模型泛化能力、公平性和偏差的审计。有效的 …
基准
Definition
在人工智能中，基准是一套标准化的测试套件或数据集，旨在衡量机器学习模型的能力。它提供了一个一致的框架，用于比较不同模型的性能表现。
Summary
用于评估AI模型性能相对于既定 …
基准
Definition
基准测试为比较不同AI模型或算法的能力提供了标准化的参考点。它通常涉及精心策划的数据集以及特定的评估指标，如准确率、召回率等。
Summary
Benchmark（基准）的缩写， …