追踪
Definition
在AI工程背景下，追踪涉及捕获数据在模型或应用程序中流动的详细信息日志，包括每一步的输入、输出、延迟和资源使用情况。这有助于全面监控系统的运行状况。
Summary
追踪是一种记 …
Performance
吞吐量
Definition
在人工智能工程中，吞吐量是一个关键的性能指标，用于指示系统容量。对于大语言模型（LLMs），它通常以每秒令牌数（tokens per second）来衡量；对于计算机视觉模型，则 …
通义千问2代
Definition
通义千问2代标志着通义千问模型家族的第二次重大升级，引入了架构增强和扩展的训练数据。该版本在多语言支持、长上下文理解以及复杂指令遵循方面提供了更优越的能力。
Summary
通义 …
混合精度训练
Definition
混合精度训练（MPT）在神经网络训练过程中结合使用半精度（FP16）和全精度（FP32）数据类型。通过使用FP16处理大多数操作，MPT减少了内存占用并提
Summary
一种使 …
Kimi K25
Definition
Kimi K25 是月之暗面 Kimi 模型家族中的一个先进迭代版本。它在 Kimi K2 等先前版本的基础上，提供了推理速度等方面的改进。
Summary
Kimi K25 是 …
压缩张量
Definition
压缩张量是深度学习中使用的多维数组，其数值精度（例如从float32降至int8）或稀疏性已降低。这种技术被称为量化或剪枝。
Summary
通过降低数据精度或大小以优化存储和计 …
缓存
Definition
在AI工程中，缓存通过将最近或频繁的查询结果、模型预测或中间计算保留在快速内存（如RAM）中来优化性能。这减少了昂贵的主数据存储访问需求，从而显著提升系统响应速度。 …
异步处理
Definition
异步处理允许软件执行长时间运行的任务（如I/O操作或复杂计算），而不会冻结主应用程序界面或阻塞其他进程。通过事件循环和回调机制，程序可以在等待任务完成的同时继续响应其他请求，从而 …
Accelerated Linear Algebra
Definition
该领域专注于加速基本的线性代数计算，这些计算是机器学习和科学模拟的核心。通过利用 GPU、TPU 和其他并行处理能力的优势，显著提高了大规模矩阵运算的速度和效率。
Summary …
量化
Definition
量化将高精度浮点数（如 FP32）转换为低精度格式（如 INT8 或 FP16）。这种转换减少了模型的内存使用和计算需求，从而加速推理过程并降低硬件要求。
Summary
一种模 …
延迟
Definition
延迟衡量AI服务的响应速度，通常以毫秒为单位表示。它包括推理时间、网络传输延迟和处理开销。低延迟对于实时应用至关重要。
Summary
AI系统中请求发起与响应开始之间的时间延 …
分布式训练
Definition
分布式训练通过在多个 GPU 或节点上并行化计算来加速模型收敛。主要技术包括数据并行（每个工作进程处理数据子集）和模型并行（将模型的不同部分分布在不同设备上），以处理大规模数据集 …
实时
Definition
在人工智能领域，实时指的是系统以极低的延迟（通常为毫秒级）处理输入并生成输出的能力。这对于那些需要即时响应、延迟不可接受的应用场景至关重要。
Summary
实时处理指系统在接收 …
鲁棒性
Definition
在人工智能中，鲁棒性指模型对抗攻击、数据分布偏移或噪声输入的韧性。一个具有鲁棒性的算法即使在面对干扰时也能继续正确运行。
Summary
描述AI模型或系统在面临噪声、错误或意外 …
率
Definition
在AI中，“率”最常指学习率，这是一个超参数，控制每次更新模型权重时，根据估计误差对模型进行调整的幅度。一个适……
Summary
频率或速度的度量，通常指优化中的学习率或令牌生 …
快速
Definition
“快速”一词描述了人工智能模型中的计算效率，强调快速的推理时间和高效的数据处理能力。这对于实时应用至关重要。
Summary
在人工智能领域，“快速”指为低延迟和高吞吐量处理任务 …
高效
Definition
效率是人工智能中的一项关键指标，用于衡量模型或算法利用可用资源的程度。它包括计算效率（推理和训练的速度）以及资源利用率。高效的AI系统能够在保持高精度的同时，显著降低硬件需求和能 …
推理
Definition
推理指的是部署阶段，在此阶段使用最终确定的模型对未见过的数据进行决策或预测。与更新权重的训练不同，推理消耗计算资源以产生结果。
Summary
训练好的模型处理新数据以生成预测或 …