文本生成推理
Definition
文本生成推理（TGI）是一个专用的软件框架，旨在以低延迟和高吞吐量服务大型语言模型（LLM）。它针对文本生成的推理过程进行了深度优化，包括连续批处理和张量并行等技术，从而显著提升 …
Deployment
剪枝
Definition
剪枝涉及识别并消除神经网络中对输出准确率贡献最小的神经元、连接或滤波器。通过移除这些冗余元素，模型变得更加紧凑，从而降低存储需求和计算开销，同时尽量保持原有的模型性能。 …
OpenVINO
Definition
由英特尔开发，OpenVINO（开放视觉推理和神经网络优化）允许开发人员将经过训练的深度学习模型高效地部署到英特尔硬件上。它包含一个推理引擎和优化模型的工具链。
Summary …
模型压缩
Definition
该类别包括剪枝、量化和知识蒸馏等方法，旨在缩小模型规模的同时保持性能。这对于部署复杂的人工智能模型至关重要，尤其是在资源受限的环境中。
Summary
模型压缩是指减少机器学习模 …
微服务
Definition
在AI工程背景下，微服务允许AI管道的不同组件（如数据预处理、模型推理和结果存储）独立开发、扩展和维护，从而提高系统的灵活性和可扩展性。
Summary
微服务是一种架构风格，将 …
MLOps
Definition
MLOps 使组织能够可靠且高效地在生产环境中部署和维护机器学习模型。它包括数据和模型的版本控制、自动化测试、持续集成等
Summary
MLOps（机器学习运维）是一套结合机器 …
本地 LLM
Definition
运行本地 LLM 涉及直接在消费级硬件（如 PC、Mac 或本地服务器）上部署开放权重模型。这种方法消除了对第三方 API 提供商的依赖，确
Summary
本地 LLM 指的是 …
最后一公里
Definition
“最后一公里"问题指的是将模型部署到生产环境中时遇到的挑战，包括与现有基础设施的集成、确保低延迟推理以及处理边缘计算场景。
Summary
将AI解决方案从 …
护栏
Definition
护栏指的是一组集成在人工智能应用（特别是大型语言模型）中的软件控制和策略执行层，以确保安全且合规的行为。它们充当过滤器，拦截不当输入并规范输出结果，从而降低风险。
Summary …
Gpt Oss
Definition
GPT OSS 通常指专有生成式预训练 Transformer 模型的开源替代品或衍生项目。这些项目允许开发者访问、修改和部署大型语言模型。
Summary
指可供公众修改和分发 …
边缘推理
Definition
这种做法涉及将训练好的AI模型直接部署到智能手机、物联网传感器或嵌入式系统等硬件上。通过在本地处理数据，边缘推理显著降低了延迟，并提高了响应速度。
Summary
边缘推理是指将 …
边缘计算
Definition
边缘计算通过在数据生成附近（如物联网设备、传感器或本地网关）处理数据，解决了以云为中心架构的延迟和带宽限制。在AI领域，边缘计算使得模型能够在设备端直接运行推理，从而实现低延迟响 …
Diffusion Single File
Definition
扩散单文件（Diffusion Single File）指的是一种机器学习模型（特别是扩散模型）的打包策略，其中整个模型工件——包括二进制权重、超参数和模型架构定义——都被整合到 …
算法推理
Definition
也称为预测或评分，推理发生在模型训练阶段之后。算法接收输入特征，并通过其内部结构（如神经网络中的权重）处理
Summary
算法推理是指经过训练的机器学习模型将学习到的模式应用于 …
测试
Definition
AI 工程中的测试涉及使用多样化的数据集严格评估模型，以识别偏见、错误和鲁棒性问题。它包括对代码组件的单元测试、集成测试等。
Summary
系统地评估 AI 模型在未见过数据上 …
量化
Definition
量化将高精度浮点数（如 FP32）转换为低精度格式（如 INT8 或 FP16）。这种转换减少了模型的内存使用和计算需求，从而加速推理过程并降低硬件要求。
Summary
一种模 …
Docker
Definition
Docker 使开发人员能够将应用程序及其所有依赖项打包成一个标准化的软件开发单元。这些容器将软件与其运行环境隔离开来，确保了一致性。
Summary
Docker 是一个用于在 …
实时
Definition
在人工智能领域，实时指的是系统以极低的延迟（通常为毫秒级）处理输入并生成输出的能力。这对于那些需要即时响应、延迟不可接受的应用场景至关重要。
Summary
实时处理指系统在接收 …
低成本
Definition
低成本 AI 专注于效率，旨在降低与机器学习相关的入门壁垒和运营成本。这包括模型压缩、量化等技术…
Summary
指在保持功能的同时最小化计算、 …
载体/平台（Vehicle）
Definition
虽然传统上指交通工具，但在 AI 术语中，“载体”可以隐喻地描述智能服务的交付机制，例如移动应用、Web 界面或嵌入式系统。
Summary
在 AI 语境中，载体通常指部署或向 …
云
Definition
云计算为AI工作负载提供了可扩展的基础设施，使开发人员无需维护物理数据中心即可访问强大的GPU和存储空间。它支持各种服务模型，如基础设施即服务（IaaS）和平台即服 …
推理
Definition
推理指的是部署阶段，在此阶段使用最终确定的模型对未见过的数据进行决策或预测。与更新权重的训练不同，推理消耗计算资源以产生结果。
Summary
训练好的模型处理新数据以生成预测或 …