Vllm
Definition
vLLM（Virtual Large Language Model）是一个旨在加速 LLM 服务的开源库。它引入了 PagedAttention， …
Inference
文本嵌入推理
Definition
文本嵌入推理指的是部署和优化将自然语言转换为高维向量的模型的过程。这些嵌入能够捕捉语义含义，使系统能够理解文本之间的深层联系，从而支持高效的语义匹配与信息检索。
Summary
…
文本生成推理
Definition
文本生成推理（TGI）是一个专用的软件框架，旨在以低延迟和高吞吐量服务大型语言模型（LLM）。它针对文本生成的推理过程进行了深度优化，包括连续批处理和张量并行等技术，从而显著提升 …
自洽性
Definition
该技术主要用于大型语言模型（LLM），通过采样生成针对同一提示的多个多样化响应来提高准确性。与依赖贪婪解码不同，它聚合
Summary
自洽性是一种解码策略，其中采样多个推理路 …
PagedAttention
Definition
PagedAttention 是由 vLLM 项目引入的一项技术，旨在提高大语言模型推理的效率。它解决了管理 KV 缓存时的碎片化和开销问题，通过将 KV 缓存视为非连续的内存块 …
学习的推断理论
Definition
该理论认为，学习本质上是一个概率推断的过程。学习者不是通过死记硬背来记忆数据，而是维护一个关于可能模型或假设的概率分布。
Summary
一种将学习视为贝叶斯推断的框架，即根据观 …
期望传播
Definition
期望传播（EP）通过迭代 refine 高斯近似值来逼近难以处理的积分，从而估计真实后验分布。它最小化近似分布与真实分布之间的Kullback-Leibler散度，常用于贝叶斯推 …
急切学习
Definition
在急切学习中，系统在遇到新实例之前，会根据训练数据构建一个通用的目标函数或模型。这与延迟学习形成对比，后者将泛化过程推迟到查询阶段，即直到需要预测时才进行计算。
Summary
…
贝叶斯编程
Definition
贝叶斯编程是一种数学框架，它将贝叶斯定理泛化以处理复杂的多层概率依赖关系。它允许开发者定义分层模型，其中变量之间存在条件依赖结构，从而能够更灵活地建模不确定性。
Summary
…
贝叶斯学习机制
Definition
贝叶斯学习机制利用贝叶斯定理更新关于模型参数的信念，将先验知识与观测数据相结合以形成后验分布。与频率学派方法不同，它明确量化了参数的不确定性。
Summary
将模型参数视为具有 …
蒙特卡洛
Definition
蒙特卡洛技术是一类依赖重复随机抽样来估算数学量的计算算法。它们在多维积分、概率推断以及处理具有不确定性的复杂系统时特别有用，通过大量样本的平均值来逼近真实解。
Summary
蒙 …
因果的
Definition
在人工智能中，因果建模旨在理解对某一变量的干预如何影响另一变量。与依赖观察模式的预测模型不同，因果AI使用结构方程模型等工具来揭示变量间的内在机制。
Summary
因果推断涉及 …