Vllm - AI术语词典

Definition

vLLM（Virtual Large Language Model）是一个旨在加速 LLM 服务的开源库。它引入了 PagedAttention，这是一种受操作系统虚拟内存

Summary

vLLM 是一个高吞吐量且内存高效的 LLM 推理引擎，利用 PagedAttention 优化 GPU 内存使用。

Key Concepts

PagedAttention
KV Cache 管理
推理服务
吞吐量优化

Use Cases

高并发 API 服务
批处理推理处理
具有成本效益的 LLM 部署

Code Example

1
2
3
4
5
from vllm import LLM, SamplingParams
llm = LLM(model="facebook/opt-125m")
prompts = ["Hello, my name is", "The capital of France is"]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
outputs = llm.generate(prompts, sampling_params)