Definition
PagedAttention 是由 vLLM 项目引入的一项技术，旨在提高大语言模型推理的效率。它解决了管理 KV 缓存时的碎片化和开销问题，通过将 KV 缓存视为非连续的内存块进行分配和管理，从而显著减少了内存浪费，提高了吞吐量并降低了显存占用。
Summary
PagedAttention 是一种内存管理算法，它将虚拟内存分页概念应用于优化 Transformer 模型中键值（KV）缓存的存储和访问。
Key Concepts
- KV 缓存管理
- 内存碎片化
- 推理优化
- 虚拟内存分页
Use Cases
- 高吞吐量大语言模型服务
- 减少 GPU 内存使用
- 生产环境中的批处理优化