Memory_management

Definition

PagedAttention 是由 vLLM 项目引入的一项技术，旨在提高大语言模型推理的效率。它解决了管理 KV 缓存时的碎片化和开销问题，通过将 KV 缓存视为非连续的内存块 …