3 docs tagged with "kv-cache"

1. 概述 (Overview)

版本： 2.0 (修订版)

PagedAttention 是加州大学伯克利分校（UC Berkeley）团队在 vLLM 项目中提出的核心技术，它彻底改变了 LLM 推理的显存管理方式。