vLLM团队提出PagedAttention，称LLM服务吞吐量提升2至4倍

据Woosuk Kwon、Zhuohan Li、Siyuan Zhuang、Ying Sheng、Lianmin Zheng、Cody Hao Yu等作者2023年9月12日发布的预印本论文，大语言模型高吞吐服务需一次批处理足够多请求，但每个请求的键值缓存（KV cache）内存庞大且动态增减，管理低效时因碎片与冗余复制造成显著浪费，限制批大小。作者提出受操作系统虚拟内存与分页技术启发的注意力算法PagedAttention，并据此构建LLM服务系统vLLM，称其实现KV cache内存近乎零浪费，并支持请求内与跨请求灵活共享KV cache以进一步降低内存占用。作者评估称，在相同延迟水平下，vLLM相较FasterTransformer、Orca等现有系统将主流LLM吞吐量提升2至4倍，序列更长、模型更大、解码算法更复杂时提升更明显。vLLM源码已在GitHub公…