WAKMan：按实时流量自适应选择KV缓存淘汰策略，命中率较LRU平均提升5个百分点

预印本论文提出WAKMan，一种工作负载感知的KV缓存管理器。作者Suhas Kumar Morisetty、Vaibhavi Lokegaonkar、Sachin Mathew Varghese与Wesley Harris称，前缀缓存让LLM服务器复用KV状态以加速共享前缀请求的预填充，但在内存有限时淘汰策略决定收益大小。论文称，在20种流量组合中不存在始终最优的策略：vLLM默认的LRU在智能体类请求为主的组合上缓存命中率比面向频率的S3FIFO高12%，但在其他组合上最多落后22%，且单个工作负载参数即可改变胜者。WAKMan无需知道请求类型或读取提示词，即可从实时流量中选择淘汰策略；据作者称，其命中率较LRU平均提升5个百分点，平均与最坏情况最优性差距在所有策略中最小。该论文为预印本，结果尚未经同行评审。