Google Cloud推出TPU Sync：KV缓存与权重传输延迟降逾90%

Google Cloud发布开源原生C++库TPU Sync，用于在TPU集群内搬运模型状态。官方称，该库将加速器HBM、主机DRAM、共享存储与数据中心网络视为统一内存层级，通过异步DMA传输让数据搬运与计算重叠。据Google Cloud介绍，在推理场景中TPU Sync把主机DRAM、本地SSD与Google Cloud Managed Lustre变为自动多级KV缓存；在强化学习中则向高层框架提供底层DMA与DCN原语，用于把更新后的权重从训练端流式传至采样端。官方称，在前缀缓存与分离式服务负载下，对235B至480B参数的重型开放权重MoE模型，TPU Sync使KV传输延迟降低逾90%，首Token时间平均缩短90%。该库已接入PyTorch（经TorchTPU）与JAX，并作为vLLM、SGLang和llm-d分离式服务的TPU KV缓存连接器。