Tlines 全球机构情报
EN
arXiv每日精选快讯0 阅读

研究:大模型预填充阶段算力与能耗随输入长度呈二次增长

来源arxiv.org

据arXiv预印本论文,Krupp等作者系统测量了不同输入(prefill)与输出(decode)token长度下的计算时间与能耗。作者用广义线性模型分析称,decode阶段的计算时间与能耗随输出长度线性增长,而prefill阶段的计算时间与能耗随输入长度同时呈线性与二次增长,表明在大上下文工作负载中输入上下文是重要因素。作者还称,在无法直接测量能耗时,计算时间可作为能耗的可靠代理指标,其映射框架可支持更可持续的智能体AI部署决策。该论文为预印本,尚未经同行评审。

更多arXiv每日精选 → · 全部新鲜事 →