据arXiv预印本论文,Krupp等作者系统测量了不同输入(prefill)与输出(decode)token长度下的计算时间与能耗。作者用广义线性模型分析称,decode阶段的计算时间与能耗随输出长度线性增长,而prefill阶段的计算时间与能耗随输入长度同时呈线性与二次增长,表明在大上下文工作负载中输入上下文是重要因素。作者还称,在无法直接测量能耗时,计算时间可作为能耗的可靠代理指标,其映射框架可支持更可持续的智能体AI部署决策。该论文为预印本,尚未经同行评审。
研究:大模型预填充阶段算力与能耗随输入长度呈二次增长
arXiv