研究团队推出Edge0：单台24GB机器以20tok/s运行35B MoE，峰值活跃内存3GiB

Yu Lin、Yiming Wang、Runyuan Cai等提出流式MoE推理引擎Edge0，论文称其可在单台24GB机器上以20tok/s运行35B级MoE模型，峰值活跃内存控制在3GiB以内。作者指出，35B级模型4位量化后权重为19.5GB，稀疏性只减少每token计算量，不减少必须驻留的字节；而朴素SSD卸载无法奏效，因为第N+1层专家须在第N层输出产生前选定，读取无法提前隐藏于计算之后。Edge0用预路由头提前一个token预测下一层路由，并将预测直接作为路由使用，使预取专家集等于实际路由集、不丢弃专家；另以在学生路径上训练、未合并的恢复LoRA补偿int4量化与路由替换带来的质量损失。论文称在五项公开基准上平均接近其fp16教师模型几个百分点，8B档位亦在同一框架运行，框架、检查点与适配器已开源。