FreeToken推出边缘原生MoE服务系统，单张工作站GPU可跑753B模型

据论文FreeToken: Efficient Edge-Native MoE Serving with Bandwidth-Adaptive Execution，作者Shuo Yang、Xiaoze Fan、Melissa Pan、Haocheng Xi、Zhe Wang、Shanlin Sun提出一套边缘原生MoE推理服务系统FreeToken，将个人电脑视为统一弹性推理平台而非小型GPU。该论文称，系统围绕模型布局与加载、专家驻留、CPU-GPU协同执行、智能体状态复用及运行时内存管理进行全栈协同设计，并持续将计算与模型状态映射到实际可用资源，而非固定卸载策略。论文称其支持20余种MoE模型及真实编码与工具调用智能体，硬件覆盖8GB笔记本GPU至单张工作站GPU；可服务规模从笔记本上的35B模型、游戏台式机上的284B模型，到单张工作站GPU上的753B GL…