TechRxiv论文评估边缘端量化SLM虚拟世界对话代理性能

Louis Nisiotis与Nikita Markov在TechRxiv预印本中称，其构建了基于RAG的后端AI系统以支撑虚拟世界原型中的虚拟代理对话能力，并测试两个小语言模型系列在8位、4位和3位三种量化水平下的表现，通过端到端延迟、首token时间、吞吐量和内存余量评估系统性能，同时由专家对照非量化基线评估回答的准确性、相关性、安全性和人类对齐度。作者称，结果表明适度量化可实现性能良好的实用边缘部署并保持较好回答质量，边缘部署的量化SLM能够支持实时叙事交互，对虚拟世界代理具有实际可用性。该论文为预印本，尚未经同行评审。