Tlines 全球机构情报
EN
arXiv每日精选快讯0 阅读

研究称GPU内核缺乏批次不变性,83个发布产物中确认19例违规

来源arxiv.org

据arXiv预印本论文,LLM服务系统会动态批处理用户请求,同一请求在不同运行中可能与不同请求同批处理;若GPU内核缺乏批次不变性(BI),批次上下文变化会改变未变输入的数值输出,损害可复现性。作者称在83个可适用批处理的已发布产物中确认19例BI违规。为此论文提出一种工具,结合契约引导的静态依赖分析与跨批次上下文的逐位一致性动态验证,作为通用内核智能体的插件,在优化循环中充当连续验收门,在性能基准测试前拒绝结构风险或动态不一致的候选并回传反馈。作者称在三个智能体框架、真实LLM服务任务上,该工具将BI通过率从67.6%提升至91.9%,同时保留基线几何平均加速比的91.8%。该论文为预印本,结果尚未经同行评审。

更多arXiv每日精选 → · 全部新鲜事 →