Tlines 全球机构情报
EN
TechRxiv每日精选快讯0 阅读

LXB框架:VLM与XML融合实现跨设备移动自动化,深度任务成功率100%

来源doi.org

据Runguo Chen的预印本论文,LXB是一种跨设备移动自动化框架,采用神经-符号混合架构,针对视觉语言模型(VLM)驱动的移动自动化在复杂多页任务上延迟高、API成本高、可靠性差的问题提出三项设计:VLM-XML融合,通过点包含匹配将VLM的语义检测与XML无障碍节点对齐;Route-Then-Act范式,将确定性的图导航与AI引导的执行分离;节点驱动探索,通过广度优先遍历已发现的导航节点构建导航图。论文称在淘宝与哔哩哔哩的8项真实任务上总体成功率为100%;在需至少2次导航跳转的深度任务上,LXB成功率为100%且仅需1.0次模型调用(仅在规划阶段进行一次LLM查询),而VLM-ReAct为80.0%、需3.87次模型调用,模型调用减少74%,token消耗减少58.6%。该结果为预印本报告,尚未经同行评审。

更多TechRxiv每日精选 → · 全部新鲜事 →