Khai Loong Aw、Klemen Kotar、Baihan Zhang等提出Ψ-0.6,一个统一的视觉语言世界模型,可在共享推理过程中自适应组合感知、语言、几何与模拟,作者称之为“思维流”。这些流交错图像、文本以及几何与运动的显式表示,模型通过共享token接口生成并解读。论文称,该模型在多视角空间推理上零样本超过领先开放权重模型,经由几何中间表示推理还能进一步提升;并支持反事实模拟,例如判断移动物体是否会阻挡通路。基于任务反馈的强化学习联合优化中间表示的选择、生成与使用,提升视觉问答准确率,且增益可迁移至未见基准。作者称其指向自适应物理推理路径。
Ψ-0.6统一视觉语言世界模型:自适应组合思维流进行物理推理
arXiv