自监督方法Mirror无需奖励在《我的世界》中获得铁镐

Hyunwoo Ryu、Eric Ming Chen、Max Wilcoxson与Vincent Sitzmann在arXiv发表论文，提出自监督方法Mirror，通过与环境交互学习从视频到动作的映射，无需事先的动作数据或人工设计的奖励。作者称，执行视频生成模型给出的视觉规划通常需要以大规模人工采集视频-动作数据训练的“逆动力学”模型，可扩展性严重受限。Mirror按视觉规划执行其对潜在动作的最佳猜测，再以所得视频-动作对训练自身，逐步自我改进。论文称，在Atari、OGBench和DeepMind Control上，Mirror使用学习所得视频规划时优于领先的观察学习方法，使用理想规划时接近专家水平；在《我的世界》生存模式中，它是首个仅靠自我改进、不借助奖励或专家动作标签获得铁镐的方法。