最近，世界模型（World Models）似乎成为了 AI 领域最热门的研究方向。
继 World Labs（李飞飞）、谷歌 DeepMind 接连发布自己的世界模型研究之后，meta FAIR 的 Yann LeCun 团队也加入了战场，也在同一周之内发布了导航世界模型（Navigation World Models/NWM）。
我们知道，Yann LeCun 一边在不断唱衰当前主导 LLM 领域的自回归范式，同时也一直是世界模型的「鼓吹者」。上月中旬，该团队就已经发布了一篇世界模型相关研究成果，但那篇研究涉及的模型规模不大，环境也较为简单，参阅机器之心报道《LeCun 的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划》。
论文地址：https://arxiv.org/pdf/2412.03572v1
项目地址：https://www.amirbar.net/nwm/
从其项目网站的演示视频看，NWM 的效果很不错，能够基于单张真实照片执行相当好的导航操作。只能说，世界模型，也开始卷起来了。
NWM 效果演示
在深入了解 NWM 的技术细节之前，我们先来看看它的实际表现如何。
整体而言，LeCun 团队的这项 NWM 研究做出了以下贡献：
提出了导航世界模型和一种全新的条件扩散 Transformer（CDiT）；相比于标准 DiT，其能高效地扩展到 1B 参数，同时计算需求还小得多。
使用来自不同机器人智能体的视频和导航动作对 CDiT 进行了训练，通过独立地或与外部导航策略一起模拟导航规划而实现规划，从而取得了当前最先进的视觉导航性能。
通过在 Ego4D 等无动作和无奖励的视频数据上训练 NWM，使其能在未曾见过的环境中取得更好的视频预测和生成性能。
导航世界模型
NWM 的数学描述
。a_i 的导航动作可以被完全观察到。
是图像，a_i = (u, ϕ) 是由平移参数
给出的导航命令，控制向前 / 向后和左右运动，以及导航旋转角
上述公式既可以学习导航动作，也可以学习时间动态。实际上，本文允许时间偏移最多 ±16 秒。
扩散 Transformer 作为世界模型
CDiT 通过将第一个注意力块中的注意力限制在正在去噪的目标帧中的 token 上，实现了在时间上高效的自回归建模。为了对过去帧中的 token 进行条件处理，本文还整合了一个交叉注意力层，然后，交叉注意力通过跳跃连接层将表示情境化。
使用世界模型进行导航规划
接下来，文章描述了如何使用经过训练的 NWM 来规划导航轨迹。直观地说，如果世界模型熟悉某个环境，可以用它来模拟导航轨迹，并选择那些能够达到目标的轨迹。在未知的、分布外的环境中，长期规划可能依赖于想象力。
形式上，给定潜在编码 s_0 和导航目标 s^∗，目标是寻找动作序列 (a_0, ..., a_T)，以最大化到达 s^∗ 的可能性。
导航轨迹排名方法。假设已有一个导航策略 Π(a|s_0, s^∗)，可使用 NWM 来对采样得到的轨迹进行排名。这里，该团队的使用了一种 SOTA 的导航策略 NoMaD 来执行机器人导航。在排名时，会从 Π 给出的多个样本中选出能量最低的那个。
实验结果
下面来看看 NWM 在实验中实际表现。
首先，数据集方面，该团队使用了 TartanDrive、RECON 和 HuRoN。NWM 可以获取机器人的位置和角度数据，然后推断在当前位置的相关动作。
评估指标包括绝对轨迹误差 （ATE）和相对姿态误差 （RPE）。对比基线包括 DIAMOND、GNM 和 NoMaD。
消融实验
目标数量。在给定固定上下文的情况下训练具有可变目标状态数量的模型，将目标数量从 1 更改为 4。每个目标都是在当前状态的 ±16 秒窗口内随机选择的。表 1 中报告的结果表明，使用 4 个目标可显著提高所有指标的预测性能。
上下文大小。研究人员在训练模型的同时将条件帧的数量从 1 变为 4（见表 1）。不出所料，更多的上下文带来了帮助，而对于较短的上下文，模型通常会「迷失方向」，导致预测不佳。
这里评估的是模型遵从真实动作和预测未来状态的能力。
以第一张图像和上下文帧为条件，该模型需要根据 ground truth 动作，以自回归方式预测下一个状态，并给每个预测提供反馈。
通过比较在 1、2、4、8 和 16 秒的 ground truth 图像，再得出在 RECON 数据集上的 FID 和 LPIPS 值，可以对这些预测结果进行比较。
一开始的时候，NWM 1 FPS 的表现更好，但 8 秒之后，它就会因为累积误差和上下文损失而被 4 FPS 版本超过。
使用 NWM 执行规划
接下来的实验衡量了 NWM 执行导航的能力。
独立规划。实验表明，这个世界模型可以有效地独立执行目标导向的导航。
带约束条件的规划。在使用 NWM 进行规划时，还可以指定约束条件，比如要求智能体走直线或只转弯一次。
研究者尝试添加未标注的数据，并询问 NWM 是否可以使用想象力在新环境中做出预测。他们在所有域内数据集以及来自 Ego4D 的未标注视频子数据集上训练了一个模型，并且只能访问时移操作。
研究者训练了一个 CDiT-XL 模型，并在 Go Stanford 数据集以及其他随机图像上对该模型进行了测试。结果如下表 4 所示，可以发现，在未标注数据上进行训练可以显著提升各项视频预测结果，包括提高生成质量。