基础知识

世界模型

世界模型有时也称“世界基础模型”,是系统从数据中学到的环境内部表征:智能体采取某个行动会发生什么、物体如何运动,以及哪些结果在物理上可能实现。
发布于2026-07-06更新于2026-07-09阅读约 9 分钟

01定义

机器人或自动驾驶汽车若只在现实中反复试错,过程既慢又危险。借助世界模型,智能体可以先在内部“想象”行动结果,再在接触真实硬件前规划或调整行为。

02工作原理

1观察当前状态
2在世界模型中预测结果
3规划或优化行为,然后执行

03训练方式

大多数世界模型使用海量视频或传感器数据,通过自监督预测目标训练:根据刚刚发生的状态,预测接下来会发生什么。一类模型像 Genie 3 和 GAIA-1 那样,以自回归方式逐像素生成下一帧视频。以 Meta V-JEPA 2 为代表的新一类模型则完全不生成像素,而是在压缩、抽象的“嵌入”空间里预测下一状态。后者计算成本更低,开发者也认为,这种表示更接近规划真正需要的物理结果。

04代表性案例

NVIDIA

Cosmos 平台

在 CES 2025 同一场让“物理 AI”广为人知的主题演讲中发布的世界基础模型平台。它生成符合物理规律的仿真视频,用于训练机器人和自动驾驶汽车,Figure AI、Skild AI 与 Agility Robotics 已在使用。

来源NVIDIA Cosmos (nvidia.com)

GOOGLE DEEPMIND

Genie 3 模型

通用世界基础模型,可根据一条文本提示生成可导航、实时交互的环境;以每秒 24 帧运行,并能在数分钟内保持一致性,相比 Genie 2 有明显提升。

来源Genie 3 (deepmind.google)

WAYVE

GAIA-1 模型

专为自动驾驶打造的世界模型,根据视频、文本和动作输入生成逼真的驾驶视频,用于训练与评估驾驶策略。

来源GAIA-1 (wayve.ai)

META AI

V-JEPA 2 模型

使用超过 100 万小时视频训练的世界模型,不生成任何视频像素,即可用于零样本机器人规划和操作。

来源V-JEPA 2 (ai.meta.com)

Google DeepMind 的 Genie 3 官方画面展示了模型如何仅凭一条文本提示,实时生成可交互、可导航的环境。这让人直接看到世界模型实际会产出什么,而不只是了解训练流程。

05重要意义

这一点很重要,因为现实世界的试错无法无限扩展:机器人不可能为了学习而让汽车碰撞或让易碎物品掉落成千上万次。世界模型让智能体在内部以压缩且安全的方式完成这些尝试,再把学到的结果用于现实。

世界模型并非只停留在研究阶段。Hugging Face 的开源 LeRobot 项目在 2026 年 7 月发布的 v0.6.0中加入了 VLA-JEPA、LingBot-VA 和 FastWAM 三个自有模型,让机器人策略能在行动前先在内部预测下一步。更多背景见 LeRobot 发展史 。

06常见问题

世界模型与电子游戏中手工编写的物理引擎有何区别?

物理引擎编码的是人明确编写的规则,例如重力、碰撞和摩擦系数。世界模型则从数据中学习,因此能近似捕捉难以逐条编程的复杂现实动态;代价是它只能给出近似预测,而不是精确模拟。

世界模型只用于自动驾驶汽车吗?

不是。Genie 3 和 V-JEPA 2 等通用模型表明,它也广泛用于机器人与人形机器人规划。GAIA-1 是专用于驾驶的例子,但并非唯一应用。

世界模型必须生成视频才有用吗?

不必。Genie 3 和 GAIA-1 的视频生成适合创建训练环境,也方便人直观检查模型预测;但 V-JEPA 2 表明,完全不生成像素、只在抽象嵌入空间预测未来状态,也足以支持规划和控制,而且计算成本更低。

分享本文发布到 X
02

物理 AI 核心概念

03

机器人基础模型

05

运动与感知基础知识