AMI Labs 冯雁：AI 迈向现实世界，世界模型不可或缺

JEPA 比生成式世界模型，天然更具有结构性优势。

作者丨幸丽娟

编辑丨岑 峰

2026年7月7日，ICML 2026 正会第一天，AMI Labs 联合创始人兼首席研究创新官、香港科技大学电子与计算机工程系讲席教授冯雁（Pascale Fung）带来大会首个特邀演讲。

作为与 Yann LeCun 共同擎起 JEPA 世界模型旗帜的代表学者，她在题为《Towards AI Agents in the Real World》的演讲中，系统回答了三个核心命题：

世界模型为何对于 AI 从数字空间走向物理世界，不可或缺？JEPA 路线相较生成式路线究竟赢在哪里？以及团队沿此方向完成了哪些关键突破？

冯雁首先划定了未来物理世界 AI 的两大主力形态：一类是嵌入可穿戴设备（如智能眼镜）的主动式辅助智能体，与人类共享第一人称感知场，承担过程规划与实时指导；另一类是部署于自动驾驶、家务机器人等自主系统中的执行智能体，需完成从高层语义指令到电机细微动作的分层规划。

两者虽然形态与任务迥异，却共享同一个"能力底座"——对物理世界演化的预测能力。无论是预判用户下一步动作以主动协助，还是推演机械臂运动轨迹以避免碰撞，这种预测都远非背诵文本或识别静态图像所能及，它要求模型内化一套可因果推理的物理认知框架，而这正是世界模型的立足之本。

而眼下世界模型流派众说纷纭，冯雁也针对当下主流的两派——生成式世界模型（如Cosmos、Genie）和 JEPA 世界模型在设计哲学上的差异进行了对比，即前者认为AI 要理解世界，就必须能完整生成每个像素，而后者追求因果正确性而非像素完美。

其结果是，JEPA 模型参数量更小、推理速度更快、对噪声与环境连续变化的鲁棒性显著更强，在物理世界的落地场景中展现出天然的结构性优势。

沿着 JEPA 这一技术脉络，冯雁、 LeCun 团队已接连完成 V-JEPA、V-JEPA 2、LeWorldModel 和 VL-JEPA 等一系列标志性工作，在自监督视觉表征学习、机器人动作规划及高效视频理解等任务上取得了领先表现。

与此同时，团队正通过开源数据集（Action 100M）、组织 ECCV 2026 可穿戴 AI 研讨会及设立挑战赛等方式，系统性地推动 JEPA 路线的学术生态建设。

以下是冯雁在 ICML 2026大会上发表的演讲精编稿，AI科技评论基于原英文演讲内容进行了不改原意的翻译编辑：

01

AI 智能体迈向现实世界，需要世界模型

我是 AMI Labs的联合创始人兼首席研究创新官，常驻巴黎。

今天演讲的主题是《迈向现实世界中的AI智能体》，这里的"现实世界"是相对于虚拟世界而言的。

既然我常驻巴黎，那我就给大家分析姆巴佩（Mbappé）在世界杯对阵瑞典时的第二次进球，并借此介绍"世界模型（world model）"的概念——如果大家还不熟悉的话。

世界模型在这里定义为：用于决策的下一步动作预测。

如果你们看姆巴佩的进球分析视频，可以看到其进攻的逐回合分析，也能看到两位球员所做的决策。例如，从姆巴佩的自我中心视角（Egocentric View）来看，他当时在扫描场上局势，决定划定自身的空间，然后决定向远离目标区域的方向切入，把球交给另一位球员。

所以，AI 智能体要应用到真实世界中，需要世界模型。那我们在这里谈论的是哪种智能体？

一个典型案例就是我过去几年在 Meta FAIR以及现在 AMI Labs一直在做的工作，即可穿戴设备上的AI智能体。如上图右侧所示，这是人类用户、可穿戴设备中的 AI 智能体以及真实物理世界之间交互的三条通道。

可穿戴设备（比如智能眼镜）中的 AI 智能体拥有来自人类用户的自我中心视角，它看到我所看到的，听到我所听到的。

它能做的是协助人类用户执行动作，例如指导我更好地踢足球，或辅导我做智力活动，帮我更好地学习语言，帮我导航物理世界，或帮我独立解决不同的认知任务。这就是辅助人类动作的AI智能体。

这个 AI 智能体也通过输出数字动作与现实世界交互。假设我想在地铁站买票，但我从没去过那里，那里有售票机。那么眼镜中的 AI 智能体会向我展示如何操作售票机，或者帮我在智能手机上买票。所以它直接向现实世界输出数字动作，或者协助我并向我展示如何操作这些售票机。

当然，AI 智能体从现实世界获得的感知输入会传入AI智能体，然后 AI 智能体与人类用户交互，告诉我该做什么。

因此，这个 AI 智能体需要执行"过程规划（Procedural Planning）"，即向我展示如何完成某项任务（比如从巴黎地铁站售票机买票）的多个步骤。不过这里的多个步骤，指的是智能体辅导或指导我如何执行。它需要做过程规划，为我（人类动作）提供高层动作指导。

为了实现个性化，AI 智能体还需要长期和情景记忆（Episodic Memory），这样如果我去过某个地铁站，它就知道不需要再教我如何使用机器。

然而，如果当前物理环境对我来说是新的，它就会主动地、提前地协助我，告诉我并展示该做什么，同时在这个物理场景中推断我的目标——比如我是要站在咖啡机前做卡布奇诺，还是坐在餐厅桌旁要点餐。

第二类智能体是自主系统（autonomous systems）中的智能体。这些自主系统在现实世界的物理环境中运行，包括自动驾驶汽车、无人机、机器人等。其与现实世界交互，感知现实世界，并执行物理动作。

它们与 AI 智能体（即这些系统的"大脑"）通信，而大脑拥有物理世界模型，用于建模物理环境、规划、推理，并命令自主系统执行物理动作。同时，自主系统也会通过感知物理环境向智能体发出查询。在这种情况下，AI 智能体需要执行低层和高层规划。

例如机器人，它需要告诉机械臂或机器人如何移动、如何拿起东西、如何叠衣服等等。它需要执行"分层规划（hierarchical planning）"，从高层动作如"请打扫我的房间"，分解为子任务，再进一步分解为机器人电机上的细微动作，这就是分层规划。它还需要有某种关联记忆，要知道之前做过什么以及当前动作的上下文。

02

为什么大语言模型不够用？

那为什么不能直接使用大语言模型（LLMs）呢？

我知道最近有很多人热衷用 LLM 做规划，也有不同的基准测试。虽然我本人就出身自然语言处理背景，已经研究LLM 好几年了，但我们现在明白，LLM 从人类写下的所有描述世界的文本中学习，所以它们相当于"二手"地学习世界模型，从文本描述而不是实际现实中学习。因此它们无法预测现实世界中的力，如重力、质量，或嘈杂环境中的实际物理力。

而且别忘了，LLM 训练目标是优化对话流畅度或语言描述的优美度，而不是因果推理。它们耗费大量计算生成下一个token，然而这是个错误的优化目标。这也导致，它们需要数万亿token 来进行学习，结果学习物理的速度，依旧比人类慢得多。

此外，因为它们是针对生成内容进行优化，会产生"幻觉（hallucination）"。我从2019年就开始研究幻觉，现在整个研究界达成的共识是，幻觉既是生成模型（如LLM）的缺陷，也是其特征。然而，在文本中，幻觉可能相对无害——人类用户看到幻觉，可以事后处理，或者可以自行选择是否处理。但这种幻觉如果发生在物理机器人上，会导致"撞击"后果，我们绝不想在现实世界中看到这种情况。

在我试图说服大家" LLM 不太适合用于物理世界"之前，先展示一些模拟环境中的基准测试。

DeepPhy是一个针对 AI 智能体物理推理能力的基准，评估基础物理、力学机制与动力学、动作与控制，以及高阶推理。大家可以看到，人类表现是64.7%，遥遥领先于所有通用大模型，从 Claude 的 41.2% 到 Gemini Pro 的35.2% 和 GPT-4o 的更低水平——都远低于人类，只比随机略好。

基准IntPhys 2测试的是 AI 智能体在复杂但合成的环境中的直觉物理理解能力，涵盖四个核心原则：Permanence（永恒性）、Immutability（不变形）、Spatio-Temporal Continuity（时空连续性）和 Solidity（不可穿透性）。同样，人类近乎完美，而生成模型只有55.6%或更低，而 JEPA 模型表现优于通用模型，但仍低于人类。

基准PhysBench使用 10000 个视频、图像、文本交叉的多选题，评估 VLM 对物理世界的理解，涵盖对象属性、关系、动态和文本理解。人类表现是 95.9%，而所有 VLM 大约只有50%左右，最好的也不到 52%。

另一个基准PAI-Bench使用来自机器人、自动驾驶等领域的 1000 多个视频问答对，测试物理常识、时空推理、动作效果等。人类表现是 93.2%，而 VLM 约 65%。

最后一个基准WorldPrediction评估模型预测高层动作、长时程过程规划的能力——也就是我之前提到的步骤分解。任务包括选择缺失帧或重新排序帧序列。人类表现近乎完美，而 VLM 最多50%。

因此结论是：LLM 和 VLM 虽然能学习物理教科书，但并不真正理解物理世界。

也就是说，即便是当下最前沿的大模型，也仍然存在"落地差距（Grounding Gap）"——它们懂得物理世界的词汇，但面对场景泛化、实时动力学、摩擦力和约束等方面的现实问题，依旧很吃力。

03

JEPA 世界模型 VS 生成式世界模型

Yann LeCun 在 2022 年的一篇论文中提出了一种"先进机器智能"（Advance Machine Intelligence）的系统架构，这也正是我们公司名字的来源。

该架构提出了一个世界模型系统，包含感知模块（估计当前状态）、世界模型（预测未来状态）、规划模块（搜索最小化成本的动作序列）和记忆模块（跟踪状态）。这大致对应人类大脑的不同功能区域。

现在，我们来看自主系统中的机器人智能体。

机器人需要高频执行低层动作。它是典型的具身 AI 智能体，拥有传感器和执行器，在日常生活场景中实现自主。它们通过人类遥操作或大量人类动作数据（如叠衣服、整理物品）进行训练，使用监督学习和模仿学习。但由于视觉基础模型的性质，这些技能停留在训练分布附近，环境变化时很脆弱，容易崩溃。

我们需要的机器人学习智能体，是要能零样本（zero-shot）学习，具有鲁棒性，能在任何环境中学习任何技能，且使用更少的数据。

而当前 VLM 和强化学习，是世界模型的主流学习方法，它们要么从遥操作、模拟环境或人类动作中学习，并押注于规模——认为只要有足够数据就能泛化一切。但我想不必多说，物理世界连续且嘈杂，不可能做到"在所有上下文中学会一切"。

因此，我们的世界建模方法是构建任务无关的世界模型，然后根据具体任务调节，用成本模型来生成策略。

首先，介绍第一种世界模型——生成式世界模型（Generative World Models），例如 Cosmos。

这些方法把世界建模视为视频生成，通过预测下一帧像素来模拟世界，训练于数百万小时视频，使用自编码器或分词器压缩帧，然后用 Transformer 或扩散模型预测下一帧。

这类模型输出是详细的像素流。例如，Cosmos 生成多视角驾驶视频和机器人视频；Genie 3 构建交互式且持续性的 3D 世界。

它的设计哲学是：AI 要理解世界，就必须能完整生成每个像素，这种路线认为 AI 通过生成可以学习碰撞、质量、动量等物理直觉。

但另一种方法，即 Lecun 在论文中提出的"联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA）"，它是一种表征学习方法。

它不尝试生成视频或预测下一帧图像，而是预测未来世界状态和动作的抽象表示，并舍弃不可预测或无关的细节。JEPA 不预测每个像素，它预测嵌入（embeddings）。

大家可以回想一下，自己进入这个房间时，并不会注意到每个像素，而是看屏幕、看我、看幻灯片上的文字。人类会根据任务惯例，忽略不必要的细节。

JEPA 模型从相同视频中预测嵌入而非帧，将上下文和目标编码到潜空间，用预测器根据动作，来预测目标表征。该模型使用不同的损失函数，而不是像素重构损失。

JEPA的输出不是图像，而是用于规划、动作预测和标记不可能事件的压缩表征（Compact representation）。你可以查询未来而不必实际"观看"。

这种路线的设计哲学是预测重要的信息，忽略不重要的信息，追求因果正确性而非像素完美。这类模型只关注抽象空间中的结构核心，例如预期玻璃会掉下，但不必渲染它看起来如何——它是一个"理解"世界而不是"生成"世界的模型。

再次比较这两种方法：如上图所示，左侧是生成式世界模型，右侧是 JEPA 世界模型。

生成式世界模型输入视频或音频，使用 VAE 或分词器，扩散模型预测未来，损失不同。

JEPA 世界模型输入上下文和目标，对必要信息编码，预测潜空间嵌入，然后与目标对比，直接在潜空间进行规划和推理。

生成式世界模型认为必须生成每个像素细节才能真正理解，而 JEPA 世界模型认为只需知道任务和目标，预测本质即可。

04

JEPA 世界模型相关研究进展

我们之前发表的V-JEPA论文，使用自监督学习在总时长为 465 年的视频上训练，预测掩码嵌入，获得了外观和运动方面的最先进视觉特征，权重已开源。

V-JEPA 在行动预期上达到最先进水平，且比生成模型小得多，更快、更鲁棒。V-JEPA 2 则用于机器人规划。视频显示它预测机械臂在初始状态和目标之间的运动，在嵌入空间中进行过程规划。

我还想提一下 AMI Labs 和 NYU 合作的最新论文LeWorldModel，是第一个端到端稳定训练的 JEPA 模型，从原始像素直接训练，仅使用两种损失项，就实现了高效的模型预测控制（MPC）规划。数据和 Checkpoints 均已开源。

那么这项工作如何使用 JEPA 世界模型进行规划呢？

首先感知模块提取当前状态的表示；执行器提出动作序列；世界模型预测未来状态；成本模块评估当前状态到目标状态的距离；然后搜索最佳动作并在世界中执行。这就是JEPA 模型实现精细动作的方式。

另一篇论文是关于"潜在动作模型（Latent Action Model）"的，它从原始视频中发现动作空间，无需人工标注，可扩展到 in-the-wild 视频，非常有趣。周四，这篇论文将由第一作者进行展示。

到目前为止，我们讨论了生成式或 JEPA 世界模型，以及如何用于机器人动作。

下面我要再回到第一类物理 AI 智能体，即可穿戴智能体，来分享我们的工作。

如前所述，可穿戴设备辅助人类高层现实世界动作。这些设备有摄像头、麦克风，拥有第一人称的自我中心视角，AI 智能体和人类用户共享感知场。

它看到我所看到的，听到我所听到的，可以始终开启，因此需要环境智能（ambient intelligence）和上下文感知——它无需我提示就能感知上下文。没人想一直对着眼镜问"该做什么"，所以它应是主动的（proactive），实时理解上下文，无延迟运作。

而生成式世界模型太慢且成本高，无法在可穿戴设备上使用。我们还需要考虑设备端计算和低功耗，因此效率对可穿戴设备非常重要。

不同于机器人智能体，可穿戴智能体还需要"心理世界模型（mental world model）"，即了解人类用户的目标和意图，实现长期规划和个性化，适应偏好变化。如果我总在咖啡机前做某类咖啡，它就不该再问我要做什么；而另一个新手则需要它展示如何使用咖啡机。

它还需要持久记忆、情景回忆、长期保留，也就是说，如果我想以某种方式踢足球，它应记住我过去学过什么。

此外，它还要理解人类情绪和心理状态，以及社交和文化线索，来帮助我减少人际摩擦。例如在巴黎或纽约，社交信号不同，行为方式、说"谢谢"的方式甚至走路方式都不同。我的智能体需要全天候帮我解读这些社交信号，并主动知道何时展示、何时告知我的下一步动作。

因此，我们提出一种在语言空间进行世界模型建模的方法，不是通过生成像素（图像）来建模，而是进入到由语言描述的动作空间中建模。

这种方法以观测（Observation）和目标（Goal）作为输入，且都是语言形式的；Critic 模型查看的当前状态、目标状态和动作状态都是用语言描述的。动作本身也被描述为语言。

在这种情况下，语言比像素更紧凑。它不试图生成语言本身，而是生成描述动作的语言。这就是"视觉语言世界模型（Vision-Language World Model, VLWM）"。与生成式世界模型相比，它提取的是对未来预测的语言描述。

我们能拿 VLWM 做什么？——用于高层过程规划，比如"教我怎么做一道菜"。会做饭的人知道，光看菜谱文字很难操作，很多人会上YouTube看步骤。而我希望可穿戴智能体能一步步给我展示。

VLWM 从视觉上下文中提取动作，并有一个搜索模块来选择最佳轨迹，顺序预测世界状态和动作，然后根据Critic 模型输出搜索最佳计划。

具体示例是：我戴着眼镜想做洋葱番茄炒蛋，它会解释目标含义，然后逐步指导从加热锅到打蛋、调味，比普通菜谱更详细，甚至描述每个动作的含义。它还可以将世界状态分解为不同层次的对象、属性和状态。

如视频所示，智能体做过程规划，告诉我下一步，同时还要实时跟踪我当前实际在做什么。这种实时理解很重要。VLM可以做到每8秒拍一张照片并描述状态，但那太慢，不适合可穿戴设备。所以这部分需要 JEPA 模型来建模。

我们提出的VL-JEPA（Vision-Language JEPA, VL-JEPA）模型，基于强大的V-JEPA 2编码器，实现了开放词汇（open-vocabulary）的动作和状态跟踪，并赢得了 CVPR 2026 EgoVis 行动识别挑战赛的冠军。

VL-JEPA是一种用于视觉语言的联合嵌入预测架构，包含视觉编码器和文本编码器。文本编码器接收提示（如"跟踪动作"）和目标文本，将所有内容编码到嵌入空间。

推理时，它将视觉输入和文本查询编码到公共嵌入空间，而不是逐token生成，具体方法是，用滑动窗口在嵌入空间中跟踪动作和状态，只在有事件发生时解码。这使得 VL-JEPA 能够实时、高效地进行动作跟踪和视频理解。

与经典VLM不同，VL-JEPA不是生成式的，不强制重建每个表面细节，而是预测目标语义嵌入，无自回归延迟，因此能实时跟踪人类动作。

VL-JEPA 在嵌入空间中跟踪动作，且由于开放词汇，可以做到零样本跟踪动作，而这也是可穿戴和机器人智能体的前提。它还可以跟踪状态，显示机器人动作是否成功完成，如方块是否放入盒子，或动作失败（如未能叠好毛巾）。一旦有了实时理解，就能让规划器告诉我们下一步该做什么。

我们还将 VL-JEPA与 VLM 进行比较，使用相同训练数据、编码器和计算，VL-JEPA 以少50%的参数达到更高性能，且对流视频的推理更快，在基准上取得最佳结果。此外，VL-JEPA 可零样本进行视频字幕描述和视频分类，性能高于VLM，且训练参数更少。

最重要的是，VL-JEPA不是每时每刻都解码，而是在有意义的事件发生时"有选择性地解码"，这样一来，在相同输出质量下，解码操作减少了约2.85倍，是真正的节能型模型。

综上所述，我向你们展示过程规划（procedural planning）的现场演示，并带有实时动作跟踪。比如有个人正在尝试做一个黄油派皮，而且是用法语说明的。旁边有一份食谱，一步一步地告诉我该做什么。系统正在观察我的实际动作，只有当它看到我做了正确的动作时，它才会进行解码，并告诉我可以从某个时间点开始。实际上，我中途喝了一口咖啡，而那个JEPA 模型学会了把这个动作视为无关紧要并直接忽略，它认为这没有意义。

这是因为真实世界中的人类动作（其实也包括机器人动作），情况非常复杂。也许有一天，机器人也能帮人类制作黄油派。但对它来说，这个过程噪声很大，因为每次操作的条件都不一样，比如温度不同、湿度不同、制作的手法也不同。此外，人类还可以做同一种派做十次，但十次的做法都会有些差异，并且面粉，不同品牌的面粉吸水性、筋度也不一样。所以，操作本身就是有噪声、复杂、动作连续的环境。

针对VL-JEPA这项工作，我们也发布了名为 Action-100M 的训练数据集，包含总时长达14.6年的YouTube视频，共120万个视频，1.47亿个层次结构动作，已在Hugging Face上开源，欢迎大家使用。

我前面提到"主动协助"和"心理世界模型"。我的可穿戴助手如何主动猜测我下一步需要做什么？它需要规划、观察和恢复。所以今天，我们还要发布一个主动过程协助的基准和架构，能够做到自动检测计划偏差。

右侧示例视频展示的是：在帮我做浓缩咖啡时，智能体说"先磨豆"，看到我磨完后说"磨得好，现在放粉"，我填粉后它打断说"现在用压粉锤压实"。我们发布的这个基准和架构，供大家研究。

此外，我也很高兴宣布，我们将在 ECCV 2026 举办可穿戴 AI 研讨会。研讨会由来自Meta、AMI Labs、NYU、爱丁堡大学、佐治亚理工、佛罗里达大学和香港科技大学的研究者们联合组织，旨在推进下一代可穿戴设备的自我中心视觉、主动式 AI 和长上下文多模态理解。

研讨会还设置了总奖金21,000美元的挑战赛，并且会新发布数据和基准，论文征集截止7月25日，希望大家投稿，也期待在瑞典见到大家。

05

现实世界中智能体的伦理安全问题

最后但同样重要的是，我想聊一聊现实世界中智能体的安全性。由于可穿戴设备和机器人的摄像头、麦克风始终是开启的状态，会捕捉到用户以外的旁观者和环境。自我中心视角的数据极度个人化且持续在设备端处理，然而这种自主性也增加了误用和误导的风险。雷峰网雷峰网雷峰网

另外，当智能体以类人的方式与用户交流时，还容易引发"拟人化（anthropomorphism）"，导致过度信任和情感依赖，这都有可能被不正当利用。

因此我们需要在模型设计上，平衡用户参与度和防操纵机制。本周四同一时间的这个房间，Verena Rieser 会做《From Behavioural Guardrails to Principled Agency》的主题演讲，我也很感兴趣。

最后，AMI Labs 正在招聘研究科学家、博士后和博士，我所在的实验室在巴黎，另外也在纽约、蒙特利尔和新加坡等驻地，欢迎感兴趣的朋友申请。

一个人读论文太孤单，一群人刷顶会才好玩。

ICML 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

? 进群传送门：扫码进群或添加微信Vin_Vivid，备注：论文群 + 关注的 AI 方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

扫描上方二维码

或点击「阅读原文」关注专区。