0
当前的世界模型一部分依托游戏引擎、人工物理规则生成仿真数据,仿真环境与真实世界动力学存在天然鸿沟,无法覆盖现实世界全部复杂情况。一部分基于海量视频学习视觉动态,能够生成高保真画面,物理一致性、几何一致性、长时序记忆稳定性不足,仅有画面生成无法完成机器人控制闭环。一部分在抽象隐空间做状态预测,节约算力,但抽象表征效果难以评估,工程落地路径尚不明确。另一部分将世界状态与动作进行联合建模,核心研究“动作执行之后会产生怎样的物理后果”,直接面向真实物理世界交互改造。
世界模型的最终归属还是真实产业落地,要打通仿真到机器人实操完整链路。基于产业落地思考,X-Era AI拓元智慧创新性用空间建模与物理建模解耦的设计,提升模型对物理规律的学习与表征能力。
【论文地址:https://arxiv.org/pdf/2610.36011】
【项目主页:https://www.x-era.com/e05/】
【开源代码:https://github.com/X-EraAI/e05】
以未来几何为锚点
E0.5把三维场景理解、几何状态预判、物理约束、动作生成、机器人本体控制收拢到同一个学习框架。它关心的不是机器人能不能看见物体,而是能不能建立一套关于物体如何变化的内部模型,再把这种动态理解翻译成连续、稳定、可纠错的物理动作。
第一层:
从动作生成到三维世界预测
构建原生世界动作模型
传统视觉语言动作模型(VLA)通常以视觉语言基础模型为核心,通过视觉观测、语言指令和机器人状态生成动作序列。这一路线能够利用大规模视觉语言预训练知识,但其核心训练目标仍以动作预测为主,缺少对动作执行后世界状态变化的显式建模。机器人可以学习在特定场景下如何抓取和放置物体,却不一定充分理解这些操作会怎样改变物体之间的空间关系。
世界动作模型(WAM)的出现,将动作学习进一步拓展到未来世界状态预测。通过联合建模机器人动作与未来环境变化,让模型不仅学习“应该怎么做”,还学习“做完之后会发生什么”。然而,当前主流WAM仍主要建立在视频基础模型之上。其中,视频预测类WAM通过生成未来视觉画面学习环境动态,预测目标同时包含空间结构变化与纹理、光照等外观信息;部分方法虽然引入深度、点云等三维信息,但通常将其作为辅助特征或监督目标,模型的核心计算仍依赖视频骨干。
E0.5的关键创新,是将三维基础模型从辅助感知模块提升为世界动作模型的原生骨干,并将未来三维几何预测直接融入动作学习。
首先,在模型架构上,E0.5以三维基础模型为核心,通过语言条件化的几何表征和逐层几何—动作交互,将空间理解与机器人动作生成紧密结合。三维几何不再只是附加给VLA或视频模型的信息,而是支撑整个世界动作模型的基础表示。

其次,在预测目标上,E0.5不再局限于重建当前场景,也不依赖未来视频画面作为主要预测目标,而是将动作序列与其终点对应的未来三维状态进行联合学习。模型在学习抓取、移动和放置等操作的同时,预测动作完成后的深度、三维空间结构和相机参数,使三维基础模型从静态空间重建进一步走向动态空间预测。
更重要的是,未来几何预测直接监督可训练的三维骨干,使空间变化知识融入动作生成所依赖的基础表征。在实际执行时,模型无需额外生成未来视频或三维场景,即可根据当前观测与任务指令输出动作序列。
消融实验验证了这一设计的有效性:在相同训练预算下,相比仅重建当前几何状态,预测未来三维状态使 RoboTwin 2.0的平均任务成功率提升近10个百分点。
第二层:
几何驱动泛化
在物体、姿态、布局偏移时维持操作逻辑
具身落地最痛的地方,从来不是训练集里标准化的物品,而是分布偏移:同一种充电器换个摆放角度、线缆扭成不一样的形状、出现从未见过的杂物组合。很多模型在标准样本上表现稳定,一旦物体外观、姿态跳出训练分布,整套操作逻辑就容易失效。
E0.5的解法,是依靠几何表征做迁移。它学习的不是 “某张充电器图片对应一套抓取脚本”,而是刚性物体、柔性线缆、容器之间的空间关系与交互规律。在真机验证中,测试组刻意选用训练阶段完全没见过的物品、非常规摆放姿态,用来检验模型能不能把习得的操作逻辑迁移出去。这种泛化不是视觉层面的相似匹配,而是物理空间层面的关系复用。
在Zerith H1的三项真机任务中,经过机器人数据预训练和对应数据后训练的E0.5,分布外平均成功率达到76.7%,相比π0.5的46.7%提升30.0个百分点。这一结果进一步展示了模型在所测试的物体、姿态和数量变化下的操作泛化能力。
第三层:
长时序任务闭环
让每一段动作都服务最终目标
单点抓取任务的约束简单、反馈直接,相对容易实现。真实世界里大量机器人任务,都是由多步动作串联而成。杂乱杂物清理、多件物品分类收纳等,都需要机器人循环执行抓取、转移、投放,直到满足任务终止条件。长时序链路里,误差会持续传递放大,一次放置偏斜,就会改变后续的遮挡关系、可用投放空间,让后续步骤全部偏离预期。如果只是简单拼接示范动作序列,机器人只会机械走完固定步数,没有判断任务有没有做完、状态是否偏离预期的能力。
E0.5延续未来几何的核心思路,把每一段动作片段和执行之后预期的三维状态绑定,给整条任务链设置一连串可校验的空间子目标。模型不再盲目生成连续动作,而是以最终任务目标为导向,持续比对当前观测到的场景状态和预判的未来几何状态之间的偏差。凭借这个空间校验闭环,模型在多步骤任务里可以自主感知当前进度,判断是否已经达成阶段性目标、是否还需要继续操作,而不是刻板执行固定长度的动作序列,为复杂连续作业提供容错能力。
穿越分布偏移的成绩单
仿真环境里的效果,只能作为架构和损失函数的校验场,不能直接等同于落地能力。模型在仿真任务上拿到高分数,接入真机后违背物理常识、不安全动作的案例并不少见。数字世界缺少摩擦、形变、噪声、光线、机械误差等扰动,而真机必须在这些扰动里维持稳定。
E0.5在已有三维基础模型之上,进一步使用超16万条真实机器人轨迹开展具身预训练。在AgileX Piper双臂机器人和Zerith H1人形机器人上,E0.5的分布内任务平均成功率分别达到96.7%和100.0%;综合分布内与分布外设置,整体平均成功率分别为 85.0%和88.3%,较π0.5分别提升13.3和 26.7个百分点。

在真机上的表现,恰好用来展示这套“未来几何
监督”在真实扰动下的价值。
真机评测覆盖AgileX Piper双臂系统与Zerith H1人形机器人,任务包括鼠标归位、充电器收纳(将刚性充电器本体与整条柔性线缆一并收进收纳件)及垃圾清理。每项任务分EASY与HARD两档,HARD 档引入训练分布之外的鼠标位姿、陌生充电器与线缆,以及包含未见物体的更大规模垃圾集合。每套策略在两个平台累计进行120次试验,总实验次数共480次。
核心结果
不经大规模机器人数据预训练,直接进行任务后训练,对比π0.5:
经过大规模具身数据预训练,再进行任务后训练,对比π0.5:
面向产业端侧能力
具身路线如果通过堆大模型、扩参数量,希望用通用基座的强理解能力“溢出”到机器人控制,那产业侧的真实约束就会随着而来,大模型训练成本高昂,不是所有团队、场景都有算力资源持续迭代机器人专属数据;而且,机器人端侧、边缘控制器对推理延迟、显存占用有硬性天花板,一旦推理延迟拉高,闭环控制就会迟钝,直接破坏本体动态交互。
E0.5的选择,是把重心放在架构先验、三维几何监督、动作-状态联合建模上,而不是单纯靠参数量换效果。模型小意味着训练门槛更低,小团队、细分场景也可以基于这套底座做数据迭代;而且推理更快,更适配机器人端侧部署;同时,更小的模型更容易做场景微调、在线增量学习。
在RoboTwin 2.0评测中,E0.5以2.32B的策略核心参数量,在未进行大规模具身数据预训练的情况下,每个任务使50条干净演示开展训练,取得89.90%的Clean场景平均成功率和50.09%的随机化场景平均成功率。这一结果展示了较紧凑的策略核心与三维几何监督相结合的操作学习潜力。

RoboTwin 2.0上的模型规模与泛化表现,横轴为模型核心参数量,纵轴为任务成功率。模型标记周围的半透明圆圈表示具身预训练数据规模:圆圈面积越大,预训练数据时长越长,两幅子图采用统一的面积比例尺,未进行具身数据预训练的模型不显示背景圆圈。
模型 - 系统 - 场景的持续自进化
GPT-6之后行业的持续讨论里,有一个经典疑问:具身智能会不会变成通用大基模的一个下游子任务?
基模负责语义、概念、常识理解,但从理解到可靠执行,中间隔着一整套独立的系统层难题,这恰恰是当前很多方案缺失的三块:
第一,任务经验的结构化管理。模型听懂指令,不等于它能记住这一轮任务里已经做了什么、失败在哪里、哪些策略有效;
第二,内生的行为边界与安全约束。物理交互风险是真实的,自主推演不能无边界探索,必须把物理可行性、碰撞约束嵌入模型学习,而不是全部靠外部规则兜底;
第三,部署后的持续学习能力。场景永远在变,新物体、新布局、新工况持续出现,一次性训好的静态策略,很难长期覆盖开放世界。
E0.5以原生4D世界动作模型为核心,以软硬一体工程体系作为骨架,依托鹏城实验室、中山大学产学研生态。E0.5的护城河不在于单一指标,而在于能不能跑通模型、控制系统、场景应用三者协同进化的闭环。
在X‑Era AI拓元智慧的技术架构中,VWA 与 PhyAgentOS(物理智能体运行框架)构成模型 + 系统双层底座。世界动作模型承担环境感知、物理推演、动作序列生成;PhyAgentOS负责方案校验、异常恢复、任务经验沉淀;经校验的真实场景数据持续回流,驱动模型迭代升级。这套体系现已在智慧零售、仓储物流、工业制造、人居服务等场景落地验证。
这一架构也重构了产业落地逻辑,跳出传统Demo 驱动的路径。过往机器人方案高度依赖工程师现场调试,依靠硬编码写死分支逻辑与任务流程,场景适配周期长、成本高昂,大量长尾场景难以覆盖。而在模型+系统范式下,人类仅需定义任务目标及复核把关,系统自主推演空间方案、优化动作策略。
结语
世界动作模型核心目标是打造预测、规划、迁移一体化的物理智能,同时用轻量化设计回应产业算力、端侧部署、快速适配的现实约束。物理AGI,来自对世界变化稳定、可验证、可纠错的理解,并且这种理解,最终能变成在不同本体、不同环境里稳定落地的动作。X-Era AI拓元智慧 诚邀学术界、大模型团队、硬件厂商、评测基准团队、产业上下游伙伴一起开源共创,打磨通用物理智能体基础设施,推动物理AGI落地智慧零售、仓储物流、工业制造、人居服务等千行百业,让具身智能服务社会。
END

X-Era AI拓元智慧 创立于2022年,总部位于深圳,在广州、北京设有分部,专注具身智能与世界动作模型研发,构建下一代智能机器人基础设施。
公司以自研世界动作模型为核心,让机器人不仅看懂场景,更能预判物理过程、规划路径、输出精准动作。同时重点打造机器人本体设计与协同能力,形成“世界动作模型+软硬一体”全栈技术体系,实现算法、模型、硬件本体深度融合,打通技术研发到产业落地全链路。
团队汇聚牛津大学、UCLA、CMU、北大、中山大学、香港大学和新加坡南洋理工等顶尖学府人才,在世界动作模型、多模态、具身控制领域拥有深厚原创积累,并具备头部科技企业前沿研究与大规模工程落地经验。
目前,公司核心技术已实现规模化营收,应用领域覆盖零售、工业产业场景,以领先的技术实力与落地能力,持续推动行业智能化升级。
(雷峰网(公众号:雷峰网))