0
| 本文作者： 张璐 | 2026-07-17 14:22 |
作者丨张 璐
编辑丨齐铖湧
让机器人真正理解世界，需要更大的语言模型、更逼真的视频生成，还是别的什么？
雷峰网(公众号：雷峰网)小编在中山大学与 X-Era AI Lab 团队的研究中f x了一个意外的答案：很多时候，机器人在新场景下失灵，不是因为它不懂物理，而是因为它"看到的空间变形了"。
CVPR 2026 论文 "VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling"（获首届 CVPR Compute Transparency Champion Award）和 ACM MM 2026 论文 "Robotic manipulation is vision-to-geometry mapping (f(v)→g): Vision-geometry backbones over language and video models" 通过一组轻量改进实验指出：当前视觉-语言-动作模型（VLA）在新视角、光照、纹理和传感噪声下表现出的脆弱性，主要来自空间建模的错位，而不是物理推理或动作控制能力的缺失。
图 1：论文从 VLA 的视觉扰动问题出发，
把空间建模与物理建模的关系重新放到具身智能的中心。
视觉编码器在新视角下产生了偏移的空间表征，而后端的语言-动作推理与控制模块，其实仍然保留着可以被重新调动的物理建模能力。
这把改进焦点从"堆更多数据、上更大模型"，转向了一个更具体的问题：模型看到的空间，是否足够真实、稳定？
01
传统上，VLA 被视为一个端到端系统：输入图像和语言指令，输出机器人动作。但这篇论文提出了更细的拆分。
https://arxiv.org/pdf/2512.02902
第一部分是空间建模（Spatial Modeling），由视觉编码器承担。它负责从图像中恢复物体的位置、朝向、遮挡、接触关系和视角结构，形成供下游策略使用的空间表征。
第二部分是物理建模（Physical Modeling），由 VLM 与动作专家承担。它结合任务语言、空间表征和动作历史，进行高层推理并生成可执行动作序列。
图 2：VLA 可被拆解为空间建模与物理建模。
视角变化首先扰动空间表征，再影响后续动作生成。
论文指出，当相机视角发生变化时，真正改变的是空间配置，而不是任务语义，也不是执行任务所需的物理规律。所以，新视角下的性能下降，更可能来自空间表征与后端策略之间的错位，而不是整个 VLA 的物理推理失效。
这个判断意味着：我们不能只问模型是否学到了语言知识或视觉外观，还必须追问模型内部的空间，是否能够支撑动作。
02
为验证这一假设，论文提出了一套 one-shot 鲁棒适应框架，用极少量可学习参数校准 VLA 的视觉空间表征，其余部分保持不变。
Feature Token Modulation（FTM） 只引入两个全局可学习向量，对视觉 token 做简单的仿射变换，即重新缩放和重新居中特征分布。只学习约 4K 个参数，就把 LIBERO 新视角任务成功率从 48.5% 提升到 87.1%。
Feature Linear Adaptation（FLA） 进一步在 ViT 编码器的线性层中加入低秩更新，用约 4.7M 个参数完成更深层的特征对齐。在 LIBERO 新视角测试中达到 90.8% 成功率，超过强 LoRA 基线的 90.3%，同时参数量从 467M 降到 4.7M，减少约 99 倍。
图 3：FTM 与 FLA 通过轻量空间校准，
重新对齐视觉表征与后端动作生成模块。
在扩展的 LIBERO-V 视觉扰动基准上，FLA 在相机、光照、纹理和噪声四类扰动下取得 94.8% 平均成功率，FTM 以仅 0.004M 参数达到 90.5%。
这说明，对空间表征进行有针对性的轻量校准，效果不输全量微调。空间表征是 VLA 泛化链条中真正的瓶颈。
03
这篇论文的更深层启发在于：空间智能与物理智能，是两个可以被分析、校准、重组的层面。
空间智能对应模型对几何结构的建模能力——三维位置、视角变化、遮挡关系、物体布局；物理智能则对应模型对动作、接触、约束和因果后果的建模能力。
这种"空间与物理可分离"的发现，为原生世界动作模型（Veridical World Action Model，VWA）提供了一个自然的起点。
在 VWA 的框架里，空间不是视觉语义的附属品，而是世界动作模型的几何基础；物理也不是动作头后面训练出来的表面能力，而是从预训练阶段就要直接学习的时空演化与因果约束。
图 4：空间与物理的可分离性，为原生世界动作模型
提供了从几何到物理再到动作的路线。
VLA 中空间与物理的可分离性，说明具身智能模型可以被重新设计为从几何到物理再到动作的统一系统。
当前许多具身模型仍然沿用"先预训练视觉语言模型或视频模型，再后训练为动作模型"的路线，隐含地假设语言或视频中的世界知识最终会自然迁移为动作能力。
但真实机器人需要的不是预测下一个词元，也不只是生成未来画面，而是在物理世界中预测动作及其后果。
VWA 的核心主张正是对这一错位的修正：如果最终目标是让模型在物理空间中行动，那么预训练阶段就应该直接学习真实世界中的状态、动作和时空变化。
模型要学习密集的 4D+x 物理预测，包括未来三维位置、运动趋势、接触状态、材质属性、可操作性和环境约束。机器人动作，则可以被看作从这个密集物理预测场中读出的本体轨迹。
图 5：VWA的目标不是先学语言或视频再接动作头，
而是直接学习动作及其导致的未来世界演化。
真正可缩放的物理智能，可能不来自更大的语言头或更逼真的视频头，而来自一个预训练目标、表征空间和动作输出都与物理世界一致的原生世界动作模型。
04
值得一提的是，"VLA Models Are More Generalizable Than You Think"获得了首届 CVPR Compute Transparency Champion Award，这是 CVPR 2026 Compute Reporting Initiative 的最高认可，表彰其在计算资源、实验方法和可复现细节上的示范性报告。
这一荣誉和论文的研究主题形成了有意思的呼应。具身智能需要模型理解真实世界，研究过程本身也需要真实、透明、可复现。
从空间建模与物理建模的分离，到原生世界动作模型的提出，再到计算资源与方法细节的公开报告，这项工作同时推进了两个方向的透明化：让机器人更清楚地理解物理世界，也让研究社区更清楚地理解智能模型是如何被训练、评估与复现的。
这两个方向的透明化，最终指向同一件事。
在世界模型、空间智能和物理智能快速汇合的当下，这两篇论文提供了一个简洁但重要的判断：对 VLA 的有效改进，不应只是把语言、视觉和动作继续堆叠，而应重新理解空间与物理的关系，并在此基础上构建真正原生于物理世界的动作模型。
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击「阅读原文」关注专区。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
