ICRA 2026｜清华大学&高德联合发布SSM-VLA："空间感知+动态预判"，让机器人"看见"物理世界

来源：公众号“高德技术”

在机器人"大脑"的进化之路上，如何让AI真正理解三维空间的结构关系，并预判物体的运动轨迹，一直是困扰业界的难题。近日，清华大学深圳国际研究生院与阿里巴巴集团旗下高德地图联合研究团队发布了一项突破性成果——SSM-VLA（Seeing Space and Motion），通过创新的"远视潜动作建模"技术，让机器人首次具备了几何感知的场景理解能力和多尺度时序建模能力，在多项机器人操控基准测试中创下 SOTA 成绩。

如果把机器人比作厨师，现有的VLA模型就像一位"色盲且健忘"的学徒：它能读出菜谱（语言理解），却分不清食材的远近深浅（空间感知弱）；刚看一眼锅里的状态就忘了（时序建模差），导致动作断断续续、缺乏连贯性。

具体而言，当前主流方法存在两大结构性缺陷：

• 瓶颈一：空间感知"浮于表面"

现有VLA模型多采用端到端训练的RGB编码器，其视觉表征偏向颜色、纹理等表层语义，缺乏对物体关系、场景布局、深度信息的显式建模。这就像让一位平面设计师去当建筑师——审美在线，但看不懂施工图。结果是：机器人能认出"红色积木"，却判断不好"它离我有多远"、"该从哪个角度抓取"。

• 瓶颈二：时序建模"鼠目寸光"

绝大多数潜在动作模型（LAM）仅输入两帧图像（当前帧+目标帧）来预测动作，这种"稀疏采样"方式丢失了大量动态信息：物体的运动趋势、接触瞬间的力学变化、长程任务的阶段性规划。就像仅看一张起点和终点的照片，难以推断中间经历了什么，导致动作预测不稳定、物理合理性差。

这两大缺陷相互交织：缺乏几何感知导致动作在3D空间中"对不准"，缺乏时序建模导致动作在时间维度上"接不上"。机器人看似在执行任务，实则在"盲人摸象"。

核心贡献：SSM-VLA的三大创新设计

面对上述挑战，研究团队从空间编码、时序建模、推理范式三个维度进行系统性重构，提出SSM-VLA框架：

1. Farsighted-LAM：看得深、看得远的潜在动作模型

• 几何感知空间编码：引入冻结的DINOv2编码器，提取富含结构先验的视觉特征（空间布局、隐式深度、物体关系），让潜在动作扎根于三维物理空间

• 多帧时序建模：突破传统两帧限制，同时处理当前帧+未来N个关键帧，捕捉从细微操作到长程规划的完整动态谱系

• RGB-D联合监督：解码器同时重建未来帧的RGB和深度图，确保潜在动作既包含语义内容（外观），也包含几何结构（空间）

2. 视觉思维链（Visual Chain-of-Thought）：先想象、再行动

受人类"三思而后行"的认知模式启发，SSM-VLA在输出最终动作前，先显式预测未来视觉状态（RGB+深度）。这种"想象-推理-执行"的级联范式，不仅增强了模型的时空理解能力，更提供了可解释的中间表征——你可以直观地看到机器人"脑海中的画面"是否与物理规律一致。

3. 多模态协同注意力：三阶段渐进式推理

通过精心设计的注意力掩码机制，SSM-VLA在一个统一Transformer内实现三阶段协同：

• 阶段1（视觉预测）：基于历史观测和指令，生成下一帧视觉状态

• 阶段2（潜在动作规划）：基于预测帧，生成长程潜在动作序列

• 阶段3（动作执行）：融合全部信息，输出最终机器人动作

这种"双向+单向+因果"的混合注意力结构，既保证了信息流的完整性，又维持了时序因果性。

技术架构详解