机器人也学会“先想后做”了：Imagine2Act突破高精度操作难题 | ICRA 2026

把盘子垂直插入碗架的窄槽、将花茎稳稳放入花瓶——这些对人类来说近乎本能的高精度操作，却是机器人至今难以跨越的门槛。北京大学董豪团队在ICRA 2026上提出的Imagine2Act框架，让机器人先“想象”出任务完成时的理想状态，再据此规划动作，在多项精细操作任务上取得了显著突破。

一、背景：高精度操作的两大瓶颈

家庭服务机器人要真正帮人类干活，光会“抓取-放置”远远不够。面对“把笔插进笔筒”“将碗放入碗架”这类关系性重排任务，机器人既要理解物体间的语义关系，更要满足严格的几何约束——偏差几毫米就可能导致任务失败。

当前主流方法存在两大瓶颈：一是传统3D模仿学习缺乏对物体间几何关系的显式推理，在高精度对齐任务上表现不稳；二是利用生成模型的方法往往直接将生成的物体变换当作动作执行，生成噪声会在执行过程中不断累积，导致误差放大。

二、核心方法：想象引导执行，双重对齐保精度

Imagine2Act的核心思路是让机器人在动手前先“想象”任务完成时的场景，再将这个想象目标作为几何先验来引导动作学习。整个框架包含两大模块：

1. 语义几何约束生成模块：给定当前观测和语言指令，系统先用图像编辑模型生成一幅“任务已完成”的场景图像，再通过分割和3D重建提取前景物体的点云，最后将前景点云与背景点云对齐拼接，得到一幅与真实场景几何一致的“想象目标点云”。这一步相当于给机器人一张“正确答案”的草图。

2. 物体-动作一致性学习模块：从想象目标中计算出可移动物体从初始姿态到目标姿态所需的刚体变换，将其编码为“变换Token”输入动作生成网络。同时设计了一个软姿态一致性损失函数：仅在机器人手部运动与物体理想变换之间的偏差超过容忍阈值时才施加惩罚。这种双重对齐机制既利用了物体运动的强信号，又容忍了生成模型带来的小误差。

上图为 Imagine2Act 两大核心模块的详细执行流程图。

三、亮点总结：三个创新点值得关注

创新点一：“先想象、再动手”的新范式。不同于传统方法直接从观测映射到动作，Imagine2Act通过生成模型显式构造出符合语义和几何约束的“心理图像”，让机器人像人类一样在脑中预演任务完成状态，从而大幅提升动作规划的准确性。

创新点二：物体-动作一致性建模。首次将物体的刚体变换与末端执行器轨迹进行显式关联，通过变换Token和软损失函数建立起内在的几何约束，使得策略在未见过的物体姿态或场景布局下仍能保持高精度操作能力。

创新点三：对生成噪声的鲁棒设计。软姿态一致性损失避免了硬约束带来的训练不稳定，使得系统即便在使用不完美的生成模型时也能有效工作，更贴近真实应用场景。

实验证明，在RLBench仿真环境的7个高难度任务上，Imagine2Act平均成功率达0.79，显著优于基线模型；在真实Franka机器人上的6个日常操作任务中，平均成功率也达到0.68，远超对比方法的0.43。这一工作为提升机器人的精细操作能力提供了全新思路。

雷峰网(公众号：雷峰网)

上述内容包含AI辅助生成，更详细信息参见两个链接

论文链接：https://arxiv.org/abs/2509.17125

论文解读：https://mp.weixin.qq.com/s/IudCZqnBIPFIXtqGwk6Q2Q

雷峰网版权文章，未经授权禁止转载。详情见转载须知。