0
| 本文作者： 袁毓婉 | 2026-10-20 17:42 |
一个机器人连续5次都没完成任务，你会判断它“不会做”吗？
商汤在测试 GPT-6-Astra 时，遇到了一个出乎意料的结果：RoboDojo 仿真评测中的9个任务，原本都是5次全失败。没有重新训练模型，只是允许它继续交互、把步数上限提高到原来的10倍，结果变成了5次全成功。
有些“不会做”，原来是我们太早按下了停止键。
但如果一直等下去，代价又有多大？在扩展预算的测试中，叠碗的平均测试耗时约131分钟，估算推理费用约19美元；把笔装进笔筒平均耗时263分钟，估算推理费用约55美元。任务终于完成了，可这样的机器人，距离日常使用显然还有很长一段路。
更有意思的是，解决问题有时也不需要一直重试。在一次真机插花实验中，GPT-6-Astra 看不清瓶口，便移动空闲机械臂，用另一只手上的相机帮自己看清，随后完成插入。它把第二只手，变成了帮助自己完成任务的“眼睛”。
哪些失败值得多给一次机会？哪些困难需要换一种办法？又有哪些问题，即使模型足够聪明，也很难靠不断尝试解决？
商汤通过12个模拟评测、8款机器人的系统研究，尝试回答这些问题，并同步开源日日新 SenseNova-RoboRSI 框架与27B具身模型，将任务完成成本降至 GPT-6-Astra 的 1/50，并让社区能够复测这些发现，继续探索更高效的解决路径。
一、探索能力上限：有些失败，是停止得太早
在我们研究的 12 个模拟器榜单上，涵盖桌面机械臂、人型机器人、轮臂和灵巧手等任务形态，我们发现，只需解除两个限制，就能进一步探索 GPT-6-Astra 的能力上限：
图 1 只需解除两个限制，GPT-6-Astra 的具身能力上限显著拔高
解除上述两个限制后，GPT-6-Astra 在多项评测中进一步逼近当前能力边界。在 LIBERO 系列（较为简单的桌面机械臂操作）和 SIMPLE（人型机器人执行移动和操作任务）上，其表现已经完全饱和；在近期受到关注的 RoboDojo 上任务成功率也达到 81.9%。
图 2 In-context Learning中，GPT-6-Astra 给自己准备了怎样的“小抄”？
ICL过程还揭示了模型是如何思考一个具身问题的。执行任务前，GPT-6-Astra 会研究训练示范中的图像、机器人状态和动作轨迹，并将有用信息整理成任务笔记、参考动作与代码工具；测试时，再结合现场观察调用和调整这些资料。通常，每个任务只需准备一次，之后便可用于该任务的多次测试。图 2 总结了在ICL过程中形成的六大能力。
图 3 步数增长在各个榜单上展现出的表现提升以及对于无限步长的性能上限估计
图 3 展示了增加步数后各榜单的表现变化，以及对无限步长情况下性能上限的估计。在步数趋近无限的假设下，GPT-6-Astra 在大量榜单上已达到或接近性能饱和。这意味着，当前社区榜单在一定程度上已经被 GPT-6-Astra 推近甚至触及能力天花板；研究重点需要从单纯追求榜单成绩，进一步转向能力能否迁移、成本能否下降，以及任务能否在真实环境中可靠完成。
二、落地瓶颈：做得成，还要用得起
GPT-6-Astra 展现出的能力令人惊讶，但榜单成绩逼近上限，并不意味着具身智能已经解决落地问题。结合实验，我们发现，至少还有三类瓶颈需要突破。
图 4 GPT-6-Astra 在各榜单上单任务平均的 Token 花销（简单换算可以认为 1M Tokens = 1 USD) 及时间消耗
三、快慢协作，关键在闭环
因此，一个关键问题是：能否通过 Harness 系统，让 System 2 慢思考模型（GPT-6-Astra）与 System 1 快思考模型（?0.5）协同工作，在控制成本的同时尽可能保留性能？
图 5 以 GPT-6-Astra 为参照，呈现不同协作方式在“性能—开销”四象限上的位置。实验结果显示，如何安排模型之间的分工、以及是否检查执行结果，会显著影响系统表现：
图 5 : GPT-6-Astra 在 RoboDojo 上不同 System 1&2 协作方式与动作接口下的 Token 消耗与平均得分对比
总体来看，第二象限所代表的“低成本、高性能”区域，仍鲜有方法能够进入。如何设计一种既能控制开销、又能保持高性能的 Harness，因而成为下一步的重要研究方向。
四、从模拟器走向真机实验
模拟器榜单上的优异表现，并不必然意味着能力能够迁移到真实机器人上。为进一步观察这种差距，我们在 8 款机器人上进行了测试，涵盖桌面单臂、双臂、轮臂、人型、夹爪、灵巧手等不同组合。
真机实验进一步说明，真实机器人所面对的挑战，并不能被模拟器榜单完全覆盖：
因此，即使 GPT-6-Astra 在模拟器榜单上表现强劲，距离稳定、可靠的真机落地仍有显著距离。评测需要更接近真实需求，也需要将环境变化、时间成本和执行后果纳入考量。
五、面向未来的具身评测标准
上述实验既展示了现有模型的能力，也暴露出当前评测与真实使用之间的差距。要推动具身智能真正落地，评测不能只关注动作是否成功，还需要考察机器人能否理解人的真实需求、通过交互积累经验，并在持续变化的环境中及时完成任务。我们认为，未来的具身榜单至少应遵循三条准则：
基于这些准则，我们搭建了一个支持物理交互的“样板间”。机器人可以在其中操作家具、物品和家电；即使模型仍在思考，流水、加热等过程也会继续发生。
在这个样板间中，GPT-6-Astra 暴露出几类具有代表性的问题：
这些案例说明，具身智能的挑战不仅是“看懂环境、生成动作”，还包括统筹周边环境与隐含责任、理解物体和身体的空间关系，以及在动态世界中及时更新判断。我们希望未来的评测能够更完整地反映这些能力，并推动模型从榜单表现走向真实任务。
六、开源实践：商汤SenseNova-RoboRSI，结果一键复现
基于以上研究，商汤开源 SenseNova-RoboRSI Harness，并推出开源具身大脑 SenseNova-RoboRSI-27B-Preview。前者帮助研究者复现评测、比较系统设计并开展二次开发；后者尝试将经过验证的具身经验沉淀到模型中，在降低推理成本的同时提升任务执行效率。其完成具身任务的成本仅为 GPT-6-Astra 的 1/50。
SenseNova-RoboRSI 将各类 Benchmark 及其运行依赖封装为独立 Docker 镜像，并通过统一 HTTP API 提供环境交互与原生评分服务，实现评测环境与 Agent 模型、策略的解耦。研究人员无需手动部署复杂的仿真环境，只需准备对应的配置文件，即可一键完成端到端评测与结果复现。这既降低了复现实验的门槛，也便于社区在统一环境下验证结果、比较不同模型与 Harness 设计。
在评测框架之外，我们也尝试把实验中验证有效的经验进一步沉淀到模型本身。SenseNova-RoboRSI-27B-Preview 通过多模态监督迭代，将目标理解、动作决策与反馈纠错能力内化到模型参数中。在多个 Benchmark 上，模型取得了以下结果：
图1 SenseNova-RoboRSI-27B-Preview 在多项具身 Benchmark 上的表现
除了 Benchmark 数据，模型在具体操作中也展现出相应能力：它能够主动观察细节、推理空间关系，并根据执行反馈调整策略。下面三个片段展示了模型如何结合观察、推理与行动，解决实际操作中的难题：
图2 SenseNova-RoboRSI-27B-Preview 具身能力展示：主动感知、自主规划与空间推理
SenseNova-RoboRSI-27B-Preview 以更小的模型体量降低单次推理成本，并通过将具身能力内化到模型中，减少冗余推理与试错，将任务完成成本降至 GPT-6-Astra 的 1/50。
从 GPT-6-Astra 的系统测试中识别能力边界与落地瓶颈，到通过 RoboRSI 开放可复现的评测基础设施、并以 27B 模型探索更低成本的执行路径，商汤希望把问题发现、实验验证和方案迭代连接起来。我们期待与社区共同推动具身研究从追逐榜单分数，走向对真实任务完成能力、执行效率与可靠性的持续探索。
（雷峰网(公众号：雷峰网)）
