全球「AI学术顶会」精华汇聚地
您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
业界 正文
发私信给陆毅
发送

0

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

本文作者: 陆毅   2026-11-02 15:28
导语:在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一。
登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界
在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一。

    编辑丨李希

                                                                                                       

Physical Coding 用代码连接数字世界与物理世界:模型提供理解、推理与编程能力,Harness 组织工具、执行行动并返回反馈,任务与环境检验 Agent 能否真正解决问题,并为进一步改进积累经验与数据。

沿着这一思路,六角未来对此前构建的 HexaShell-Preview 进行了改进,让前沿模型的理解与推理能力能够更可靠地转化为行动。改进后的 HexaShell 在 RoboCasa365 官方榜单中登顶第一,领先第二名 21.2 个百分点。

同时,为推动模型本身的进步,六角未来与清华大学、北京大学和新加坡国立大学联合发布了 EmbodiedLab,一个为求知而行动的科学实验评测基准:在可交互、可验证的实验环境中,检验 Agent 自主探索、获取证据和完成任务的能力,并积累经过验证的任务轨迹,为模型训练提供有效数据。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

01


HexaShell:登顶 RoboCasa

▎RoboCasa 官方榜单第一,领先 21.2 个百分点

在 RoboCasa365 官方榜单上,HexaShell 以 85.6% 的总体成功率登顶第一,领先第二名超过 20 个百分点——而此前其他方案的成绩还在及格线附近徘徊。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

RoboCasa365 是斯坦福、UT Austin 等机构发起的 RoboCasa 仿真平台,是当前全球具身操作领域的主流评测基准之一,其官方榜单云集 π0、英伟达 GR00T、Meta ProWAM 等全球头部具身模型,是行业公认的“硬考场”之一。RoboCasa365 以仿真厨房为场景,任务覆盖食材处理、器具操作、多步骤烹饪等。Agent 需要观察场景、组织动作,并根据执行反馈持续推进。相较于单个动作的完成,把多个操作可靠地衔接成完整的任务流程,对模型的理解、规划与工具使用能力提出了更高要求。

除 RoboCasa 外,HexaShell 在 LIBERO-PRO、RoboTwin、RoboDojo(正在提交官方评测) 等基准上也超过了当前 SOTA 水平。这些基准在任务流程、场景变化和操作要求上各有侧重,也从不同角度检验了 HexaShell 的泛化性。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

▎通用 Harness:任务逻辑与硬件实现解耦

HexaShell 采用分层架构,把与具体机器人无关的通用能力,和与具体机器人相关的执行细节解耦。通用能力只需实现一次,便可在所有环境中复用。环境差异则统一收敛到最底层的轻量适配层。

  • 统一的机器人接口:模型在任务空间中表达意图,给出末端应到达的位置与朝向,而不直接操作关节空间,也不依赖具体的控制方式。感知、测量与运动接口在所有环境中保持一致。

  • 轻量的适配层:每个环境仅需实现一层适配,把接口请求映射为该环境原生的控制指令,并读取相机与本体状态。同构的机械臂共享同一运动规划模块,真机也能直接接入其自带的运动服务。

  • 不依赖特权信息:Agent 只使用真实机器人同样能获得的观测,包括相机图像、相机标定、本体状态和任务指令,而不访问仿真器内部的任何状态。这为能力从仿真迁移到真机提供了基础。

在具体实现上,约 9,300 行核心代码在所有环境间共享,每个环境的专用适配仅 350–1,450 行。依托这套架构,HexaShell 已在 Isaac Sim、MuJoCo、SAPIEN 三种仿真器中运行,覆盖 ARX X5 与 Franka Panda 两类机械臂,并已接入真机。

前沿模型为 Agent 带来了理解目标、制定计划和分析反馈的能力,HexaShell 让这些能力在现有的评测基准中得到了充分发挥。


要让模型能力继续向前,则需要让它面对更开放的任务和环境,在与真实世界的交互中探索方法、验证结果,为后续训练产生有效数据,拓展能力边界。因此,六角未来团队尝试把更多探索性的任务交给 Agent,检验其主动求知的能力。


登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

02


EmbodiedLab:

为求知而行动的评测新基准

人类是在行动中认识世界的。科学就是一门为求知而行动的学科:提出假设、设计实验、取得证据,再根据证据修正认知。当 Agent 开始承担更开放的任务,同样需要检验它能否通过行动探索未知、形成判断。

▎Act to Know:让 Agent 为求知而行动

EmbodiedLab 希望检验 Agent 能否自主提出方法、获取证据、探索未知,但现有评测仍缺少对这一完整过程的覆盖:一类侧重 Act to Change,考查 Agent 能否通过操作达成指定状态;另一类侧重科学探索,却常通过文本动作、数值查询或仪器调用直接返回结果,简化了信息获取所需的物理操作与测量。

在真实任务中,行动决定了能观察到什么,观察又影响下一步行动。EmbodiedLab 将实际操作与自主探索融入同一任务:Agent 仅获得实验目标、可用器材和操作规则,自主决定如何完成实验。

Act to Know 关注 Agent 能否判断自己需要弄清什么,并通过行动找到答案。科学实验为此提供了可量化的评测载体:即使原理已知,装置参数仍需测量。Agent 需要自主选择方法、操作装置、读取数据,在“行动—观察—判断—再行动”的循环中逐步查明未知,并以实验结果检验探索的有效性。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

▎实验设置与前沿模型的成绩

实验设置

EmbodiedLab 在仿真实验室中设置了 30 项定量实验、14 个装置平台,覆盖力学、电学、光学、热学与化学 5 个学科领域,检验 Agent 在精细操作、长流程任务、精准读数、多点数据采集与分析等 4 个能力维度上的表现。同时,EmbodiedLab 还设计了隐藏任务评测,观察 Agent 面对未公开的新任务时,能否继续自主选择方法、取得证据并完成目标。

成功标准

成功 = 结果准确 + 证据有效 + 装置复原。

  • 结果准确:误差在仪器的容差范围内;对于预测或配置类任务,结果提交后装置还会继续运行,检验预测是否准确、配置是否达到目标。

  • 证据有效:引用的数据来自本次运行,且测量条件成立,例如托盘静止、温度稳定。

  • 装置复原:满足任务规定的结束状态,包括关闭设备、断开电源、将部件归位等要求。

评测同时记录成功率与过程分数:成功率衡量完整完成任务的比例;过程分数按开始操作、形成可测状态、取得有效读数、获得充分数据、结果及证据达标、装置复原六个连续阶段累计,满分 100 分,用于比较任务进展。

评测结果

七个前沿模型分别运行在其开发者提供的 Coding Agent 中,完成同一组实验。在提供相机画面、机器人状态与基础控制接口的标准设置下,由 Agent 自行组织操作、测量与分析,最高成功率为 43.3%。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

部分 Agent 的多数运行在取得充分数据之前就已失败;表现较强的三个 Agent 在达到准确结果阶段的比例接近,约为 51.7%—55.0%;是否完成实验台复原,进一步拉开了最终成功率。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

六角未来欢迎感兴趣的研究者和团队共同参与评测,一起探索 Agent 怎样走出数字世界,在和物理世界的交互中获得可靠的认知,并将这些认知用于新的问题。

登顶 RoboCasa,建立新基准:拓展 Physical Coding 的能力边界

03


从真实应用出发,

让智能在物理世界进化

在已有的评测中找到更好的解题方法,也用新的试卷探索物理智能的更多可能。两项工作共同服务于 Physical Coding 的发展,让模型、Harness 与数据在实践中持续迭代,让工具解决问题的能力逐步沉淀为模型的能力,在提升已有任务表现的同时,逐步拓展 Coding Agent 的能力边界。

应用即评测、评测即数据、数据即智能。六角未来相信,真实世界中尚待解决的复杂问题,会不断为智能的发展带来新的方向。真实需求提出问题,实验检验解决方法,经过验证的经验推动模型进步,更强的模型再回到新的任务中,接受下一轮检验。

六角未来期待,AI 能够自主构建工具、探索解决方案,并在行动中检验和修正对世界的理解。从完成一个实验,到推进一项研究,Physical Coding 将逐步走向更开放的科学研究与工程探索,让每一次经过验证的探索,都成为下一次发现的起点。

References

HexaShell

Paper: https://arxiv.org/abs/2610.23479

Github: https://github.com/HexaFuture/HexaShell

EmbodiedLab

Benchmark: https://hexafuture.ai/benchmarks/embodiedlab

Paper: https://arxiv.org/abs/2610.35385

Github: https://github.com/HexaFuture/EmbodiedLab

分享:
相关文章
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说