全球「AI学术顶会」精华汇聚地
您正在使用IE低版浏览器,为了您的雷峰网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
机器人 正文
发私信给李秋悦
发送

0

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

本文作者: 李秋悦   2026-09-15 15:52
导语:具身智能进入“触觉时代”,丁文伯提出“脊髓”架构补全机器人物理交互短板。
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

具身智能进入“触觉时代”,丁文伯提出“脊髓”架构补全机器人物理交互短板。


作者:李秋悦
编辑:吴彤

丁文伯很难被一个词准确“定位”。通信博士、材料学博士后、机器触觉学者,这些标签都对,但都只能解释他的部分经历。

2025年,丁文伯又多了一个身份——Xspark AI(无界智航)联合创始人、首席科学家。一个做了多年传感器研究的清华教授出来创业,没有把公司定义成一家“传感器公司”。相反,他认为造出更好的传感器,并不会自动得到一个更聪明的机器人,机器人触觉可能需要一套自己的模型。

这个判断首先来自纯视觉的局限。

过去两年,具身智能最主流的技术路径仍然延续大模型的Scaling逻辑,即更多视频、更多机器人轨迹、更大的VLA(视觉-语言-动作模型),让机器人沿着“看见—理解—行动”的链条不断提高泛化能力。丁文伯并不反对这条路线,他甚至认为“VLA是一个蛮solid的逻辑,像早期Transformer、diffusion policy一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔”。

但机器人和语言模型最大的不同在于,它最终要伸出手,真正碰到这个世界。

在丁文伯看来,视觉其实已经解决了机器人感知世界“99%”的问题,触觉没有必要和视觉竞争。它更像是在视觉失效或者不够确定的时候,补上接触发生之后的信息。杯子有没有开始滑动,手指是不是捏得太紧,机械臂有没有撞到人,一个灵巧动作应该继续用力还是立刻修正。机器人一旦真正进入物理世界,问题就不只是“有没有看见”,还包括接触之后能不能及时感知、修正和避险。

问题也由此往前走了一步:如果机器人需要触觉,那么触觉应该以什么方式成为智能?

最直接的办法,是把触觉作为一种新的模态塞进现有模型。但丁文伯对此并不完全满意,他认为从第一性原理看,触觉的信息量远没有视觉丰富,却对反馈效率有更高要求。把它直接和整个视觉模型融合,要么产生大量冗余,要么少量关键触觉信息反而被视觉淹没。

这也是他开始提出“触觉原生智能”的原因。

触觉智能未必需要拥有视觉大模型那样丰富的语义理解能力,相反,它可能应该更轻、更快、更靠近身体。人快要摔倒时,并不会先识别“我正在摔倒”、分析原因,再决定伸手,而是身体先完成反射。丁文伯因此喜欢用人的“脊髓”来类比触觉智能:它处理的信息可以没有那么丰富,但要足够低延迟,能够在滑动、碰撞、失衡等发生的一瞬间做出反应。

不过,从“触觉很重要”到真正做出一套触觉智能,中间还有很长的距离。

首先是硬件。不同触觉传感器之间的一致性依然很差,即使同一批次生产的设备,性能也可能存在明显差异。模型因此很难像视觉模型一样,在不同硬件之间直接迁移。

其次是数据。触觉没有互联网时代天然积累下来的海量图片和视频,同一个动作换一个人、一个传感器甚至一个机器人,数据分布都可能发生变化。

再往后还有更基础的问题:触觉到底应该如何Representation和Embedding?不同传感器采集出来的力、温度、剪切、振动,最终有没有可能被转换成某种与具体硬件无关的共同表征?丁文伯把接下来两三年甚至五年的问题概括为三个“跨”——跨传感器、跨模态、跨本体。

所以丁文伯并没有声称,一套成熟的“触觉大模型”已经有了答案。他承认,目前更现实的仍然是一条折中路线:短期先把某一种多模态触觉传感器做好,再和现有模型融合;预训练阶段聚焦通用能力构建,触觉信息的引入与融合则放在灵巧操作的后训练和动作修正阶段。至于长期,他才倾向于认为,触觉最终会形成自己的模型和逻辑。

Xspark AI提出的“慢脑 VLM—快脑 VTLA+TWAM—脊髓 VTA”三层架构,可以看作前者判断现阶段的一种工程表达。在这套架构里,视觉语言模型构成“慢脑”,负责语义理解、高层认知和任务规划;触觉首先进入“快脑”,与视觉、语言和动作一起参与长程任务和灵巧操作;再往下一层,触觉成为“脊髓”的核心信息,在碰撞、滑落、安全等场景下完成更快的局部反应。同一种触觉,因此同时承担两种角色:在快脑里帮助机器人“做得更好”,在脊髓里保证机器人“来得及反应”。

这也让丁文伯正在研究的问题比“机器人需不需要触觉”更具体了一层。

视觉仍然会是机器人理解世界最重要的信息来源,VLA也仍然是主流路线。真正没有被定义清楚的是:触觉究竟只是现有视觉模型增加的一种输入,还是因为它对接触、运动和实时反馈的特殊要求,最终会生长出一套不同于视觉智能的模型和计算逻辑。

丁文伯现在做的,就是试图找到这个答案。以下是左林右狸与丁文伯的对话(在不改变原意的基础上做了部分编辑):


01 “科研困难户”是怎么入门的?

左林右狸:2007年安徽省理科第三名,为什么读清华电子系?

丁文伯:当时没考到省状元,就“没法选经管”。那时候我们很多人都想读经管。刚好来招生的是电子系老师,他跟我讲了一番电子系的“宏伟蓝图”,最后我就去了电子系。
我记得当年我们学校有几个同学,分别是全省第二、第三、第六名,最后全被这位老师招进了电子系。

左林右狸:这位老师当时给你讲的“宏伟蓝图”是什么?

丁文伯:他的“宏伟蓝图”其实很简单,他说你学不了经管,清华在安徽只招一个人,你去不了。后来我才听说,经管在安徽其实招了5个人。
不过也没关系。前两天我还跟同学说,人生里很多选择,当时你可能觉得自己做了一个很好的决定,但最后真正改变人生的,往往是一些不经意的选择,甚至是被迫做出的选择。

左林右狸:2011年,本科毕业之后,为什么选择系里面最难进的通信所直博?

丁文伯:首先,那时候通信很火。其次,我本科成绩比较好,自然会像选本科专业一样,去选一个当时看起来最好的方向。
但这也是受限于当时的认知。等我博士毕业,到了2016年前后,其实通信领域的研究重心已经开始从学术界转移到工业界。这个变化,学生身在学校里很难真正意识到。

左林右狸:有资料说,你读博前三年研究没有丝毫进展,没有SCI,也没有奖学金。

丁文伯:也不能说完全没有进展,那种说法多少有点“包装”。
我其实一直很努力,导师对我也很好,也会发一些小论文。但我自己知道,那些工作很多时候是导师给一个想法,我把它认真做完。我并没有真正学会怎么从零开始提出一个问题,再把它做成一项研究。
那时候我还很认真地写专利,因为专利比论文容易入手;也会帮导师写项目申请。
我一直是想法很多的人,但当你对一个领域理解得还不够深的时候,很难真正从零开始做研究。那时我对自己最大的判断是:我可能没有从零开始做科研的能力。
直到后来一位师兄带我把一件事情完整做通,我才发现,不是我没有这个能力,而是之前没有找到合适的方法。

左林右狸:师兄是怎么启发你的?

丁文伯:我举一个特别通俗的例子做类比。
我在清华一直想学游泳,但总也学不会。好不容易选上游泳课,老师第一节、第二节就教很规范的动作,我还是学不会,最后只能退课。毕业前,我找了一个刚刚学会游泳的师弟。他大概花了10分钟就把我教会了。动作当然不标准,游得也不快,但我确实能游了。
为什么?因为他刚刚踩过那些坑,知道一个初学者真正卡在哪里。后来我意识到,科研也是一样。
大概博三的时候,一位刚留校的师兄做完了一篇论文。他把一套还没有完全成型、大概做到七八成的代码给我,说这个方向可以继续做,但剩下20%、30%要靠你自己补。
我第一件事就是把代码跑通。后来发现,在一些边缘场景里,性能甚至比他预想得更好,这些是他原来没有注意到的。那时候我才意识到,自己其实还是有钻研能力的。
真正写论文的时候,这位师兄也非常有经验。我记得有一个寒假,我已经回家了,我们几乎每天都在改。40天左右,他帮我改了将近60遍。
那篇论文改完之后,我才真正觉得自己从科研门外走到了科研里面,知道一项好的工作应该怎么做。

左林右狸:2016年博士毕业后,当时拿到哪些博士后offer?

丁文伯:我没有特别大范围地找,最后主要有两个机会,一个是MIT,一个是Georgia Tech(美国佐治亚理工学院)。
MIT做的是信息论,还是传统通信方向,而且非常硬核。Georgia Tech这边,则和清华电子系希望我转方向有关。当时系里虽然有留我的计划,但做通信的老师已经很多,希望我换一个方向。
那个时候我其实很难理解。我会想:我都已经这么努力做到这个程度了,为什么现在又让我换?现在回头看,这是很多更资深的人站在更高的位置给出的中肯建议。但当时没办法,有点“胳膊拧不过大腿”。
MIT我当然很想去。我甚至觉得,如果本科毕业直接出国,大概率也会去申请MIT博士。再后来我太太去了哈佛,她也很希望当时的我选择MIT(这是后话了,所以后来她在哈佛读书那段时间,我经常周末往返亚特兰大和波士顿去给她做饭)。
但最后我没去。因为我当时想了一件事:要做,就做一件不一样的事。如果继续做通信,我大概率很难超过原来的导师,包括MIT那边的导师。既然如此,不如干脆换一个方向。
所以我去了Georgia Tech,开始做偏电子皮肤的研究。现在回头看,这里面确实有很多“阴差阳错”。

左林右狸:在Georgia Tech刚开始的研究方向是什么?

丁文伯:刚过去,王老师(王中林,国际顶尖纳米科学家和能源技术专家)让我做一个软硬件结合的用户身份认证系统
我完全不会。博士期间我主要用MATLAB(矩阵实验室)做算法优化。这个项目是一位师兄留下来的,但之前一直没有完成实时系统,只留下了一个概念和初步原型。
我不会LabVIEW(实验室虚拟仪器工程工作台),也不会NI(美国国家仪器公司)的数据采集系统。只知道大概要先把传感器数据采出来,再写算法,最后做一个界面。
我大概花了一两个星期,从完全不会做到把整个系统跑通。每天就在YouTube上看教程,我记得看的是一位台湾老师讲NI的课程,因为官方说明书我实在看不懂。
刚好当时最新版LabVIEW可以和MATLAB兼容,所以我就用了一个最直接的办法:所有数据采集用NI,所有算法用MATLAB。
最后系统做出来了,界面也做得比较完整。大概一两个星期,我把之前一直没有真正做成的东西做了出来。
从这件事以后,王老师开始对我刮目相看。

左林右狸:你的学习能力非常强。

丁文伯:也是从零开始干,因为压力在那里。

左林右狸:最后为什么没有成为一个典型的材料科学家,而是往传感器和信息处理方向走?

丁文伯:我刚过去的时候,是真的想从头学材料。我一直觉得自己能学,态度也很认真。
但我内心还有一个很现实的想法:做材料太辛苦了。一个实验经常就是大半天甚至一天。我后来发现,很多实验步骤其实可以自动化,所以我就把能自动化的尽量都自动化了。
我也认真跟做材料的同学学过。他们教我喷涂、纺丝,但我发现自己有一个问题——手比较笨。同样的流程,他们一做就能出来,我可能要反复很多次。当然,他们已经接受了本科、博士阶段的材料训练,我是完全从零开始,很多基础知识都没有。
慢慢我意识到,自己大概率不会成为一个非常优秀的材料科学家。但我发现自己很擅长另一件事:系统集成,以及跟不同背景的人合作。
以前组里有人能做出很好的材料传感器,但很难把它做成一个完整、稳定、可复现的系统。这个事情我能做。所以那段时间我的合作非常多。如果我愿意开口,基本不会缺共同一作的论文。
但大概一年半以后,王老师又说了一句话,把我点醒了。他说:“文伯,你不能只是享受和别人合作、一起署名。你得有自己的代表作,要有真正属于自己的东西。”
从那以后,我才真正开始认真想:未来到底要做什么。
当时我经常跟实验室同事吴昌盛讨论,他现在是新加坡国立大学教授。他那时博士快毕业,我的博士后也快结束,我们都在想下一步。
大概2017、2018年,我们开始觉得机器人值得做。但具体怎么做,我们也不知道。反正有空就在想这件事。

左林右狸:为什么觉得机器人这件事值得干?

丁文伯:王老师整个学术版图里,很多方向已经有师兄做得很好,成为代表人物了。我们就在想,还有什么事情是自己可以真正立住的?
当时软体机器人开始受到关注,而且王老师研究的材料天然就是一种柔性传感器,做的人又没有那么多。
本质上还是两个判断:一是这个方向未来有没有机会,二是我们自己的能力和背景能不能做。当时觉得,这件事我们能做,逻辑其实很直接。

02 一个更好的传感器,不会自动带来一个更聪明的机器人

左林右狸:2019年,你回国第一年就建了SSR实验室?

丁文伯:其实2018年我就开始想做机器人,只是还不知道具体做什么,所以先起了一个名字:Smart Sensing & Robotics,简称SSR,也就是“智能感知与机器人”。
我这个人比较喜欢谐音梗。玩卡牌游戏的人都知道,SSR代表“Superior Super Rare,特级超稀有”。我就跟学生开玩笑说,做得好不如选得好,选择有时候比努力更重要,所以就用了这个名字。

左林右狸:当时有定研究目标吗?

丁文伯:大的方向就是机器触觉,但说实话,当时学生和我都很懵。我们不停地问:到底什么叫机器触觉?是做电子皮肤,还是做别的东西?
所以最开始还是从电子皮肤入手,同时延续王老师那套摩擦电的技术路线,也做出了一些比较有意思的工作。

左林右狸:选择机器触觉,和你博士期间做通信研究有关吗?

丁文伯:最初选择机器触觉,跟博士期间的通信研究关系其实没有那么大。当时更多还是在判断,未来哪里有机会。
但真正让我后来能在机器触觉这个方向立住,确实有两个工作,而且都跟我之前的积累有关。
第一个是MTSensing,基本可以看作博士后工作的延续。
2018年我和吴昌盛决定开始做机器人以后,他因为计划去另一个地方做博后无法专门关注触觉,我很快会独立能够自由选择方向,所以我就先做触觉。我们发现,王老师提出的摩擦纳米发电机,本身就很适合拿来做触觉。
但一开始也不知道具体能做什么。一路做到2020、2021年,最后把它做成了一个完整系统,用单个柔性摩擦纳米发电机,同时识别物体的材质和纹理。
第二个方向,是后来转向视触觉传感器
MTSensing做完以后,我们碰到一个很现实的问题:电子皮肤本身可以做得很好,传感器也可以做得很漂亮,但真正制约系统的,往往是皮肤后面的芯片、电路、模数转换这些东西。
我是电子技术背景,所以很早就意识到,这里会成为瓶颈。但集成电路又是我当时做不了的事情。这个领域跟纯软件不一样,里面有大量依赖长期经验积累的东西。
大概2019、2020年,我们开始关注视触觉。契机是我的一个学生。他原来就在做视触觉,进组以后希望继续。我有一天突然问他:为什么这么多年,视触觉基本都围绕红、绿、蓝三色可见光来做?
我博士期间做过可见光通信,所以我的直觉是:通信的频谱这么宽,为什么视触觉只能用可见光?为什么不能增加紫外、红外,甚至其他波段?
我简单查了一下,发现没人这么做,而且我们有能力做。这个问题一打开,后面很多工作就顺着出来了。
大概从2021年开始,我们沿着多光谱视触觉一路往前做,包括后来发表的M³Tac,以及今年发表在 Nature Sensors 上的SuperTac。
SuperTac本质上是一套多模态触觉系统,把多光谱成像、摩擦电感测和惯性测量等技术结合在一起,让机器人同时感知力度、位置、温度、材质、纹理、颜色、振动、滑动、碰撞、接近等多种信息。
所以回头看,这两条研究线其实很清楚:MTSensing更多延续了我的博士后积累,多光谱视触觉则把我博士期间做通信、博士后做传感器的知识重新接了起来。

左林右狸:实验室从做传感器到具身智能,具体转折在哪一年?

丁文伯:2022、2023年前后开始有变化。
我一开始对“具身智能”这种新词其实很谨慎。学术界这些年不断出现新概念,从压缩感知到Transformer,我的态度一直差不多:有用就用,没有必要为了追热点去凑。
当时组里已经有几篇不错的硬件工作,几个学生跟我说:“丁老师,做硬件太苦了,我们想做具身智能。”
丁文伯:你猜我怎么说?

左林右狸:你会让他们先把手上的硬件工作做好?

丁文伯:没有。我说,那你就去做。
我的想法很简单:如果你做成了,那实验室就多了一条路;如果做不成,大概率自己还会回来。结果三个月以后,学生回来跟我说,他们“做不了具身智能”。
但我一直觉得,没有必要一开始就把一个人的可能性扼杀掉。他愿意尝试,说明他对这个方向有兴趣。这可能也受我自己读书经历的影响。我的导师以前也很少直接否定我想尝试的事情。

左林右狸:学生说做硬件太苦,当时具体做什么硬件?

丁文伯:我们组从系统、材料、硅胶,到器件制备、嵌入式、算法,基本都做。
为什么很多学生更愿意做计算机视觉?因为跑代码、调参数,今天有了各种AI编程工具以后,门槛还在进一步降低。硬件不是这样,很多事情必须一点一点做出来。
以前甚至还有一条“鄙视链”:做算法的看不上做硬件的,做硬件的看不上做材料的,做材料的又看不上做化学的。
但真正做机器人以后会发现,这些东西最后都得接起来。

左林右狸:为什么一个更好的传感器,不会自动带来一个更聪明的机器人?

丁文伯:很多做传感器的人本身是硬件背景,我觉得未来这个思路必须改变。
在我的课题组里,我一直要求做软件的人尊重做硬件的人,做硬件的人也必须非常开放地和做软件的人合作。
我记得一位机器人前辈跟我说过:不要看现在大家都讲具身智能,对于真正做机械的人来说,只要给一个固定任务,他一定能把机构设计得足够好,效率甚至可以超过人。
我当时也认同这个判断。但现在做泛化机器人的人又提出了另一套思路。AI出来以后,其实所有人都在被重新教育。

左林右狸:请总结一下SSR实验室成立以来,研究方向转换的几个节点。

丁文伯:2022、2023年算第一次明显变化。
那时大家都觉得做材料、做器件太辛苦,开始想转向人工智能和具身智能。但当时组里的学生总体还是偏机械、硬件背景,真正做具身智能的能力没有那么强。
到了2024年,我开始意识到:我们已经把传感器做到了很好的水平,但一个最好的传感器,依然不会自动产生智能。可能我们过去对“智能”的理解本身就有偏差。所以从那时开始,我充分鼓励学生,也包括我自己,去学习AI,同时开始大量招做AI的学生。
2022、2023年,我们可能只招过很少的纯AI学生;到了2024年,我印象里新招的学生基本都偏AI方向。但本科是计算机,不代表真的懂AI。所以我会把一些学生送到我认为最好的团队和公司去学习,包括字节、小米等。一个学生如果本身是好苗子,只是缺某项能力,我宁愿让他先去这个领域最好的老师、最好的团队学习,再回来跟我一起做事。
我后来发现,这种方式效果很好。培养学生的目标应该是让他成长,而不是把他攥在手里变成自己的资源。
2024年是一个明显的转折。到2025年,我们进一步意识到,机器人触觉可能需要一套自己的模型。但紧接着发现,连数据都没有。所以我们又开始做数据采集。
到了今年,我更关注的是未来触觉模型到底应该长什么样。这可能是我未来三到五年最想研究的问题。
你说方向变了吗?我觉得其实没有。我不会因为今年大家说世界模型火,就马上宣布自己也要做世界模型。
今年年初很多人都在讲世界模型,我其实一直比较谨慎。
触觉是我绕了很久以后,才真正找到的一件自己特别感兴趣、也特别愿意长期做的事情。它不是因为某一年火了我才去做。只要没有特别大的外力推动我改变,我应该会一直做下去,在触觉里面继续寻找新的问题。

03 触觉智能是一种边端智能

左林右狸:对你而言,一个触觉传感器是材料器件,还是信息系统?

丁文伯:它首先是一个信息系统。我一直都是这么理解的。
大概2023年前后,我们SuperTac原型已经做得差不多了。当时我们就觉得,这项工作会成为触觉领域一个比较重要的里程碑。
无论模态种类还是系统能力,当时都没有太多人这么做,到现在我们也认为它在学术界和产业界都属于比较领先的水平。
但也是那个时候,GPT-4前后的一系列变化对我刺激很大。我每周三上信号处理课,美国时间周二晚上经常刚好有GPT的新版本或者新能力发布。结果我周三下午去上课,就会发现这个东西又变了。
连续上了一两年以后,我甚至产生一个感觉:这门课是不是都不用再这么上了。我做传感器从来没有这种感觉。传感器有人真正用起来,它才有价值;没人用,再好的性能也没有意义。
但AI和大规模数据展现出来的Scaling能力,确实非常强。所以后来我跟学生说:我们不光要造最好的传感器,还要让这个传感器产生足够多的数据。只有这样,触觉才能真正往前走。

左林右狸:纯视觉抓取的问题在哪里?

丁文伯:最直接的问题是容易出现位置偏差。比如视觉估计深度不准,机器人就可能抓不到。很像你在水下抓鱼,里面有折射、反射,看到的位置和真实位置并不完全一样。
但实事求是地讲,这些问题在很多工业场景里并不是主要矛盾。透明物体检测、透明物体堆叠,在工业和生活里的占比可能只有1%。从概率上看,大部分场景视觉已经做得非常好了。
自动驾驶也是一样。你总能找到一些特殊情况,比如全反射玻璃、强光,让纯视觉方案失效,这时候激光雷达可能更可靠。
触觉也是同样的逻辑。视觉可能已经解决了99%的问题。单靠触觉去摸一个东西,准确率未必能到90%,可能30%、40%就不错。但视觉和触觉结合,可以继续提高整个系统的准确率和安全性。

左林右狸:那触觉信息进入的是机器人决策哪个环节?

丁文伯:我认为主要有两个。
第一是防碰撞和安全
我们现在讲可信AI,一方面模型本身要可信、稳定;另一方面,机器人真正进入物理世界以后,碰到一个物体、一个人,不能造成伤害,这种安全反馈很大程度上要依赖触觉。
第二是手内灵巧操作的后训练
我认为触觉在后训练阶段引入,效率会比较高。预训练本身需要的数据量和复杂度都太大,所以现阶段我们更倾向于:预训练阶段聚焦通用表征与基础能力构建,触觉信息则在后训练阶段引入并深度融合,重点发挥其在灵巧操作中的反馈作用,尤其是对精细动作修正的支持。

左林右狸:今天机器人触觉最大的瓶颈是什么?硬件、数据、模型还是成本?

丁文伯:都有。
首先是传感器一致性。哪怕都是视触觉传感器,或者都是电子皮肤,同一批次生产出来的传感器,性能都可能不完全一样。结果就是,一个模型往往只能锚定某一种传感器继续训练。
所以我们下一阶段很想解决一个问题:未来能不能让不同传感器产生的数据,在进入模型以后拥有相似的有效特征。这是未来两三年甚至五年都值得解决的问题——跨传感器、跨模态、跨本体。
成本也很重要。未来如果触觉传感器能够做到非常便宜,甚至像日抛眼镜一样“一拉即用,用完即抛”,也是一种可能。
从第一性原理看,人类触觉的信息量没有视觉那么丰富,但效率非常高。现在的问题是,如果直接把触觉和整个视觉模型融合,要么产生大量冗余,要么关键触觉信息反而被淹没。这个问题我现在也还在思考,实话说。
短期我们会采取一个折中方案:先把某一种多模态触觉传感器或者触觉方案做好,再和现有模型融合。
但从长期来看,我认为触觉可能需要一套自己的模型和逻辑,更像人的脊髓,或者一套低层级、快速响应的神经系统。

左林右狸:触觉数据最小基本单位是什么?

丁文伯:这是一个好问题。但我现在反而觉得,不应该急着用“最小单位”去定义触觉数据。
我们更关注的是,触觉数据到底应该怎么做表征和嵌入。最近我还准备找一些做神经科学的老师一起研究这个问题。如果只从物理意义上讲,一个像素上有多大的力、温度是多少、有多少剪切力,这些当然都可以作为基本信息。
但真正转成机器人能理解、能用于控制的信息以后,最后有用的东西可能反而是一个等效六维力。手掌上可以布很多触觉传感器,真正进入操作和感知模型以后,哪些信息才有效,这是另外一个问题。
早期很多做机器人控制的人会说:你不用给我触觉,只给我关节六维力,我也能做精准控制。
我觉得这里中间一定还有差距。所以我现在不急着定义“触觉的最小基本单位”。你今天定义完,明天可能就有人做出新的东西把它推翻。

左林右狸:不同传感器、不同材料、不同机器人产生的数据,怎么统一?

丁文伯:我们最近有一些初步想法。
比如先找一些和具体传感器无关的参数,把不同传感器的数据转换成某种共同的信息,再进一步研究一些二阶参数。这样可以尽量减少传感器校准误差,以及不同传感机理造成的差异。
这部分研究还比较早,也比较前沿,现在不太方便讲太多细节。但我觉得这个问题非常值得做。

左林右狸:触觉数据质量应该怎么评价?怎么判断一组数据有没有训练价值?

丁文伯:最直接的标准,就是它到底能不能训出一个有用的模型。比如完全不用视觉,只靠触觉,机器人能不能完成一些任务。如果能做到,这就是一个很直接的评价。
真实采集过程中,也会遇到明显的问题。比如我们明明知道某个位置没有发生接触,但传感器突然产生了信号。从模型训练的角度看,这就是比较脏的数据。
但我还有一个比较激进的观点:人类并不是靠绝对精准来做事情的。比如妈妈让你练毛笔字,不可能要求你每一次落笔都精准到同一位置偏差小于毫米。
很早以前,有几家做大模型训练的公司跟我们提要求,说你的触觉数据必须精准到亚毫米,我们才能训练。我当时就在想,那可能是因为模型本身还不够强,所以才对数据精度要求这么高。
我们现在越来越认为,数据的高质量、多元化和多模态,比“绝对精准”和“全覆盖”更重要。同一个动作,每次采出来的数据都可能不一样。但重复训练以后,模型反而可能自己学到:哪些变化不重要,哪些信息才真正关键。这种差异性本身可能就是有价值的。
所以,高质量不意味着完全一致,也不等于高精度。当然,现在模型能力有限,数据量也有限,所以高精度仍然是一个现实问题。
但我一定不认为:高精度等于高质量。

左林右狸:你之前提到说触觉未来可能需要自己的模型。触觉原生智能和视觉、语言的原生智能,根本区别在哪里?

丁文伯:这个问题我最近确实认真研究过,还专门找了一些神经科学、神经调控的老师讨论。
从大脑机制来看——我说得不一定完全准确——视觉感知更多依赖大脑皮质层,它能够承载非常丰富的信息。但现在有一些研究认为,人类和动作、导航、跌倒平衡、操作相关的能力,可能还依赖更深层的大脑结构。
他们给我看过一个经典实验:去除一只小猫部分皮质层以后,它可能无法很好地感知颜色或者复杂视觉信息,但依然可以在迷宫里穿梭,甚至跳跃。
所以我觉得这至少说明一件事,触觉代表的不只是“另一种感知模态”,它和运动能力、空间交互能力绑定得非常深。未来它可能需要和视觉系统分层,甚至形成一套相对独立的架构。
还有一个更直观的例子。人跌倒的时候,会本能地伸手撑住。你甚至还没有意识到发生了什么,身体已经完成了反应。所以我认为,触觉未来一定会往边端走。你可以叫边缘计算,也可以叫边端智能。
触觉的感存算一体,甚至可能比视觉更加迫切,因为它追求的是高效、快速和低延迟。而且触觉数据本身没有视觉那么丰富,所以触觉模型也不应该简单照搬视觉路线。
我觉得至少有几个要求:轻量化、解决学习冷启动,以及更强的泛化能力。

左林右狸:那你怎么看现在的VLA?它最明显的能力边界在哪里?

丁文伯:我不太愿意给VLA划一个特别明确的能力边界。因为你今天说“边界在这里”,很快就会有人证明它还能继续往前走。
但有一点比较明确:现在的VLA在很多任务上,还做不到像人一样自然,尤其是灵巧操作。夹爪相对容易,因为动作空间比较简单;但灵巧手自由度一高,动作复杂度和自然程度就会明显上升。
现在也有很多人在研究VTLA(在VLA基础上引入触觉tactile),也就是把视觉、触觉、语言和动作结合起来。但也有人跟我吐槽,一加触觉,原来的VLA反而“崩了”。
有人问我,世界模型和VLA到底哪个更强,甚至有人说不应该做VLA,应该直接做世界模型。我对这种说法持否定态度。
VLA是一个蛮solid的逻辑,像早期Transformer(一种深度学习架构)、diffusion policy(扩散策略)一样,一定会在具身智能(历史)长河里留下浓墨重彩的一笔。

左林右狸:为什么对世界模型持否定态度?

丁文伯:(震惊)因为它是个概念啊。
它有点像元宇宙,像spatial intelligence(空间智能),它不是一个technical的代名词,而是一类能力,比如prediction,基于现在状态预测。但早期的Markov decision policy(马尔可夫决策策略)、reinforcement learning(强化学习),也可以做类似事情。那你说,它到底要不要叫世界模型?

04  我们想做好可信物理智能真实落地的生意

左林右狸:第一次认真产生成立公司的想法是什么时候?

丁文伯:2025年年初。

左林右狸:当时是遇到什么学校解决不了的问题吗?

丁文伯:主要有两个。
第一,算力不够。在学校里做一些事情,卡就是不够。
第二,我本身也一直比较关注工业界,因为我们做的很多研究还是偏工程。那时候已经有一些学生被我们送去企业实习。
另外还有一个契机。当时有一家现在估值已经进入行业前三的具身智能公司,希望邀请我去做首席科学家,邀请我的也是很好的朋友。
我想了很久,最后觉得,与其去成熟的公司做首席科学家,不如尝试 0-1重新创办一家。

左林右狸:你、熊祺、陈天行三个人最初怎么分工的?

丁文伯:最开始,熊祺主要负责公司运营,天行负责模型交付和评测,我更像是负责一个前沿研究团队。
学校里的一些知识产权和正在做的研究,需要明确区分。有些工作太前沿,不适合直接放进公司,就继续留在学校;有些工作已经相对成熟,可以进一步产业化。
也有一些学生愿意到公司实习,所以学校和公司之间会有这种人才和研究上的互动。
当然,我过去的经历决定了,我也不是一个典型意义上只做研究的研究者。所以在公司里,商业拓展和战略制定,我和熊祺也都会比较深地参与。

左林右狸:你们提出了“慢脑 VLM—快脑 VTLA+TWAM—脊髓 VTA”三层协同架构,分别负责高层认知、物理执行及安全兜底。这个灵感是来自生物神经系统,还是自动驾驶里面的一套分层架构,感知、决策、控制?

丁文伯:都有。熊祺是自动驾驶背景,过去在蔚来做过交付,对自动驾驶里的安全架构比较熟悉。
但“脊髓”这个概念是我提出来的。自动驾驶里可以用独立的主动安全系统做防碰撞,但具身智能不一样。机器人很多任务的前提就是要发生接触。
既然一定会碰,就必须有一个“脊髓级”的系统,在接触发生以后快速反应。
我一直有一个触觉类脑计算的想法。未来触觉应该有更高效的底层计算逻辑,它和视觉大模型之间,可能需要有一个比较明确的层级区分。

左林右狸:那触觉信息在这套架构里进入哪一层?

丁文伯:主要是两层。
首先,触觉不是“慢脑”的核心。慢脑更多负责语义理解、高层认知和想象,可以类比人的大脑皮质。
触觉首先进入“快脑”。因为快脑要做灵巧操作,尤其是长程任务里的灵巧操作。如果没有触觉,很多真正发生接触的任务就很难完成。
但到了“脊髓”这一层,触觉是核心。遇到危险要及时躲避,物体快掉了要迅速抓稳,这些都需要触觉。
所以大概是这样一个分层:脊髓追求极致的快,不要求信息特别丰富;快脑需要更丰富的多模态信息;慢脑更多负责思考和理解。
比如拧魔方、摆杯子、摆盘子,真正操作的时候要靠快脑和触觉;慢脑更多决定你为什么要这么做、下一步做什么。

左林右狸:脊髓VTA,它和传统工业机器人里面的力控急停有什么区别吗?

丁文伯:传统力控或者急停,我理解更多还是基于比较简单的等效量,比如单点力的大小。这和过去传感器能力、处理能力有限有关,所以系统只能关注少量信息。我们设想的VTA或者“脊髓级”系统,前提是能够获得更丰富的触觉信息。
当然,我不会简单说两者完全不一样。很多科学和工程思想本质上是相通的。
区别主要在信息丰富度。脊髓VTA拿到的不只是力,也可能包括温度、滑动、接触状态等信息,它本质上是一种多模态触觉系统。

左林右狸:为什么市场需要第三方具身模型评测?

丁文伯:评测其实分两类。一类是模型量产交付、或交付到具体场景应用时做的质量评测,这是质量管理问题,交付团队自己就要做好,就像工厂的出厂检验,不需要别人替你做。
真正需要第三方的是另一类:横向比较不同团队的模型和算法。这就像比赛,自己既是运动员,又是裁判员,显然不合理,必须有独立的第三方来保证公平。汽车也一样——每家车厂都要做自己的质检,但安全星级要由独立机构来评,不然每家都说自己的车最安全。
我们现在把这类评测放在独立的第三方非营利组织里,也是希望通过评测建立一个共同生态,减少行业里一些没有必要的重复竞争。

左林右狸:现在收入占比较大的业务是数据还是整机?

丁文伯:我们的主要业务是原生触觉模型和整机服务,我们希望做好可信物理智能真实落地的生意。数据作为模型训练的infra,我们也有一定的商业化探索。

左林右狸:数据采集的成本最大在哪一块?

丁文伯:目前最大的成本还是硬件。因为我们还在重新定义下一阶段的触觉硬件到底应该是什么,所以现阶段没有特别着急压成本,而是尽量使用最好的传感器先把数据做出来。
我们现在首先考虑的不是怎么把传感器做便宜再卖出去,而是先把方案跑通。

左林右狸:你们的数据和其他公司有什么优势?

丁文伯:一个比较重要的点是,我们自己懂模型。因为懂模型,所以会更清楚什么样的数据真正有训练价值,目前交付效率会比较高。
比如客户采购100小时数据,提出一套标准,最后可能有90%的数据真正有效,这种交付效率我们是可以做到的。有些情况下,行业里采100小时数据,最后可能只有20小时真正能用。
这跟我们长期做评测也有关系。评测让我们能够比较平等地看到不同模型各自的长处和短板,也会逐渐知道什么样的数据对什么样的模型更有效。
这种能力反过来会加深我们对数据的理解。

左林右狸:你认为Xspark AI和其他公司相比,竞争优势、劣势分别是什么?

丁文伯:我一直承认,市场上的很多团队都很强,每一家都有自己特别突出的地方。
如果说我们有什么特点,我觉得首先是三个创始人的想法比较同频,彼此之间信任也很强。
天行很年轻,身边聚集了一批非常优秀的年轻学生,这些人是真的会为了技术本身去追求极致。我在清华待了比较久,也有很多学生愿意跟着我一起探索一些未知的问题。熊祺过去在不同公司、不同阶段都做过事情,很多人是认可他的能力以后,愿意降低原来的薪酬水平加入我们。
技术上,我也相信团队是有竞争力的。
我跟熊祺说过一句话:我们只要“意念合一”,很多困难都能克服。如果一定要说不足,可能就是我们三个都不太擅长宣传,显得没有那么“吸引眼球”。
雷峰网 雷峰网(公众号:雷峰网)

预告


关于丁文伯,左林右狸还准备了另一篇《我所知道的丁文伯》。相比这篇对话聚焦触觉智能,另一篇更关心他一路走来的那些偶然与转折:2010年,他如何错过汤晓鸥的一次选拔,后来回看仍觉得是个“很stupid”的决定;赴美访学期间,又如何在一个圣诞节偶然重逢王中林团队的高中师兄;以及在不同阶段,哪些老师、同学和合作者真正改变了他的研究选择与人生走向。

(欢迎添加作者微信:lqy4605)

我们欢迎所有能为左林右狸提供新观点新角度新信息的群友,加入我们的实名制社群,与左林右狸一路同行。管理员微信号:leiphonelinli,备注公司-职位-称呼通过更快。

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

相关视频

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

往期推荐

Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人
Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

对话斜跃创始人陈伟:把天花板拉高再捅破,进入家庭是一场「无限游戏」


Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

具脑磐石朱森华:仅有海量数据堆不出像人一样聪明的机器人|世界模型50人


Xspark AI 丁文伯:触觉替代不了视觉,但机器人需要一套自己的“脊髓” |物理AI 50人

我所知道的张磊:一场MSRA赛马与半个中国AI江湖


雷峰网原创文章,未经授权禁止转载。详情见转载须知

分享:
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说