0
| 本文作者： 齐铖湧 | 2026-07-09 10:51 | 专题：ICML 2019 |
作者丨齐铖湧
编辑丨岑 峰
7月8日下午一点， ICML 2026 时间检验奖颁奖仪式在首尔举行。
由 Google DeepMind 团队于 2016 年发表在 ICML 的《Asynchronous Methods for Deep Reinforcement Learning》获奖，这篇巨作的一作 Volodymyr Mnih （业内常称 Vlad）亲临现场领奖，并发表深刻言论。
AI科技评论，在 ICML 2026 首尔会场亲历了这场演讲（文末附上演讲内容），Vlad 的获奖发言，没有停留在回顾10年前的工作，反而用大量篇幅复盘了研究背后的思考与局限，给当前学者研究哲学与行业判断的启发。
01
Vlad 在现场提到的第一点，是“约束，永远是创新的第一驱动力”。
他在发言中直言不讳：“如果当时我们有充足的 GPU，大概率根本不会做这项工作。”
这项改写领域的研究，并非源于宏大规划，而是来自现实的算力约束：DeepMind 接入谷歌初期，数据中心尚无 GPU，只有大量多核 CPU。正是 “无 GPU 可用” 的限制，倒逼团队跳出 DQN 路线，探索出异步并行方案，意外推开了深度 RL 规模化的大门。
Vlad 在 ICML 2026 现场的这段回顾，似乎在影射当下具身和大模型的行业现状。
Vlad 提到的第二点感悟，是“最持久的影响，往往来自 “最小创新””。
他在发言中引用 Ilya Sutskever 的评价总结这篇工作：“最小的创新，最大的影响。”
看似自谦，但客观来看，A3C 论文中确实并没有石破天惊的全新理论：异步并行、演员 - 评论家、多步回报、熵正则，每一个组件都是此前就已存在的思路。
论文真正做的，是把这些已知想法组合起来，用极其扎实的对比实验验证了效果，打磨每一个实现细节。
这也能给当前 AI 研究一些启发，当下“创新焦虑” 弥漫在整个学术领域。本届ICML创下了历史性的投稿纪录，共收到 23918 篇有效投稿，较2025年的 12107 篇翻了一倍。很多论文追求复杂的架构设计、花哨的数学包装。
但时间是最公正的筛选器 。
十年过去，真正被全行业广泛使用、沉淀为基础设施的，往往是那些简单、稳定、易复现的基础方法。
A3C 之所以能成为长盛不衰的基准，核心就在于 “简单” 二字。
它好理解、好调试、超参数少、复现成本低，这种特性让它既能成为研究的起点，也能成为工程落地的首选。
最终胜出的，永远是能更好利用算力的方法。
第三点，是规模化相关内容。Vlad 在发言中提到一个细节：当年的实验结果已经清晰展现出 “算力增加、收益稳定提升” 的规律，但身处其中的他们，当时并未完全意识到这件事的分量。直到后来 Rich Sutton 提出著名的 “苦涩的教训”，你看，最终赢得胜利的，永远是那些能充分利用数据和算力的方法 ，人们才回头发现，A3C 正是这个规律在强化学习领域的早期注脚。
但他同时坦诚了 A3C 的局限：它能很好地随算力扩展，却无法很好地随模型尺寸扩展。这个问题最终由后续的 IMPALA 论文解决。
但这个判断对当下的行业极具参考意义。今天所有人都在谈论 scaling law，但并不是所有方法都能真正高效使用算力。很多精巧的算法设计，规模一大就失效；很多复杂的架构创新，数据量上来后反而被简单方法反超。
今天的具身智能正站在和十年前深度 RL 相似的路口：什么样的算法范式，能真正随着机器人数量、数据规模、模型参数量同步提升？我们一起来看完整版的获奖发言：
02
谢谢主持人，也谢谢 ICML 委员会把这份沉甸甸的荣誉颁给我们。站在这里说实话心里特别感慨 —— 能和往届所有拿到时间检验奖的优秀工作并列，对我和所有合著者来说，都是莫大的荣幸。
今天到场的只有我一个人，很遗憾我的同事们没法都来到现场。不过 Adria 稍后会在线上和我一起完成这次分享。我们想和大家聊聊这篇论文背后的故事，简单回顾一下这项工作本身，也聊聊十年过去，我们回头看的时候，对它的影响、它的局限，都有哪些新的思考。
既然是十年前的工作，咱们不妨先把时钟拨回 2015 年 —— 那时候论文还没发表，绝大部分工作都是在那一年做完的。
现在的朋友可能很难想象 2015 年的强化学习圈是什么样子。那时候深度 RL 的热潮才刚刚冒头，DQN、TRPO 这些早期工作出来之后，大家终于开始对 “神经网络 + 强化学习” 这件事有了期待，但整个领域还远没到爆发的地步。更有意思的是，那时候机器学习圈的领域隔阂特别深：做强化学习的和做深度学习的，几乎是两个各玩各的圈子。
RL 这边的人，一直对非线性函数近似心里打鼓，总觉得把神经网络塞进来，理论和实操上都藏着不少坑；而深度学习那边的很多人，觉得 RL 就是个小众玄学 —— 可能课上学过一嘴，但根本算不上什么通用工具，甚至不少人笃定这东西就不怎么能用。说句玩笑话，就在做这项工作的几年前，我找博士导师的时候，还有好几位老师劝我：别碰强化学习，没前途。
一直到阿尔伯塔大学放出了街机学习环境 ALE，把经典雅达利游戏做成了 RL 的标准测试环境，整个领域才算有了个像样的基准。比起之前那些精心设计的玩具问题，这当然是一大步，但问题也跟着来了：算力需求一下就上去了。
所以 2016 年这篇论文刚出来的时候，很多人都挺意外的 —— 因为这篇文章一半的作者，当年也都在 DQN 的作者列表里。DQN 走的是 Q 学习的路线，而我们这篇工作，几乎是彻底换了条赛道，用的大多都是现成的方法。
很多人问过我们，好好的 DQN 路线不走，为什么要另起炉灶？其实说穿了就两个原因：一个是被逼的，一个是好奇。
先说被逼的那个。DQN 出来之后，我们本来也想在它基础上接着做，想去探索更复杂的环境，还有情景记忆、内在动机这些新方向。但现实很骨感：那时候 DQN 单跑一款游戏，单张 GPU 就得训整整一周。
更巧的是，那时候 DeepMind 刚切换到谷歌的算力体系。大家可能想不到，当年谷歌内部的数据中心，根本还没部署 GPU。我们手里有的，是一整个数据中心的多核 CPU 服务器。靠现有的硬件，我们根本没法按 DQN 的节奏做研究。
但反过来想，CPU 多也是优势啊。我们很快发现，只要能接受单机运行、接受任务时不时被系统抢占重启，其实能同时跑非常多训练任务。现在回头看，恰恰是这个 “没有 GPU 可用” 的限制，把我们逼上了一条新路。
第二个原因，就是纯粹的好奇心。当年做 DQN 的时候，DeepMind 整个研究团队加起来也就二十多张 GPU，我们根本没机会把 RL 算法的各种可能性都试一遍。从 Q 学习起步，跑通了就已经很开心了，同策略、异策略，基于价值、基于策略，这些路线到底孰优孰劣，我们其实没来得及系统地摸一遍。现在有了更多算力，正好能把当年没做完的功课补上。
抱着这样的想法，我们做了这套异步并行的强化学习训练框架。
思路其实很朴素：我们开 K 个独立的 “演员 - 学习者”，每个跑在一个 CPU 线程里，各自有一份本地的模型权重，各自和一份独立的环境交互 —— 比如各自跑一局雅达利游戏。它们自己生成经验，自己算梯度，然后定期把更新同步到一个全局共享的权重上。
最关键的设计是：所有这些更新，我们都不加读写锁。这就是大家常说的 Hogwild 无锁学习的思路 —— 巧的是，这项工作后来也拿了 NeurIPS 的时间检验奖。这么做的好处很直接：最大化训练的吞吐量，同时又不会真的影响算法收敛。
整个框架简单到什么程度？我们那时候用 Lua 写一个最基础的并行 Q 学习智能体，也就一百行左右的代码，上手特别快。
在这个框架里，我们系统测了四种经典的 RL 算法：单步 Q 学习、SARSA、多步 Q 学习，还有优势演员 - 评论家算法，前三个基本都是拿来即用的现成方法。我们把它们和 DQN 放在多款雅达利游戏里对标，结果说实话，我们自己都有点意外：所有异步方法的效果，都好得出奇。
这些结果里有两点特别重要。第一，所有异步方法的学习速度，要么和 GPU 上的 DQN 持平，要么直接大幅超过。第二，也是更关键的一点：它把研究的迭代周期，从 “单 GPU 训一周”，直接压缩到了 “多核 CPU 一天出结果”。
这件事的影响不止于我们自己。那之后 DeepMind 内部很多项目都用上了这套框架，大家能更快迭代、同时跑更多实验，探索了很多新方向。而对整个领域来说，它相当于把深度 RL 的门槛直接拉了下来 —— 哪怕是没有 GPU 资源的实验室，也能做出有意义的强化学习研究了。
当然，细看结果也能发现，四种方法里有一个始终表现最好，一骑绝尘。关于这个方法，我想请我的同事 Adria 来和大家好好讲讲。
03
谢谢 Vlad。
相信大家从刚才的实验结果里也看出来了，四种算法里始终有一个表现稳压其他几个一头 —— 也正是因为它，很多人提起这篇工作，第一反应都是 “A3C 论文”。它就是我们今天要重点聊的：优势演员 - 评论家算法，也就是 A2C。
先给大家捋捋它的基本逻辑。我们还是从最经典的演员 - 评论家框架说起：同一个模型、同一套权重，输入当前的环境状态，会同时输出两个东西：一个是策略，告诉智能体该选什么动作；另一个是价值函数，用来预估从这个状态开始，未来能拿到多少奖励的总和。演员照着策略去和环境交互，一步步收集状态转移的数据；拿到这些数据之后，A2C 核心做三件事。
第一件就是优势估计。什么是优势？简单说就是衡量一个动作，比 “这个状态下的平均水平” 好多少、差多少。 最朴素的做法是单步估计：做完当前这步动作，拿到即时奖励，再加上下一步的折扣价值，合起来估算未来总奖励，再和当前状态的价值做差，就是优势。这个思路还可以延伸到多步：把接下来 k 步的真实奖励都加起来，k 步之后的部分再用价值函数估算，最后再和当前价值对比。它和广义优势估计的思路很像，区别是我们在第 k 步做了显式的自举。
这里其实就是一个经典的取舍问题：k 步设得越大，用到的真实奖励越多，噪声也就越大，方差高；k 步设得越小，越依赖价值函数的估计值，偏差就越高。我们最后选了混合步长的做法，原因其实很实在：一来实现起来特别方便，每走固定步数就做一次更新，代码写起来很顺畅；二来混合步长也能让模型对不同的偏差 - 方差场景更鲁棒，不会在某一类环境里容易崩。(雷峰网(公众号：雷峰网))
第二件事是评论家更新。
说白了就是让价值函数估得越来越准：我们最小化优势值，也就是时序差分误差，来迭代评论家的权重。评论家的目标很纯粹：不管什么状态，都能尽量准确地预测出未来的期望回报。
第三件事是演员更新。演员照着评论家给的反馈，用策略梯度损失和算出来的优势值，去优化自己的策略权重。这里我必须着重提一个细节：我们在损失里加了熵正则项。 这个项的作用，就是鼓励策略保持一定的随机性，别太早收敛成一个死板的确定性策略。很多时候智能体训着训着就 “躺平” 了，早早卡在一个不怎么样的策略里不再探索，就是缺了这一环。别小看这么一个小小的改动，之前不少工作也提过类似的思路，但我们在大规模实验里实打实验证过：有没有熵正则，最终效果差距非常明显，这是一个绝对不能省的实现细节。
说到这儿，也想和大家总结下 A2C 最核心的几个特质。 第一就是效果稳。我们测试了大量环境，它几乎都能交出不错的成绩。也正因为这样，我们后来很顺利地把它从雅达利这种简单的 2D 画面，迁移到了迷宫、赛车这类更复杂的 3D 视觉环境里，效果依然能打。 第二，也是我个人觉得最核心的优点：简单。整个算法拆到底，就是演员和评论家两个清晰的公式，逻辑直白，好理解，也好调试。
也常有人问我，为什么这篇看起来不那么 “玄乎” 的工作，能有这么长久的影响力？我们自己总结，核心就是两点：一是足够简单，二是它第一次实实在在证明了，同策略、不带经验回放的算法，完全可以规模化跑起来。
简单带来的好处是直接的：它复现成本极低。对比一下就知道，DQN 有一整页的超参数要慢慢调，而 A3C 的超参数少得多，不管是工程实现还是科研入门，门槛都很低。也正因为这样，它很快就成了演员 - 评论家方法的事实基准，不光催生了大量开源实现，在当时 DeepMind 内部也成了标配工具。
更重要的是，它成了后续大量研究的起点。往规模化的方向走，A3C 证明了强化学习天然就能吃算力、吃数据，它的训练逻辑和常规深度学习范式更贴合，也为后来的 IMPALA、APEX、AlphaStar 这些大规模系统铺好了路。往算法优化的方向走，V-trace、Retrace 这类策略修正方法，还有后来大家都很熟悉的 PPO，或多或少都受了它的启发。除此之外，大家后来探索的辅助任务、记忆模块这些方向，也大多是在这套稳定的基线上做延伸。
可以说，A3C 提供了一个足够稳定、足够能打的基线，成了之后几乎所有深度 RL 研究绕不开的对标起点。
大概就是这些。接下来还是交还给 Vlad，和大家聊聊十年回头看，我们对这项工作的反思和感悟。
04
谢谢 Adria。
聊了这么多这项工作的亮点和影响，我觉得咱们也得聊聊另一面 —— 十年过去，这篇论文里哪些东西，其实没能经住时间的考验。
大家都知道 A3C 随算力增长的扩展性很好，但我们后来慢慢发现，它随模型尺寸变大的扩展性，其实并不理想。我记得当年 Andrej Karpathy 还发过一条推特说过这个现象 —— 其实这不只是 A3C 或者异步方法的问题，那些年卷积神经网络的所有进展，残差网络也好，批归一化也好，放到强化学习里好像都不太灵。当时这事儿挺让整个领域困惑的。
而我们的异步框架设计，其实还放大了这个问题。
模型越大，生成经验、计算梯度的时间就越长。等梯度算完、再更新到全局权重上的时候，这份梯度早就 “过期” 了。过期的梯度很鸡肋：扔了吧，前面生成的经验都白费了；用了吧，对模型的帮助也很有限。
这个问题，后来是被 IMPALA 论文很优雅地解决了。它的结论很清晰：异步并行收集经验这个思路完全没问题，但别传梯度，传经验数据本身就好。当然，经验传到中心学习者的时候，对应的还是旧策略，依然有 “过期” 的问题，但 IMPALA 证明，用重要性采样做异策略修正，就能很好地解决这件事。
可以说，IMPALA 真正解锁了深度 RL 的大模型时代。从那之后，强化学习才终于能同时在算力和模型规模两个维度上一起扩展。
最后，想和大家分享几个我这十年回头看，最深的感触。
第一个就是：约束，往往才是创新的真正驱动力。说句实在话，如果当年我们手里有充足的 GPU，我们大概率根本不会去做这项工作。正是资源的限制，逼着我们跳出了熟悉的路径，反而走出了一条更宽的路。
第二个感触，就是 “简单” 的价值。就像 Adria 刚才说的，很多时候，那些经过扎实验证的微小改进，反而能产生最长远的影响。
说实话，这篇论文里真的没有什么石破天惊的全新理论。它本质上就是把很多已有的想法组合在了一起，然后做了非常扎实、非常系统的实验验证。但就是这样一项工作，产生了这么持久的影响力。我记得 Ilya Sutskever 说过一句话，我觉得特别适合用来形容它：用最小的创新，实现最大的影响。
但恰恰是这种简单，让更多人相信了强化学习是可行的，相信神经网络加 RL，并不是什么可怕的玄学。
最后一点感触，是关于规模化的。现在回头看当年的实验曲线，其实结果已经写得明明白白：算力加得越多，效果提升就越稳定、越可预测。但说实话，我们身在其中的时候，反而没有完全意识到这件事的分量。
直到后来 Rich Sutton 提出了那个著名的 “苦涩的教训”—— 最终能赢得胜利的，永远是那些能充分利用数据和算力的学习方法。我们回头再看，才发现 A3C 其实就是这个规律，在强化学习领域最早的注脚之一。
十年时间过得很快，很多东西都变了，但强化学习最本质的逻辑一直没变。今天能拿到这个奖，对我们来说是肯定，更是提醒 —— 提醒我们做研究最朴素的那些道理。
我的分享就到这里，谢谢大家。
05
十年过去，深度强化学习早已走出雅达利游戏的玩具环境，深度融入大语言模型对齐、具身智能、自动驾驶、工业控制等真实产业场景。但 2016 年的这篇论文，非但没有随着技术迭代而过时，反而愈发显现出其基石般的价值。
它首先是大规模强化学习的范式源头。今天大模型 RLHF 的分布式训练、具身智能中的多机器人并行数据采集、自动驾驶的仿真并行训练.
如今成为 RLHF 标配的 PPO 算法，其演员 - 评论家框架、优势估计、熵正则等核心组件，都早在 A3C 中被系统验证与普及。可以说，当代几乎所有大规模强化学习的落地应用，都站在这篇论文的肩膀上。
更深层的价值，在于它提供了对抗学术浮躁的参照系。
它告诉所有后来的研究者：好的研究不一定需要颠覆性的理论，把已知的道理做对、做实、做透，同样可以产生深远的行业影响。
今天的具身智能，面临着和十年前深度 RL 高度相似的处境：环境复杂度高、研发成本昂贵、技术路线分散，所有人都在摸索下一个突破口。A3C 更像是一份穿越十年的行动指南：
不要被现有资源束缚，约束中往往藏着最优解；
先把简单的基线做扎实，再谈复杂创新；
优先选择那些天然能随数据和算力扩展的方法。
从雅达利像素到真实物理世界，应用场景变了，但强化学习的底层逻辑从未改变，那些简单、稳定、解决真问题、可规模化的方法，最终会走得最远。
十年一轮回，ICML 把时间检验奖颁给 A3C，既是对一项经典技术工作的致敬，也是对一种长期主义研究哲学的肯定。在所有人都急于追逐下一个颠覆性创新的今天，回头重读这篇十年前的论文或许会发现：
真正能穿越技术周期的，从来不是一时的热度与花哨的概念，而是那些尊重基本规律、解决真实问题的简单力量。(雷峰网)
一个人读论文太孤单，一群人刷顶会才好玩。
ICML 2026 召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。
? 进群传送门： 扫码进群或添加微信Vin_Vivid，备注：论文群 + 关注的 AI 方向。
搞科研/搞技术，信息差很重要。
来，一起快人一步！
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
扫描上方二维码
或点击「阅读原文」关注专区。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
专题
