0
| 本文作者: 丛末 | 2026-07-07 18:45 | 专题:ICML 2019 |

2026 年 7 月 6 日上午,第 43 届国际机器学习大会(ICML 2026)在韩国首尔 COEX 会展中心正式拉开帷幕。作为机器学习领域全球最具影响力的学术盛会之一,本届会议吸引了超过 11000 名来自世界各地的研究人员齐聚首尔。开幕式现场人潮涌动,参会者挤满了 COEX 的展厅与报告厅,场面极为热闹。

本届ICML创下了历史性的投稿纪录——共收到 23918 篇有效投稿,较2025年的 12107 篇翻了一倍。最终,会议共接收了 6352 篇论文,录用率为26.6%。其中,536篇论文入选Spotlight 论文(占投稿总数 2.2%),仅168篇获得Oral报告资格(仅占0.7%)。
在投稿规模与录用数量双双破纪录的背后,曾有一个小插曲给学术界带来了一点“小震撼”:497 篇论文在评审阶段被直接“桌拒”(Desk Reject),占投稿总数的约 2%。
事件的导火索是 ICML 组委会在审稿意见中检测出 795 处违规使用大语言模型(LLM) 撰写评审意见的行为,涉及 506 名审稿人。根据ICML于今年1月发布的同行评审新规——若审稿人未能履行职责,其名下所有投稿论文均可能被直接拒稿。因此,组委会对这批既是违规审稿人又是投稿人的 497 篇论文,予以了一刀切的拒稿处理。

截图自https://blog.icml.cc/2026/03/18/on-violations-of-llm-review-policies/
据 ICML 官方回应,他们并非全面禁止在审稿中使用AI工具,而是要求严格遵守相关政策。然而,此次被处罚的审稿人,均是在签署了“不使用LLM”协议的前提下依然违规使用,且未作任何标注。为锁定违规行为,组委会在提交的 PDF 论文中嵌入了水印,并采用了“更为复杂的综合研判手段”,而非依赖单一的AI检测器。
这一“连坐”式的严厉处罚旋即引发激烈争议。支持者认为这是捍卫学术诚信的必要手段;反对者则质疑AI检测器存在误报风险,可能导致无辜学者被“冤杀”,并尖锐地提出:如果审稿意见本身质量过硬,是否真的有必要追究其是否由 AI 撰写?
这场关于“工具”与“诚信”的争论,至今仍在发酵。但风波之外,ICML 2026 现场人声鼎沸,Panel、Tutorial 等议程此刻正接踵召开,ICML 2026 各项大奖也重磅出炉。
▎杰出论文奖(Outstanding Paper Award)
首先引人关注的是本届会议的杰出论文奖(Outstanding Paper Award),共有两篇当选。

《The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models》这篇出自清华大学黄高教授团队的论文,对扩散语言模型(dLLMs)的固有设计理念发起了一次深刻的“灵魂拷问”。
长期以来,dLLMs因其能够以任意顺序生成token而备受推崇,被认为具有更大的灵活性。
然而,黄高团队通过大量实验发现了一个反直觉的现象:在数学推理、编程等通用推理任务中,这种“顺序自由”反而成了性能的拖累。模型会利用这种灵活性“逃避”生成高不确定性的关键token,导致解空间过早坍缩,无法探索更优的解。团队将这一现象命名为 “灵活性陷阱”。
更令人称道的是,他们提出的解决方案 JustGRPO,极简却有效:在强化学习阶段,强制模型放弃复杂的任意顺序策略,仅使用标准的从左到右自回归顺序,也就是群组相对策略优化(Group Relative Policy Optimization, GRPO) 进行训练。
实验结果显示,该方法在 GSM8K(512)数学推理基准上达到 89.1% 的准确率,在 MATH-500(512)上达到 45.1%,且完整保留了dLLMs的并行解码能力,不牺牲推理速度。

这篇论文的最大亮点在于其批判性与颠覆性——它敢于挑战“灵活性越大越好”的行业共识,用严谨的理论分析和实验证据,揭示了一个被普遍忽视的失效模式,并以一个干净利落的方法加以解决。这充分体现了华人团队敏锐的洞察力和扎实的工程实现能力。
来自MIT和耶鲁大学的论文《High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions》从理论层面解决了扩散模型采样的一个长期悬而未决的核心难题:在仅拥有不完美的分数估计(score estimates)时,能否用极少的采样步骤达到高精度?这篇论文的作者给出了肯定的答案,并提出了一种全新的用于扩散模型采样的算法,在能够访问 Õ(δ)-精度的 L² 得分估计(score estimates)的前提下,仅需 polylog(1/δ) 步即可实现 δ-误差。这是对所有先前结果的指数级改进,意味着模型达到同样高精度所需的计算量大幅减少。
论文给出了三种不同数据假设下的具体复杂度界限:
最小假设:Õ( d · polylog(1/δ) ),仅依赖数据维度 d;
非均匀 Lipschitz 条件:Õ√(dL) polylog(1/δ) ,利用分布的光滑性进一步加速;
内在低维结构:若数据分布具有内在维度 d,复杂度可降至 Õ( d · polylog(1/δ) ),实现维度自适应。
值得一提的是,该算法不仅适用于扩散模型,还首次实现了仅靠梯度评估即可达到 polylog(1/δ) 复杂度的通用对数凹分布采样。这为贝叶斯推断、统计采样等广泛依赖对数凹分布抽样的领域提供了理论上的突破性工具。
获得杰出论文荣誉提名(Outstanding Paper Honorable Mention)的论文有五篇,均在各自领域作出了突出贡献。

论文《The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes》,在RLVR(Reinforcement Learning with Verifiable Rewards,带可验证奖励的强化学习) 背景下研究如何通过白盒欺骗探测器促使AI系统变得诚实。论文作者提出通过强 KL 正则化与检测器惩罚来有效抑制混淆行为,并在真实代码环境中验证了该方法的可靠性。
论文《Motion Attribution for Video Generation》聚焦视频生成模型训练数据如何影响生成内容的运动特性这一空白,提出Motive框架,通过运动加权损失掩码,将视频中的时间动态与静态外观分离开来,利用基于梯度的归因方法筛选关键数据,在VBench上获得74.1%的人类偏好胜率。
论文《How much can language models memorize?》探讨了语言模型能记忆多少训练数据的问题,提出了一个基于模型参数数量与训练数据量比例的理论框架来量化记忆能力,发现GPT类模型的记忆容量约为每参数3.6比特, 语言模型的记忆容量大致与模型参数数量成正比,且存在"临界比例"——当训练数据量超过模型参数量的某一倍数后,模型会开始遗忘而非继续记忆新数据。
论文《A Random Matrix Perspective on the Consistency of Diffusion Models》利用随机矩阵理论,系统解释了扩散模型在不同数据子集上训练后仍能生成相似样本的“一致性”现象。作者将模型简化为线性情形,通过确定性等价方法精确刻画了有限数据集对生成输出的影响,发现输出主要由数据的共享高斯统计量(均值和协方差)决定,而数据子集的随机波动仅通过三个因素(数据各向异性、输入噪声结构、样本量)影响生成差异。理论预测不仅能精确匹配线性扩散模型,还能在UNet和DiT等深度架构中定性验证,从而为扩散模型的训练可重复性、泛化性和数据效率提供了首个理论基线。
论文《To Grok Grokking: Provable Grokking in Ridge Regression》首次为“Grokking”现象提供了严格的数学证明,将这一经验观察提升到理论可解释的高度。通过在过参数化的岭回归模型中建立端到端的理论框架,论文不仅精确刻画了模型从过拟合到泛化的三阶段动态过程,更首次量化了“Grokking延迟时间”与学习率、权重衰减等超参数之间的定量界限,从而从理论上证明了通过调节超参数可以有原则地控制甚至消除该现象,并表明Grokking并非深度学习的固有缺陷,这为理解和预测模型泛化行为提供了全新的理论工具。
▎杰出立场论文奖(Outstanding Position Paper Award)
本届ICML的立场论文赛道同样竞争激烈,最终获得杰出立场论文奖的是《Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit》

这篇立场论文将矛头直指AI安全与对齐研究中的一个令人不安的趋势。作者指出,当前AI对齐领域的研究者,出发点虽是善意的,却在无意中构建了一套可用于大规模审查的工具包。作者认为,当前对齐研究开发的许多技术——如内容过滤、意图检测、价值观约束、输出干预等——本质上具备高度通用性,既能用于防止有害输出,也极易被挪用于政治审查、信息控制和言论压制。
论文挑战了“价值对齐天然是向善力量”的舒适假设,警示即使是最具人文关怀的AI安全技术,也可能被挪用于监控和内容过滤,并呼吁对齐研究者正视这一双重用途困境,在技术开发中嵌入反审查设计原则,并推动更透明的治理机制,以避免本意良善的安全研究沦为压制自由的帮凶。
作为一篇立场论文,它不依赖实验数据,而是以严谨的逻辑和犀利的分析,对领域方向提出了根本性质疑,体现了ICML鼓励批判性思辨的初衷。
《Position: AI/ML Deepfake Research is Misaligned with AI Generated Non-Consensual Intimate Imagery (AIG-NCII)》则获得杰出立场论文荣誉提名(Outstanding Position Paper Honorable Mention)。

论文揭示了当前 AI/ML 领域在“深度伪造(deepfake)”研究上存在严重的“错位(misalignment)”。研究发现,目前绝大多数技术干预都聚焦于检测“深度伪造”内容的真伪,以应对其带来的认知性伤害(epistemic harms),例如防范公众人物的虚假视频、打击欺诈和诈骗等。然而,这种研究重心与现实世界中生成式AI最主要的滥用形式是脱节的——后者是以性化图像为特征的AI生成的非自愿亲密图像(AIG-NCII)。
论文进一步提出了“以观看者为中心的认知性伤害(viewer-centric epistemic harms)”与“以受害者为中心的尊严伤害(subject-centric dignity harms)”的关键区分,并指出,仅仅知道一张图像是合成的,并不能减轻对受害者的实际伤害,在某些情况下甚至可能加剧这种伤害。
为此,它呼吁研究界应将重点转向AIG-NCII这类以受害者尊严为核心的伤害(subject-centric dignity harms) ,并建议更新威胁模型、将相关问题纳入AI安全研究。同时也提醒研究者,在涉足这一高风险领域时必须与相关专家合作并建立安全防护措施。
▎时间检验奖(Test of Time Award)

ICML 的时间检验奖(Test of Time Award )授予"发表十年后仍对领域产生深远影响"的论文。今年摘下这顶王冠的是深度强化学习领域的经典之作——《Asynchronous Methods for Deep Reinforcement Learning》。
这篇论文由 Google DeepMind 团队于 2016 年发表在 ICML 上,第一作者 Volodymyr Mnih 是深度强化学习领域的奠基人之一,此前还领导了 DQN 的开创性工作。研究团队汇集了 Alex Graves、David Silver 等顶尖学者,代表了当时 RL 研究的最强阵容。
论文针对深度强化学习训练效率低下的核心瓶颈:DQN 等算法严重依赖 GPU 硬件和经验回放机制,导致训练成本高、内存开销大,且难以扩展到连续动作空间。当时即便是最先进的并行方案也需要复杂的多机分布式架构,普通研究者也难以复现。

为此,论文团队提出了异步多线程训练框架 A3C,让多个智能体在独立环境副本中并行探索,并无锁地异步更新共享全局网络。这一设计彻底摒弃了经验回放,仅依靠多核 CPU 即可实现高效训练,同时天然支持连续控制任务。论文还系统比较了四种异步变体,其中结合优势函数的 A3C 表现最优。

实验结果还表明,A3C 在 57 款 Atari 游戏上仅用 16 核 CPU 就达到了超越 DQN 的性能,且训练速度显著提升;并在连续运动控制和3D迷宫导航等任务中表现出卓越的通用性。更深刻的发现是,异步更新引入的梯度噪声本身起到了去相关作用,这一反直觉的洞察为后续理论分析开辟了新方向。
这篇论文的经典性在于,它颠覆了“稳定训练必依赖经验回放”的传统认知,以极简的工程设计解决了复杂的分布式训练难题,将深度强化学习从 GPU 集群推向了个人工作站,奠定了此后十年深度强化学习并行采样范式的基础,深刻影响了后续分布式训练与强化学习应用的架构设计。
时隔十年,这项工作的价值非但没有褪色,反而在分布式RL的浪潮中被反复印证,时间检验奖即是最好的证明。
ICML 2026 不仅是一场技术突破的庆典,更是一次对 AI 研究方向的集体反思。从黄高团队对“灵活性陷阱”的警醒,到立场论文对“无意中构建审查工具”的批判,这场盛会的核心追问已超越算法与精度本身:机器学习,究竟为谁,为何而做?
未来一周,COEX会展中心将迎来更多前沿思想的碰撞,雷峰网(公众号:雷峰网) AI 科技评论记者将在现场为大家带来更多一线报道,敬请关注!雷锋雷峰网 雷峰网
雷峰网原创文章,未经授权禁止转载。详情见转载须知。