全球人工智能与机器人峰会 CCF-GAIR 2019
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
人工智能学术 正文
发私信给丛末
发送

0

ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!

本文作者:丛末 2019-06-13 10:49
导语:「锦上添花」!

雷锋网 AI 科技评论按:彼时,为期 7 天(6 月 9 日至 15 日)的 ICML 2019(国际机器学习大会)正在美国加州如火如荼地举行。据 ICML 2019 前不久公布的论文结果,今年大会共收到 3424 篇有效投稿论文,最终收录的论文数量为 774 篇,接收率为 22.6%。而今天,万众瞩目的 ICML 2019 最佳论文结果最新出炉,将会议推向了高潮。        ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!

(图片来源:Twitter 网友

本届最佳论文共有 2 篇,分别是:

  • 《挑战无监督解耦表示学习中的常见假设》,论文作者分别来自谷歌大脑、马克斯·普朗克学会( Max-Planck-Gesellschaft )以及苏黎世联邦理工学院(ETH Zurich); 

  • 《稀疏变分高斯过程回归的收敛速度》,论文作者来自剑桥大学。

2 篇论文同获最佳论文奖

《挑战无监督解耦表示学习中的常见假设》

Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

 ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!

  • 论文作者:Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem

  • 论文下载地址:https://arxiv.org/abs/1811.12359

论文摘要:无监督解耦表示学习背后的关键思路是,真实世界的数据是由大量的变量解释因子生成的,而无监督学习算法可以对这些因子实现修复。在本论文中,我们严谨地回顾了该领域的最新进展,并对一些常见假设提出了异议。我们首先从理论上验证,如果模型和数据都没有归纳偏置,无监督解耦表示学习基本上是不可能实现的。之后,我们在 7 个不同的数据集上训练了 12000 多个模型,涵盖了可重复、大规模实验研究中最重要的方法和评估指标。我们发现,虽然不同的方法都成功地执行了由相应损失「鼓励」的属性,但是在无监督的情况下,这些方法似乎都无法识别出良好解耦的模型。除此之外,增加解耦似乎并不会降低下游任务学习的样本复杂度。而我们的研究结果最终表明,未来对于解耦学习的研究应该明确归纳偏见和(隐式)监督在其中所发挥的作用,探究强制学习到的表示解耦的明确利好,并考虑涵盖多个数据集的可重复的实验设置。

《稀疏变分高斯过程回归的收敛速度》

Rates of Convergence for Sparse Variational Gaussian Process Regression

 ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!

论文摘要:此前,我们对高斯过程后验提出了效果很不错的变分近似法,从而避免了数据集大小为 N 时,O(N3) 发生缩放。这些方法将计算成本降到了 O(NM2),其中 M≤N 作为诱导概括高斯过程的变量的数值。虽然大小为 N 的数据集的计算成本几乎呈线性,但算法真正的复杂性取决于 M 如何增加以确保一定的近似质量。对此,我们通过描述 KL 向后发散的上界行为来解决这个问题,并证明了在高概率情况下,通过让 M 的增长速度慢于 N,从而使得 KL 的发散度可随意减小。其中一个特别受关注的案例是,具有 D 维度中正态分布输入为的回归,使用常用的平方指数核函数 M=O(logDN) 便足够了。我们的研究结果表明,随着数据集的增加,高斯过程后验可以真正近似地逼近,并为如何在连续学习场景中增加 M 提供了具体规则。

7 篇论文摘得提名奖

 ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!

(图片来源:Twitter 网友)

同期,ICML 2019 也公布了 7 篇摘得提名奖(Honorable Mentions)的论文,分别如下:

类比可解释性:趋向理解词嵌入》

Analogies Explained: Towards Understanding Word Embeddings

《SATNet:使用差分可满足性求解器来桥接深度学习和逻辑推理》

SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver

《深度神经网络中随机梯度噪声的尾指数分析》

A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks

《趋向随机傅里叶特征的统一分析》

Towards A Unified Analysis of Random Fourier Features

《分期偿还的蒙特卡罗积分》

Amortized Monte Carlo Integration

《多智能体深度强化学习的内在动机的社会影响》

Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning

  • 作者:Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas

  • 论文下载地址:https://arxiv.org/pdf/1810.08647.pdf

《随机波束以及找到它们的地方:取样序列无需更换的 Gumbel-Top-k 方法》

Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement

ICML 2019 霸榜玩家:谷歌

5 月中,我们在ICML 2019 论文收录 TOP 榜单:清华领衔七家国内高校、企业登上榜单一文中提到,谷歌在 reddit 网友根据 ICML 2019 论文收录名单统计出的几大 TOP 榜单中霸榜,让排名其后的研究机构们都望尘莫及:

  • 在研究机构收录论文 TOP 榜单中,谷歌以 80+ 篇收录论文数量位列第一且遥遥领先于排在其之后的 MIT、加州大学伯克利分校、谷歌大脑、斯坦福大学、CMU 以及微软。另外在将工业界单拎出来的工业界研究机构收录论文 TOP榜单中,谷歌及其附属公司谷歌大脑、DeepMind 夺得前四席位,更是以压倒性优势拔得头筹。

  • 在以唯一作者、第一作者身份被收录论文的作者 TOP 榜单中,来自谷歌的 Ashok Cutkosky 拿下了该榜单的第一名,在其被收录的 3 篇论文中,有 1 篇唯一作者被收录的论文、1 篇以第一作者被收录的论文。

  • 在各研究机构相对贡献 TOP 榜单中,谷歌依旧独占鳌头,相对贡献接近 40,遥遥领先于其后的斯坦福大学、加州大学伯克利分校、MIT、CMU。

而如今最佳论文奖揭晓,则是为谷歌在本届 ICML 中所取得的佳绩再添了一层光辉! 雷锋网雷锋网(公众号:雷锋网)

雷锋网原创文章,未经授权禁止转载。详情见转载须知

 ICML 2019 最佳论文公布:继霸榜后,谷歌再添重磅奖项!
分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说