作者 | AI科技评论

刚刚，NeurIPS 2020在官网公布了2020年度最佳论文奖和时间检验奖两项大奖！

今年一共有三篇论文共同获得最佳论文奖，其中第二篇获奖论文就是来自OpenAI团队打造的今年AI圈最为火爆的GPT-3 ！

时间检验奖则是由威斯康星麦迪逊分校团队发表于NeurIPS 2011上的一篇论文获得，其一作为本科毕业于清华大学计算机系的华人Feng Niu。

论文链接：https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf

论文摘要：

列子集选择问题（CSSP）和Nystrom方法是机器学习和科学计算中构造大数据集、小低阶秩近似的主要工具之一。这个领域的一个基本问题是：大小为k的数据子集与最佳秩k近似的竞争程度如何？

我们开发了利用数据矩阵的光谱（spectra）特性的技术，以获得超出标准最差用例（worstcase）分析的改进近似保证。对于已知奇异值衰减率（如多项式或指数衰减）的数据集，我们的方法可以得到更好的边界（bound）。

我们的分析还揭示了一个有趣的现象：近似因子作为k的函数可能会出现多个峰和谷，我们称之为多重下降曲线（multipledescent curve）。

我们建立的一个下限表明，这种行为不是我们分析的产物，而是CSSP和Nystrom任务的固有属性。

最后，以径向基函数（RBF）核为例，本文证明了只要改变RBF参数，我们的改进边界和多重下降曲线都可以在真实数据集上观察到。

获奖理由：

从大矩阵中选择一个小型但有代表性的列向量子集并不容易。针对这个问题，找到一种基于基数受限的行列式点过程（determinantal point processes，DPP）的方法，就代表要提供一个实用的近似解决方案。

这篇论文针对最佳可能的低秩近似（low-rank approximation）推导了近似解中近似因子的新上限和下限，甚至可以捕获子集尺寸的多重下降行为。此外，该论文将分析进一步扩展，以获得Nyström方法。

由于这些近似技巧已在机器学习中得到广泛应用，因此，这篇论文有望产生重大影响，并为核方法、特征选择和神经网络的双下降行为等提供新的见解。

最佳论文获奖三：《No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium》

Feng Niu本科就读于清华大学计算机系，2012年博士毕业于威斯康星麦迪逊分校计算机系，目前在苹果公司任研究科学家。

论文摘要：

随机梯度下降算法（SGD）是一种非常流行的算法，可以在各种机器学习任务上实现SOTA的性能。一些研究人员最近提出了SGD的并行化方案，但是都需要降低性能的内存锁定和同步（memory locking and synchronization）。

本文工作的目的是使用新的理论分析、算法和实现来证明SGD可以在没有任何锁定（ locking）的情况下实现。

我们提出了一个称为HOGWILD！的新方案，它允许处理器访问共享内存，有可能重写对方的工作。

我们证明了，当相关优化问题稀疏时，大多数梯度更新只能修改决策变量的一小部分，而HOGWILD！几乎达到最佳收敛率。我们用实验证明，HOGWILD！的性能优于使用锁定（ locking）方案一个数量级。

获奖理由：

这篇论文首先展示了如何在没有任何锁定机制的情况下将普遍使用的随机梯度下降算法并行，同时又能实现强大的性能。

近期，一些研究人员虽然提出了并行SGD的方法，但他们的方法均需要不同工作器进行内存锁定和同步。

本文针对稀疏问题提出了一种简单的策略，称为Hogwild！方法：让每个工作器在不同的数据子集上同时运行SGD，并在托管模型参数的共享内存中执行完全异步更新。

通过理论和实验，他们证明Hogwild! 成功在满足适当稀疏条件的数据上实现了相对于处理器数量的近乎线性的加速。

3 获奖论文评选过程

在评选获奖论文时，评奖委员会使用了以下评审标准：

该论文是否能经受实验考验？

它是否提供新的（最好是深入的）见解？

它是具有创意的、意想不到的吗？

它会改变人们未来的思维方式吗？

它是否严谨而优雅，但并未夸大其重要性？

它是科学的、可复现的吗？

它是否准确地描述了研究的更广泛影响？

为了选出NeurIPS最佳论文奖的获奖者，奖项委员会经过了严格的两阶段选拔过程：

第一阶段，两名委员会成员阅读了30篇具有最高评分的NeurIPS论文。委员会成员还阅读了相应的论文评论和反驳。在此基础上，委员会根据评审标准选择了9篇突出的论文。

第二阶段，所有委员会成员都阅读了入围名单上的9篇论文，并根据审查标准对它们进行了排名。接下来，委员会举行虚拟会议，并最终确定获奖者。

委员会确定了大约十年前在NeurIPS上发表的12篇论文的清单（NeurIPS 2009，NeurIPS 2010，NeurIPS 2011），这些论文是自发表以来在NeurIPS中被引用次数最多的论文。

委员会还通过汇总这些论文在过去两年中在NeurIPS、ICML和ICLR上受到的引用，收集了有关这些论文最近引用次数的数据。

然后，委员会要求整个高级计划委员会（64个SAC）对其中的三篇论文进行投票，以挑选出一篇有影响力的论文。

参考链接：https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537