机器之心报道

编辑：陈萍、小舟

模型越大，超参数（HP）调优成本越高，微软联合 OpenAI 提出 HP 调优新范式，单个 GPU 上就可以调优 GPT-3 超参数。

伟大的科学成就不能仅靠反复试验取得。例如太空计划中的每一次发射都是基于数百年的空气动力学、推进和天体等基础研究。同样，在构建大规模人工智能系统时，基础研究大大减少了试错次数，效益明显。

超参数（Hyperparameter，HP）调优是深度学习的关键，但也是一个昂贵的过程，对于具有数十亿参数的神经网络来说更是如此。假如 HP 选择不当，会导致模型性能不佳、训练不稳定。当训练超大型深度学习模型时，这些问题更加严重。

最近，有研究 [54] 表明不同的神经网络参数化会导致不同的无限宽度限制（infinitewidth limits），他们提出了最大更新参数化（Maximal Update Parametrization，µP），该方法可以在限制内实现「最大」特征学习。直观地说，它确保每一层在训练期间以相同的顺序更新，而不管宽度如何。相比之下，虽然标准参数化 （standard parametrization，SP） 在初始化时保证了激活是单位顺序的，但实际上在训练 [54] 时，由于每层学习率的不平衡，导致激活在宽模型中爆炸。

来自微软和 OpenAI 的研究者首次提出了基础研究如何调优大型神经网络（这些神经网络过于庞大而无法多次训练）。他们通过展示特定参数化保留不同模型大小的最佳超参数来实现这一点。利用 µP 将 HP 从小型模型迁移到大型模型。也就是说，该研究在大型模型上获得了接近最优的 HP。

论文作者之一、来自微软的 Greg Yang 表示：「你不能在单个 GPU 上训练 GPT-3，更不用说调优它的超参数（HP）了。但是由于新的理论进步，你可以在单个 GPU 上调优 HP ?」

本文的想法非常简单，论文中引入了一种特殊参数化 µP，窄和宽的神经网络共享一组最优超参数。即使宽度→∞也是如此。

图 1：在 PyTorch 的默认参数化中，左图，在经过一次 step 训练后，激活扩展的宽度会出现差异。但是在右图的 µP 中，无论训练 step 宽度如何，激活扩展都会发生一致的变化。

事实上，除了在整个训练过程中保持激活扩展一致之外，µP 还确保不同且足够宽的神经网络在训练过程中表现相似，以使它们收敛到一个理想的极限，该研究称之为特征学习极限。

如图所示，µP 是唯一在宽度上保持最佳学习率的参数化，在宽度为 213 - 8192 的模型中实现了最佳性能，并且对于给定的学习率，更宽的模型性能更好——即曲线不相交。

图2左侧，该研究在 CIFAR10 上以不同的学习率（沿 x 轴显示）训练不同宽度（对应于不同颜色和图案的曲线）的多层感知器 (MLP)，并沿 y 轴绘制训练损失。右侧，参数化的 2D 平面由以下插值形成：1）PyTorch 默认值和 µP（x 轴）之间的初始化扩展，以及 2）PyTorch 默认值和 µP（y 轴）之间的学习率扩展。在这个平面上，PyTorch 默认用 (0,0) 表示，µP 默认用 (1,1) 表示。

基于张量程序（Tensor Programs）的理论基础，µTransfer 自动适用于高级架构，例如 Transformer 和 ResNet。此外，它还可以同时迁移各种超参数。

以 Transformer 为例，图 3 展示了关键超参数如何在宽度上保持稳定。超参数可以包括学习率、学习率 schedule、初始化、参数乘数等，甚至可以单独针对每个参数张量。该研究在最大宽度为 4096 的 Transformer 上验证了这一点。

测试 µTransfer

在验证完单个超参数的迁移之后，研究者试图将它们组合到更现实的场景中。下图 5 对比了两种情况，一种是 µTransfer 从一个小型 proxy 模型迁移调整过的超参数，另一种是直接调整大型目标模型。在这两种情况下，调整都是通过随机搜索完成的。

图 5：µTransfer 大约将计算效率提高了一个数量级。

由于 proxy 模型即使很小也能有意义地预测最佳超参数（如图 3、图 4 所示），因此随着该研究用数十亿个参数训练更大的目标模型，研究者预计性能差距会扩大。

未来方向：µP GPT-3

在这项工作之前，模型越大，调优成本越高，预计调优效果就越差。研究者预计 µTransfer 将给最大的模型带来最大的增益，因此该研究与 OpenAI 合作，在 GPT-3 上评估 µTransfer。

使用 µP 中的相对注意力对 GPT-3 的一个版本进行参数化后，该研究调整了一个具有 4000 万个参数的小型 proxy 模型，然后按照 µTransfer 的方法将最佳超参数组合复制到 GPT-3 的 67 亿参数变体中。在此调整阶段使用的总计算量仅为 67 亿模型预训练使用计算量的 7%。如下图 6 所示，这个使用 µTransfer 的模型优于 GPT-3 论文中相同大小的模型（绝对注意力），它的性能与 GPT-3 论文中参数数量翻倍的模型（绝对注意力）相当。

理论意义

µP 给出了一个扩展规则，该规则在训练损失方面唯一地保留了跨不同宽度模型的最佳超参数组合。相反，其他扩展规则（如 PyTorch 中的默认初始化或 NTK 参数化），随着网络变得越来越宽，超参数空间中的最优值却越来越远。研究者认为：实际使用特征学习神经网络时，为了获得适用的见解，µP 的特征学习限制会比 NTK 限制更自然。因此，过参数化神经网络应该在大型宽度设置中重现 µP 的特征学习限制。

过去几年开发的张量程序 (TP) 理论使这项进展成为可能。TP 理论使研究人员能够计算任何通用计算图在其矩阵维数变大时的极限。TP 方法产生了基本的理论结果，例如神经网络 - 高斯过程对应的架构普遍性和动态二分定理，并通过推导 µP 和特征学习限制形成了 µTransfer。研究者认为将 TP 理论扩展到深度、批大小等扩展维度是大型模型在宽度之外可靠扩展的关键。

研究者表示：基础研究是对反复试错的一种高成本效益补充，该研究将继续推导出更具原则性的大规模机器学习方法。

参考链接：https://www.microsoft.com/en-us/research/blog/µtransfer-a-technique-for-hyperparameter-tuning-of-enormous-neural-networks/