ChatGPT 的出现，显然掀起了 AI 发展的新一轮热

原文链

未经授权，禁止转载！

作者 | Erich Grunewald

译者 | 弯月 责编 | 郑丽媛

出品 | CSDN（ID：CSDNnews）

最近，William Eden在推特上发表了一篇长文（https://twitter.com/WilliamAEden/status/1630690003830599680），解释了为何他不担心先进 AI 带来的风险，还提到了 AI 的又一个寒冬即将来临：

▶ AI 系统没有那么好。目前的 AI 系统还太不可靠，且很难理解。实现三个 9 或四个 9 的可靠性，与仅实现一两个 9 的难度根本不是一个级别的。例如，自动驾驶汽车已经问世十多年了，虽然低可靠性的系统也可以凑合用，但大部分价值都无法实现。（注：系统的高可靠性里有个衡量其可靠性的标准——X 个 9，表示在系统 1 年时间的使用过程中，系统可以正常使用时间与总时间（1 年）之比。）

▶ AI 不会变得更好。有些人认为，我们可以将当前架构扩展到 AGI，但是 Eden 认为我们没有足够的计算能力来实现这一目标。摩尔定律的效果“越来越弱”，性价比不再呈指数级下降，我们很可能无法在全球内获得“再高两个数量级”的计算水平，而且两个数量级的提升也无法让我们实现 TAI：“如果不会出现一些重大变化（新架构、新范式），一切看似已成定局。”此外，半导体供应链集中且脆弱，如今的局面有可能发生变化。

▶ AI 产品的利润没有那么高。AI 系统似乎很适合“自动化、低成本、低风险却很重要的工作”，但这远达不到我们的期望。一些应用程序（例如网络搜索）的利润率非常低，而大型机器学习模型的推理成本会让他们望而止步。

免责声明：我的日常工作是研究 AI 管治，所以如果再次出现 AI 寒冬，我基本会失业。但我认为，AI 寒冬固然不好，但 AI 所带来的某些风险更令我们不寒而栗。

其实，我们已经经历过很多次 AI 寒冬了。

第一次 AI 寒冬发生于 1974～1980 年间，是由 Lighthill 报告引发的，根本原因在于 AI 研究人员未能实现他们的宏伟目标。1965 年，Herbert Simon 预测道，AI 将在 20 年内完成所有人类的工作，Marvin Minsky 也于 1967 年写道：“在一代人之内……创建 AI 的问题就能得到实质性解决。”关于 Frank Rosenblatt 的感知机项目，纽约时报报道称：“（它）就像一个电子计算机的胚胎，能走路、能说话、能看得见东西、能写作、能复制自己，还能意识到自己的存在。据预测，未来的感知机能够识别人，并喊出他们的名字，还能将一种语言的语音翻译成另一种语言的语音和文本”（Olazaran 1996）。然而，最终这些感知机远远达不到人类的智能水平，甚至未能实现机器翻译。

第二次 AI 寒冬发生于 1987～1993 年间，究其原因也是未能达到预期。那是一个专家系统与联结主义（指 AI 领域中人工神经网络的应用）的时代。但专家系统无法扩展，神经网络学习缓慢、准确性低且无法泛化。那个时代 1 美元买不到 1x109 FLOPS（每秒浮点运算次数），我估计 LISP 机器的性价比都要比神经网络高 6～7 个数量级。

维基百科列出了这些寒冬背后的许多因素，但对我来说，最重要的原因是每一次我们都未能达到预期的结果。即使在经济低迷时期，即使学术资金枯竭，如果 AI 能够展示出良好的效果，就仍然能获得大量的投资。期间虽然专家系统确实取得了一些成功，但远不及我们今天看到的 AI 系统。

在我看来，这似乎是问题的症结所在：AI 系统能否达到投资者给予的厚望？

此处，我们主要关心的不是 FLOPS，也不是 1 美元能买到多少 FLOPS，而是 AI 实验室能负担起多少投入模型的计算量。这个计算量受到许多因素的影响，包括硬件成本、能源效率、线路/芯片良率、利用率以及实验室愿意投资的金额。那么，在接下来的几十年里，我们能否获得足够的算力来训练基于 Transformer 的 AI（以下简称 TAI）？

对于这个问题，很多人给出了非常复杂的答案，此处我将讨论一种较容易理解的方式。

Daniel Kokotajlo 设想了在当前 GPU 架构上，使用 1x1035 FLOP 计算可以做些什么。这个计算量非常庞大，比当今最大模型的训练量高出约 11 个数量级。拥有如此强大的计算能力，我们可以做的事情非常多。如今，我们无法确定计算能力是否会进一步扩展，而且除了计算之外可能还有其他重要的瓶颈，比如数据。但无论怎么看，2022 年 1x1034～1x1036 的计算量似乎足以创建 TAI。

我们姑且接受这个想法，并做出以下假设：

▶ AI 芯片的性价比每 1.5～3.1 年就会翻一番，假设这种情况会一直持续到 2030 年，之后随着摩尔定律失效，翻倍时间将将增加一倍。

▶ ImageNet 的算法进展大约每 4～25 个月 就可以将计算需求减半，假设 Transformer 实现翻倍的时间增加 50%。

▶ 机器学习系统的训练费用大约每 6～10 个月翻一番，假设这会一直持续到我们的上限：100 亿美元。

基于这些假设，到 2040 年我们能实现 TAI 的概率为 50%，到 2045 年为 80%：

AI 系统令大家失望的原因之一是，长期以来这项技术一直不可靠，在可预见的未来也仍然如此。Eden 曾表示，“哪些经济领域可以接受 99% 正确的解决方案？我的回答是：不创造或无法获取大部分价值的领域。”人们经常指出，现代 AI 系统，尤其是大型语言模型是不可靠的。我认为这个观点真假参半：

▶ 如果只看前沿技术，那么确实 AI 系统非常不可靠。在一定时间段内，AI 系统在重大任务上取得成功的概率不到 10%。这些都是最受关注的任务，因此这个系统看起来不可靠。

▶ 如果只看已经熟悉的功能，AI 系统就是相当可靠的。对于某些特定任务，AI 系统在经过几代的改良后，通常都会变得越来越好。这些任务我们都很熟悉，所以我们理所当然地认为 AI 会正确地完成这些任务。

John McCarthy 曾感叹道：“一旦能够正常工作，就没有人称其为 AI 了。”Larry Tesler 也曾说：“AI 就是尚未完成的一切。”

以对随机生成的个位数整数列表进行排序的任务为例。两年前，Janus 在 GPT-3 上对此进行了测试，发现即使提供了 32 次提示，对 5 个整数列表进行排序，GPT-3 的正确率也只有 20%（10/50）；而对 10 个整数的列表进行排序时，正确率为 0（0/50）。于是，近来我对 ChatGPT（使用GPT-3）进行了同样的测试，对于 10 个整数列表，其正确率为 100%（5/5）。后来，我又要求它对 10 个整数列表行排序，正确率为 80%（4/5）。

到此为止，我们的讨论都是基于一个前提：“AI 寒冬都是由于 AI 系统无法提供实际用途以及利润空间而引发的”。AI 不可靠、硬件性价比进步放缓、推理计算成本太高，只有当影响到 AI 的实际用途与利润空间时才会被考虑。我认为，这是迄今为止最有可能引发 AI 寒冬的方式，但并不是唯一的可能，其他可能性还包括限制性立法/法规、重大故障或事故、大国冲突以及极端经济衰退。

如果我们真的在十年内看到 AI 寒冬，我认为最有可能的原因将是以下之一：

▶ 扩展遇到困难。在达到一定数量之后，计算、数据以及参数等的扩展都将停止。例如，OpenAI 训练 GPT-5 所用的算力、数据和参数都远超 GPT-4，但结果可能不会有大幅提升。

▶ 尽管 AI 在执行分布内任务方面变得更好且更可靠，但真正的分布外泛化还很遥远。

▶ 高质量的数据枯竭。

我认为 AI 寒冬不太可能来临，2030 年出现 AI 寒冬的概率只有 5%（如果 AI 寒冬的定义是全球 AI 投资的缩减比例超过 50% 的话）。如果你和我一样，认为我们还没有为 TAI 的到来做好准备，那么这将是一个不幸的消息。