是，不是，”是对此的回答。在我与计算机科学家梅兰妮·米切尔 (Melanie Mitchell) 的新论文中，我们就大型预训练语言模型（如 GPT-4）可以理解语言的想法对 AI 研究人员进行了调查。当他们说这些模型理解我们，或者他们不理解我们时，不清楚我们是否同意我们的理解概念。当Claude Shannon发明信息论时，他明确表示他感兴趣的信息部分是交流，而不是意义：你可以有两条同样信息丰富的消息，一条有很多意义，而另一条没有意义。

有一种默契，就是配合。例如，我可以说，“你能把勺子递给我吗？” 你会说，“在这里。” 我说，“嗯，你理解我的！” 因为我们协调了。这与生成性或建设性理解不同，我对你说，“我要教你一些微积分，你可以在我还没有告诉你的问题上使用这些知识。” 这超出了协调范围。就像：这是数学——现在把它应用到你的生活中。

因此，理解，就像信息一样，有多种含义——或多或少的要求。这些语言模型是否与我们协调共同的意义？是的。他们在这种建设性的意义上理解了吗？可能不会。

我会在超级功能和智能之间做出很大的区分。让我打个比方：没有人会说汽车跑得比人快。他们会说，汽车在平坦表面上的移动速度比人快。所以它可以更有效地完成一个功能，但它并不比人类跑得快。这里的问题之一是我们是否以一致的方式使用“情报”。我不认为我们是。

对我来说，另一个维度是我所说的科学标准模型，即简约。与科学的机器学习模型相比，这是巨大的。Parsimony 说：“我将尝试用尽可能少的资源尽可能多地解释。” 这意味着很少的参数，或者少量的定律或初始条件。顺便说一句，节俭的根源是节俭的行为。而这些语言模型恰恰相反。他们是大规模的行动。它在一个巨大但非常受限的领域进行训练：文本。大多数人类理解将文本体验映射到体感体验上。所以如果我对你说，“那很痛苦，”你不会把它映射到另一个词上。你把它映射到一种感觉上。大多数人类洞察力都是通过标签或文字来传达具有情感或身体方面的体验。

另一个非常重要的差异维度是我们的认知器官进化了。创造我们描述为智能和理解的属性的环境非常丰富。现在看看这些算法。他们的选择背景是什么？我们。我们是算法上的文化选择。他们不必在世界上生存。他们必须让我们相信他们读起来很有趣，才能生存下来。在算法训练中发生的进化过程与在物理世界中生存的意义截然不同——这是另一条线索。为了达到甚至遥不可及的人类能力水平，这些算法所提供的训练集超过了任何人在几乎无限的生命周期中所能经历的。所以我们知道我们不能做同样的事情。这是不可能的。这些东西就是 Babel 算法。他们住在博尔赫斯笔下的通天塔图书馆。他们有完整的经验。他们可以访问图书馆中的所有知识。

另一个需要指出的事实是，除了我们在论文中引用的所有内容——脆弱的错误，语言模型所犯的错误是我们永远不会犯的明显迹象——人类确实对事物应用了机械推理。如果我对你说，“有一辆电车从山上滚下来，路上有一只猫。接下来发生什么？” 你不仅仅是在尝试估计下一个词，比如 GPT-4。你正在脑海中形成那个现实的一个小小的心理和物理模型。然后你会转身对我说，“好吧，它是光滑的表面吗？有很多摩擦吗？它有什么样的轮子？您的语言位于物理模型之上。这就是你通过叙述推理的方式。这东西没有。它没有物理模型。

现在，有趣的一点可能在于所有这些丰富的数据，如果我们足够聪明，我们可以找到一个物理模型。它是默认的，隐含在其庞大的语言数据库中，但它不会访问它。你可以对它说，“你现在做出的决定背后的物理模型是什么？” 它现在会虚构。所以说我们重新发现了人类推理的说法在很多方面都被误导了。只是明显的错误。那不可能是要走的路。