编者按：提起李宏毅老师，熟悉 AI 的读者朋友一定不会陌生。在 GPT-3 推出之后，李宏毅老师专门讲解了这个非同凡响的模型，称之为 “来自猎人暗黑大陆的模型”。

出于知识传播目的，“数据实战派” 根据该讲解视频将李宏毅老师的见解整理成文，有基于原意的删改：

OpenAI 发表了新的巨大的 language model，在此之前 OpenAI 已经发表了 GPT，还有轰动一时的 GPT-2，现在到了 GPT-3（GPT-3 的论文题目为 Language Models are Few-Shot Learners）。

那么，GPT-3 跟 GPT-2 有什么不同呢？基本上没有什么不同，它们都是 language model。GPT-3 神奇的地方是什么呢？神奇的地方是它太过巨大。

网络上有各式各样的讨论。有人问，商用的 cloud computing platform 训练一个 GPT-3，要花多少钱？要花 1200 万美金，大概 4 亿台币。在知乎上面有关 GPT-3 的讨论，甚至被打上了炫富跟核武器的标签。

而且，GPT-2 有 1.5 个 billion 的参数，就 6GB 了，175 个 billion 的参数大概 700GB，搞不好连下载下来都有困难。

GPT-3 的 paper 也很长，ELMO 有 15 页，BERT 有 16 页，GPT-2 有 24 页，T5 有 53 页，而 GPT-3 有 72 页。

更具体一些，GPT 做的事情是这个样子，它有三个可能：Few-shot Learning，One-shot Learning，Zero-shot Learning。

在 Few-shot Learning 情况下，首先给 GPT 的 model 看一个句子，这个句子是任务的说明。如果是翻译，任务的说明就是 translate English to French，希望机器能够看得懂这个句子的意思。然后接下来给它几个范例，告诉它 sea otter 就是翻译成这样，Plush girafe 就是翻译成这样。

接下来开始考试，问它 cheese 应该翻译成什么。这个是 Few-shot Learning，即 example 的部分可以提供不止一个 example。

如果是 One-shot Learning，可能就非常接近人类在英文能力考试中的状况了，只给你一段题型说明，再给一个例子，接下来就要自己回答问题。

最疯狂的是 Zero-shot Learning，直接给一个题目的叙述，然后回答问题。不知道一个 language model 有没有可能做到，你交待它 translate English to French，在没有额外训练的状况下，它知道什么叫做 translate English to French。接下来给它一句英文，它就自动知道要输出法文，这显然是很大的挑战。

也许 One-shot Learning 比较接近现实能够实现的情况。机器至少看到一个例子，One-shot Learning 还是比较有机会。

这里需要再提醒一下，在 GPT-3 中，它的 Few-shot Learning 跟一般所谓的 Few-shot Learning 是不一样的。一般所谓的 Few-shot Learning，是给机器少量的训练资料，用少量的训练资料去 fine-tune model。但在 GPT-3 中没有 fine-tune 这回事，所谓的 Few-shot Learning，所谓的一点点 example，是直接当做 GPT model 的输入，给 GPT 读过这些句子，它要自动知道怎么解接下来的问题。

在这个过程中完全没有调整 model，完全没有所谓的 gradient descent，直接输入文字当作指示，这些文字就让它知道接下来要做什么，期待它看到这些题型的说明和范例，就可以真的回答问题。

在 GPT-3 这篇 paper 里，他们把这种学习的方式叫做 “in-context Learning”。

那么，GPT-3 这篇 paper 表现如何？硕大无朋的 GPT-3 表现如何？

上图是论文中所用的 42 个 task 的平均情况。数目正好是 42，这是个很巧的数字，我们知道 42 是生命的意义（《银河系漫游指南》中的计算机用了 N 久的时间得出的结果），不知道这里的 42 个任务是不是刻意选择出来的。

上图纵轴是正确率，横轴是 model 的大小，从 0.1 billion 一直到 175 billion。蓝色是 Zero Shot，绿色是 One Shot，橙色是 Few Shot。可以看到随着 model 越来越大，不管是 Few-shot Learning、One-shot Learning 还是 Zero-shot Learning 的正确率，都越来越高。

当然有人可能会质疑，为了增加这么一点点正确率，用了大概 10 倍的参数量到底值不值得？至少这个图显示，比较大的 model 确实是有好处的，至于大了 10 倍，只是增加这样的正确率，到底能不能够接受、划不划算，这是一个见仁见智的问题。

接下来就讲 GPT-3 的几个神奇之处。首先，它可以做 Closed Book QA。在 question answering 中，有一个 knowledge source，有一个 question，然后要找出 answer。如果机器在回答问题的时候可以看 knowledge source，就是 open book QA，而 Closed Book QA 则是没有 knowledge source，直接问一个问题看看能不能得到答案。比如直接问你，喜马拉雅山有多高，看机器的参数里面会不会有喜马拉雅山高度的资讯，会不会不需要读任何文章，它就知道喜马拉雅山的高度是 8848 公尺。

而 GPT-3 的表现就是这个样子，蓝色的线是 Zero Shot，绿色的线 One Shot，橙子色的线是 Few Shot。神奇的事情是， Few-shot Learning 居然超过了在 TriviaQA 上 fine-tune 最好的 SOTA model。

所以，在这里，巨大的 model 展现了奇迹。如果是只有 13 个 billion，没有办法超越 SOTA，但约 10 倍大，达到 175 个 billion，可以超越 SOTA。

对机器而言，要给出像样的建议不太容易。

再举个例子，有人问了一个问题，说他要上高中解剖课，但是他很害怕死掉的动物，那怎么办？有一个人给了一个建议，他建议说你可以越级上报，提问者也觉得这个建议有用。我其实有点不太确定这个建议有没有用，不过至少这个问问题的人觉得是有用的。

那么，机器怎么学会给建议呢？你训练一个 model，这个 model “吃” 下 reddit 上的一个 point，然后它会想办法去模仿 point 下面的回复。

这个比赛提供了 600k 训练数据，也就是 600k 个 reddit 上的 point 及 point 下的回应，而期待机器可以学会正确的回应。

这里以 T5 当作例子，那个时候还没有 GPT-3。T5 答案是这样，你去和你的老师说，你想要一个 project，然后这个 project 可以看到死的动物。

这个回答显然就是不知所云，看起来是合理的句子，看起来像在讲些什么，但实际上没有什么作用。今天，这些巨大的 language model，它往往能得到的表现就是样子。

上图是一些真正的实验结果。在 Turing Advice Challenge 中，包括 Grover、T5 等各式各样的模型。结果是，就算是 T5，人们也只有在 9% 的情况下，才觉得 T5 提出来的建议比人提出来的建议有效。

如果现在比较 reddit 上评分第一高的建议与第二高的建议，其实评分第二高的建议还有 40% 的人是觉得有用的，但 T5 只有 9% 的人是觉得有用。

这说明了，用这种巨大的 language model 帮助机器产生的文字，和人类对语言使用的能力仍相差甚远。

由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道， 请将“AI科技评论”设为星标账号在看”。