如果你一直在关注NLP领域的最新发展，那么在过去几个月里几乎不可能避免GPT-3的炒作。这一切都始于OpenAl研究人员发表的论文《Language Models are few Shot Learners》，该论文介绍了GPT-3系列模型。

GPT 3模型中的关键设计假设:

· 模型规模的增加和对更大数据的训练可以导致性能的提高

· 单一模型可以在许多NLP任务上提供良好的性能。

· 模型可以从新数据中推断，不需要进行微调

· 该模型可以解决从未训练过的数据集上的问题。

传统上，预训练的模型是通过微调来学习适应新的任务的。模型的微调需要大量的数据来解决我们正在解决的问题，也需要更新模型的权重。现有的微调方法如下图所示。

学习过程为早期的预训练语言模型-微调

GPT-3采用了不同的学习方法。不需要大量标记数据来推断新问题。相反，它可以不从数据(零次学习 Zero-Shot Learning )中学习，只从一个例子(一次学习 one-Shot Learning)或几个例子中学习。

下面我们展示了GPT-3所采用的不同学习方法。

以上可以看出

· GPT-3的大小是其突出的特点。它几乎是最大的BERT模型的470倍

· 在架构方面，BERT仍然处于领先地位。它是一种经过训练能够更好地捕捉不同问题语境下文本之间的潜在关系。

· GPT-3学习方法相对简单，可以应用于很多没有足够数据的问题。因此，与BERT相比，GPT-3应该有更广泛的应用。

随着学习更好地表示底层文本语料库的进展，自然语言处理技术的应用也在不断发展。下面的图表给出了一些传统NLP应用领域的快速概述。

我们已经看到GPT-3能够在文本生成任务上取得实质性的进展，并将NLP的应用扩展到可用数据有限的领域。然而，它在传统的NLP任务(如机器翻译、阅读理解和自然语言推理任务)中表现如何呢?

语言建模：GPT-3在纯语言建模任务上击败了所有的基准。

机器翻译：对于需要将文档转换成英语的翻译任务，该模型的性能优于基准测试。但是如果需要将语言从英语翻译为非英语，那么情况就不一样了，GPT-3的性能也会出现问题。

阅读理解：GPT 3模型的性能远远低于这里的技术水平。

自然语言推理：自然语言推理(NLI)关注理解两个句子之间的关系的能力。GPT 3模型在NLI任务中的表现很差

常识推理：常识推理数据集测试物理或科学推理技能的表现。GPT 3模型在这些任务上的表现很差

集成挑战:目前，GPT-3已经被一些使用开放AI api的用户所使用，用户社区很乐意使用GPT-3构建玩具应用程序。许多公司，尤其是金融界的公司，都有规定，禁止将数据转移到公司之外。考虑到GPT-3的大小，如果需要将模型集成到主流应用程序中，那么开发必要的基础设施以获取数据和模型将是一项艰巨的工作。

单一模型与混合模型的争论:拥有一个用于所有任务的单一模型的梦想是一个值得珍惜的梦想，它不需要训练，可以在没有大量数据的情况下学习。GPT-3已经朝着实现这一目标迈出了第一步，但还有一段路要走。就其目前的形式而言，GPT-3是一个混合体。一种可能的方法是将GPT-3用于文本生成、机器翻译和数据有限的领域。然而，现有的预训练的定制模型(BERT/Roberta/Reformer…)将继续在实体识别、情绪分析、问题回答等传统任务上占据优势。

对模型偏差和可解释性的担忧:考虑到GPT-3的庞大规模，公司将很难解释该算法做出的决策。公司没有办法管理用于训练算法的数据。我们如何知道训练数据是否有内置偏差或者算法是基于错误的数据做出决定的这些数据已经被公开了?仅仅通过观察少数几个例子就可以做出实际的决定，这种不确定性使得这一问题更加复杂

需要制定规章以防止滥用:如果没有得到适当的管制，人们对滥用GPT-3提出了一些非常合理的关切。人工智能社区如何能够提出禁止滥用的法规，将在很大程度上决定该模式如何在对负责任的人工智能有更高意识的组织中被接受。

总之GPT-3虽然是一个很强大的模型，但是他并没有能够像CNN在CV的地位那样为NLP提供了一个不可替代的方案。

作者：Gaurav Shekhar

deephub翻译组