阅读理解只有小学生水平，GPT-2写假新闻却是一把好手。

你也许听说过会作诗的机器学习模型，也对人工智能写新闻这事儿稍有耳闻——今天我们要介绍的这项 AI 科研进展，比上面这些更超前了一步。

近日，享有盛名的研究机构OpenAI，宣布了一项新的生成式语言模型 GPT-2 (Generative Pre-Trained Transformer-2)[1]。

这是一个基于 Transformer，约有15亿个参数的文本生成模型，采用来自互联网上总共800万个网页、超过40GB的文字资料，无监督学习训练而成。（GPT 初代结合了无监督学习和监督式学习。）

在以往，同类模型需要特定专业的语料去训练，才能得到可接受的效果。简单来说，写诗的 AI 得用大量的诗歌去训练；写新闻的 AI，用的数据集也是写好的新闻素材。

而 GPT-2 的厉害之处在于：在未经专门类别语料训练的前提下，这个模型已经可以用于多种跟语言相关的任务，结果令人惊讶。

前面提到，GPT-2 可以用于其他比较常见的阅读理解类任务。比如回答问题、填空、缩写、翻译等等。

在这些任务上，GPT-2 的强大之处在于，它采用无监督训练，没有使用专门面向这些任务的数据进行训练。

这种训练条件叫做 Zero-shot。在这样的条件下，GPT-2的阅读理解能力已达到小学生水平。

1）回答问题：研究人员喂了一段北京奥运会火炬传递的语料给 GPT-2，然后问它“总共多远”、“起始地点”、“他们接下来去了哪”之类的，带有次序、非直接提问和上下文指代的问题。GPT-2 的准确率达到了55%。

如果没有语料，直接上自然语言问题，比如”美国土地面积最大的州是哪个“，GPT-2 的准确率就降至5%以下了，而且参数提高没看到多大效果——这并不令人感到意外。

2）填空：任务是填出这段话的最后一个单词。案例语料是一段讲述吃早饭的文字，传达的意思是吃的应有尽有，喝的却只有”冷冽的水“，暗示没有咖啡，最后一个单词应该为”咖啡“。GPT-2 填了“食物”，违反了语料里给定的场景。

但是如果你再看一遍语料（下图），可能会察觉到，如果只看最后两句，那么确实是有“没有食物只能喝水”的意思。研究人员指出，如果提高计算量，增加参数，准确度会进一步提高。

3）缩写：表现一般，参数增加后准确度反而降低了。

4）翻译：在扩写任务上展示惊人能力之前，翻译被认为是 Transformer 类模型最适合的任务，因为其关注模型本身很适合。GPT-2 在翻译任务上表现的很不错，未来参数增加到一定程度，大有赶超现有统计机器翻译 (SMT) 技术的希望。

总的来看，GPT-2 初步展示了 Transformer 类模型，以及其背后的关注机制，在自然语言处理类任务上所具备的潜力。它能够取得state-of-the-art 的结果，并且训练所需的时间更短。

但是在 AI 领域，类似的进步总是双刃剑。刚才提到，在扩写等特定的任务上，如果 GPT-2 以及 Transformer 模型被心怀不轨的人滥用，恐怕将意味着更多假新闻出现。

OpenAI 在网站上也主动提到了这件事，而且他们本次并没有放出训练的数据集、全部代码等关键资料。在 GitHub 上 OpenAI 选择了”阉割式开源“，放出来的的是一个更小的，只有1.17亿参数的 GPT-2 版本，而论文中的最大参数量超过了15亿个。

”我们明白，某些研究者有技术实力，可以复现并且开源我们的训练结果。我们认为现在采取的发布策略可以限制这类人或机构的数量。这样，我们就能有更多时间让 AI 社区去探讨这类技术的应用，“OpenAI 在官网上写道。

OpenAI 还建议，政府应该针对滥用 AI 技术者建立惩罚机制。

[1] https://blog.openai.com/better-language-models/

[2] https://blog.openai.com/better-language-models/#sample1