果然，能打败昨天的OpenAI的，只有今天的OpenAI。

刚刚，OpenAI震撼发布了大型多模态模型GPT-4，支持图像和文本的输入，并生成文本结果。

号称史上最先进的AI系统！

GPT-4不仅有了眼睛可以看懂图片，而且在各大考试包括GRE几乎取得了满分成绩，横扫各种benchmark，性能指标爆棚。

OpenAI 花了 6 个月的时间使用对抗性测试程序和 ChatGPT 的经验教训对 GPT-4 进行迭代调整 ，从而在真实性、可控性等方面取得了有史以来最好的结果。

另外，GPT-4在不同语种上的能力表现：中文的准确度大概在 80% 左右，已经要优于GPT-3.5的英文表现了。

许多现有的 ML 基准测试都是用英语编写的。为了初步了解GPT-4其他语言的能力，研究人员使用 Azure翻译将 MMLU 基准（一套涵盖57个主题的14000个多项选择题）翻译成多种语言。

在测试的 26 种语言的 24 种中，GPT-4 优于 GPT-3.5 和其他大语言模型（Chinchilla、PaLM）的英语语言性能：

读图做题小case，甚至比网友还懂梗

GPT-4此次升级的亮点，当然就是多模态。

GPT-4不仅能分析汇总图文图标，甚至还能读懂梗图，解释梗在哪里，为什么好笑。从这个意义上说，它甚至能秒杀许多人类。

OpenAI称，GPT-4比以往模型都更具创造力和协作性。它可以生成、编辑和迭代用户进行创意和技术写作任务，例如创作歌曲、编写剧本或学习用户的写作风格。

另外，GPT-4能够处理超过25,000字的文本，允许用长形式的内容创建、扩展会话、文档搜索和分析。

GPT-4在其先进的推理能力方面超过了ChatGPT。如下：

GPT-4立马反应过来：图里的这个「Lighting充电线」，看起来就是个又大又过气的VGA接口，插在这个又小又现代的智能手机上，反差强烈。

训练过程

和以前的GPT模型一样，GPT-4基础模型的训练使用的是公开的互联网数据以及OpenAI授权的数据，目的是为了预测文档中的下一个词。

这些数据是一个基于互联网的语料库，其中包括对数学问题的正确/错误的解决方案，薄弱/强大的推理，自相矛盾/一致的声明，足以代表了大量的意识形态和想法。

当用户给出提示进行提问时，基础模型可以做出各种各样的反应，然而答案可能与用户的意图相差甚远。

因此，为了使其与用户的意图保持一致，OpenAI使用基于人类反馈的强化学习（RLHF）对模型的行为进行了微调。

不过，模型的能力似乎主要来自于预训练过程，RLHF并不能提高考试成绩（如果不主动进行强化，它实际上会降低考试成绩）。

基础模型需要提示工程，才能知道它应该回答问题，所以说，对模型的引导主要来自于训练后的过程。

GPT-4模型的一大重点是建立了一个可预测扩展的深度学习栈。因为对于像GPT-4这样的大型训练，进行广泛的特定模型调整是不可行的。

因此，OpenAI团队开发了基础设施和优化，在多种规模下都有可预测的行为。

为了验证这种可扩展性，研究人员提前准确地预测了GPT-4在内部代码库（不属于训练集）上的最终损失，方法是通过使用相同的方法训练的模型进行推断，但使用的计算量为1/10000。

还有些能力仍然难以预测。比如，Inverse Scaling竞赛旨在找到一个随着模型计算量的增加而变得更糟的指标，而 hindsight neglect任务是获胜者之一。但是GPT-4 扭转了这一趋势：

OpenAI认为能够准确预测未来的机器学习能力对于技术安全来说至关重要，但它并没有得到足够的重视。

而现在，OpenAI正在投入更多精力开发相关方法，并呼吁业界共同努力。

贡献名单

就在GPT-4发布的同时，Open AI还公开了GPT-4这份组织架构及人员清单。

上下滑动查看全部

北大陈宝权教授称，

再好看的电影，最后的演职员名单也不会有人从头看到尾。Open AI的这台戏连这个也不走寻常路。毫无疑问这将是一份不仅最被人阅读，也被人仔细研究的「演职员」(贡献者) 名单，而最大的看头，是详细的贡献分类，几乎就是一个粗略的部门设置架构了。

这个很「大胆」的公开其实意义挺深远的，体现了Open AI背后的核心理念，也一定程度预示了未来进步的走向。

参考资料：