当国内的科技公司还在压榨骑手，还在和小摊小贩抢生意的时候，国外的科技公司已经默默研究出Chat-GPT这样跨时代的产品，并且免费开源，让所有人能体验到科技发展带来的好处。

继Chat-GPT 3.5之后没过半年，4.0版本马上就要到来。

如果说GPT-3是地球一样大，那么GPT-4就是太阳一样

与GPT-3只能输出文本不同，GPT-4是一个大型多模态模型，可以接受图像和文本输入并生成文本输出。

GPT-4的功能在可靠性、创造力和对细微指令的处理方面比以前的GPT-3.5有所改进。

OpenAI在各种基准测试（包括为人类设计的模拟考试）上测试了该模型，发现GPT-4优于现有的大型语言模型。

它在英语以外的语言中也表现出色，包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言。

视觉输入：

GPT-4可以接受文本和图像作为输入，从而能够基于由文本和图像组成的输入生成文本输出。

虽然该模型的视觉输入能力仍处于研究预览阶段，但它已显示出与纯文本输入类似的能力。

可操纵性：

OpenAI一直致力于定义AI行为的计划的各个方面，包括可操纵性。

开发人员现在可以通过描述“系统”信息中的方向来规定他们的AI风格和任务。

API用户可以在一定范围内自定义用户体验，从而实现显著的个性化。

局限性：

然而，GPT-4并不完美，与早期的GPT模型具有类似的局限性。

它仍然会“产生幻觉”事实并导致推理错误，因此在使用语言模型输出时应谨慎，尤其是在高风险环境中。

GPT-4不知道2021 9月之后发生的事件，这可能导致它犯下简单的推理错误，并接受虚假陈述为真。

它也可能无法解决像人类这样的挑战性问题，例如在代码中引入安全问题。

GPT-4可以做出自信但不正确的预测，并且不总是仔细检查其工作。

有趣的是，基础模型擅长预测其答案的准确性，但这种能力在后期训练后会降低。

风险和缓解措施：

虽然GPT-4的功能很重要，但它带来了新的风险，例如生成有害建议、错误代码或不准确的信息。

OpenAI一直致力于降低这些风险，与50多名专家合作对模型进行对抗性测试，并收集额外数据，以提高GPT-4拒绝危险请求的能力。

因此，OpenAI对GPT-4进行了许多改进，使其比GPT-3.5更安全。

GPT-4比上一版本提供不适当内容的可能性低82%，并且它更好地遵循有关医疗建议和自我伤害等敏感话题的政策。

虽然OpenAI使模型更能抵抗不良行为，但生成违反使用规则的内容仍然是可能的。

OpenAI表示，GPT-4可能对社会有益或有害，因此它正在与其他研究人员合作，以了解潜在的影响。

培训流程：

与以前的GPT模型一样，GPT-4基础模型被训练为使用公开可用的数据和OpenAI许可的数据来预测文档中的下一个单词。

使用带人反馈的强化学习（RLHF）微调模型的行为，使其与护栏内的用户意图保持一致。

可预测缩放：

GPT-4项目的一个重要重点是构建一个可预测扩展的深度学习堆栈。

OpenAI开发了基础设施和优化，在多个尺度上具有可预测的行为，可以准确预测GPT-4在训练期间的最终损失。

结论：

GPT-4的创建标志着OpenAI努力扩大深度学习的一个重要里程碑。

虽然不完美，但它在各种学术和专业基准上表现出了人类水平的表现，使其成为一个强大的工具。