编辑：好困 Aeneas 桃子

【新智元导读】做聊天机器人，OpenAI不是第一家，但绝对是最出风头的那个。谷歌、Meta、DeepMind、OpenAI的聊天机器人大PK，谁最牛？

前几天，Meta首席人工智能科学家Yann LeCun的一段对于ChatGPT的点评迅速传遍圈内外，引发了大波讨论。

在Zoom的媒体和高管小型聚会上，LeCun给出了一段令人惊讶的评价：「就底层技术而言，ChatGPT并不是多么了不得的创新。」

「虽然在公众眼中，它是革命性的，但是我们知道，它就是一个组合得很好的产品，仅此而已。」

谷歌、Meta、DeepMind、OpenAI大PK！

话不多说，咱们把这几家AI巨头的聊天机器人都拉出来遛遛，用数据说话。

LeCun说许多公司和实验室都有类似ChatGPT的AI聊天机器人，此言不虚。

ChatGPT并不是第一个基于语言模型的AI聊天机器人，它有很多「前辈」。

在OpenAI之前，Meta、谷歌、DeepMind等都发布了自己的聊天机器人，比如Meta的BlenderBot、谷歌的LaMDA、DeepMind的Sparrow。

还有一些团队，也公布了自己的开源聊天机器人计划。比如，来自LAION的Open-Assistant。

在RLHF中，一组模型响应根据人类反馈进行排序（例如，选择一个更受欢迎的文字简介）。

接下来，研究人员在这些注释过的响应上训练一个偏好模型，为RL优化器返回一个标量奖励。

最后，通过强化学习训练聊天机器人来模拟这个偏好模型。

思维链（CoT）提示，是指令示例的一个特例，它通过诱导聊天机器人逐步推理，以此来产生输出。

用CoT进行微调的模型，会使用带有人类注释的分步推理的指令数据集。

这就是那句著名的prompt——「let's think step by step」的起源。

下面的例子取自「Scaling Instruction-Finetuned Language Models」。其中，橙色突出了指令，粉色显示了输入和输出，蓝色是CoT推理。

论文指出，采用CoT微调的模型，在涉及常识、算术和符号推理的任务中表现得更好。

此外，CoT微调在敏感话题方面也非常有效（有时比RLHF做得更好），尤其是可以避免模型摆烂——「对不起，我无法回答」。

安全地遵循指令

正如刚才提到的， 指令微调的语言模型并不能永远产生有用且安全的响应。

比如，它会通过给出无用的回答来逃避，例如「对不起，我不明白」；或者对抛出敏感话题的用户输出不安全的响应。

为了改善这种行为，研究人员通过监督微调（SFT）的形式，在高质量的人类注释数据上对基础语言模型进行微调，从而提升模型的有用性和无害性。

SFT和IFT的联系非常紧密。IFT可以看作是SFT的一个子集。在最近的文献中，SFT阶段经常用于安全主题，而不是用于在IFT之后完成的特定指令主题。

在将来，它们的分类和描述应该会有更清晰的用例。

另外，谷歌的LaMDA也是在一个有安全注释的对话数据集上进行微调的，该数据集有基于一系列规则的安全注释。

这些规则通常由研究人员预先定义和开发，包含了一系列广泛的主题，包括伤害、歧视、错误信息等。

AI聊天机器人的下一步

关于AI聊天机器人，目前仍有许多开放性问题有待探索，比如：

1. RL在从人类反馈中学习方面有多重要？我们能在IFT或SFT中通过更高质量的数据训练获得RLHF的性能吗？

2. Sparrow中的SFT RLHF，与LaMDA中仅仅使用SFT，两者的安全性如何比较？

3. 鉴于我们已经有了IFT、SFT、CoT和RLHF，那么还有多少预训练是必要的？有哪些权衡因素？最好的基础模型是哪个（包括公开的和非公开的）？

4. 现在这些模型都是精心设计的，其中研究人员会专门搜索故障模式，并根据揭露的问题影响未来的训练（包括提示和方法）。我们如何系统地记录这些方法的效果并进行复现？

总结一下

1. 与训练数据相比，只需拿出非常小的一部分用于指令微调（几百个数量级即可）。

2. 监督微调利用人类注释，可以让模型的输出更加安全和有用。

3. CoT微调提高了模型在逐步思考任务上的表现，并使模型不会总是逃避敏感问题。

参考资料：

https://huggingface.co/blog/dialog-agents