西风 发自 凹非寺量子位 | 公众号 QbitAI

RLHF（基于人类反馈的强化学习）的一大缺点，终于被解决了！

没错，虽然RLHF是大语言模型“核心技巧”之一，然而这种方法也存在一个问题——

它只会判断生成文本的整体效果，不会仔细判断细节是否存在事实性错误、信息不完整和相关度等问题。

换而言之，传统的RLHF只会对大语言模型的整个输出进行打分，而不会揪出细节上的毛病。

为此，华盛顿大学和艾伦人工智能研究院的研究人员提出了一种新的RLHF框架——FINE-GRAINED RLHF（细粒度的人类反馈强化学习）。

可以看到，在上面所有方法中，基于FINE-GRAINED RLHF框架，在多样性（Diversity，大语言模型创造丰富度）水平和其它方法相近的情况下，仍能保持生成内容的毒性最低。

△信息完整度评估，“win”表示FINE-GRAINED RLHF获胜，“lose”表示FINE-GRAINED RLHF失败，信息完整性较差

上面给出的是人工评估的结果，而在测试集上也有自动的评分。

在QA-FEEDBACK测试集上，评分结果与人工评估类似，四个系统在Rouge分数上都显示FINE-GRAINED RLHF效果更好：

△在QA-FEEDBACK测试集上的自动评估结果

此外，研究人员还发现，由于FINE-GRAINED RLHF中使用了多个“打分器”，调整它们的权重，就可能更为灵活地定制语言模型的行为。

例如，将更多的权重添加到评估信息完整性的“打分器”中，可能会使生成的信息完整性更好。

△不同奖励模型权重配置下FINE-GRAINED RLHF的测试集自动评估结果

如上表所示，研究人员探索了FINE-GRAINED RLHF定制化语言模型行为的能力。

他们探索了三种“打分器”权重配置，并根据语言模型的平均文本生成长度，将它们分别命名为“short”、“medium”、“long”。

“short”生成了相关性更高的内容，但是事实性和完整性方面较差。与之相反，“long”提供了最准确和完整的生成内容。这反映出语言模型引用了大量的文本段落内容。而“medium”配置平衡了三种打分方法，并具有最高的得分。

不过，三个“打分器”之间还存在着竞争关系。

“相关性打分器”（the rel. reward model）偏向于生成短而简洁的回答，而”信息完整性打分器”（the comp. reward model）更偏向于生成更长、更丰富的回答。

因此，在训练过程中，这两个“打分器”会相互竞争，并最终达到一个平衡。

与此同时，“事实性打分器”（the fact. reward model）则会不断提高回答的正确性。

不过，移除任何一个“打分器”都会降低模型性能。

最后，研究人员还将他们的模型与ChatGPT的回答进行了比较。

ChatGPT在测试集上的RougeLSum得分为40.92，远低于本文使用FINE-GRAINED RLHF所训练的模型。

简单来说，ChatGPT生成的回答通常非常简洁且事实准确，但是缺乏澄清模糊问题所需的补充信息。

两位论文共同一作均是来自于华盛顿大学（University of Washington）自然语言处理研究小组的博士生。

Zeqiu Wu，本科就读于伊利诺伊大学电子与计算机工程系，并且取得了该校的硕士学位。

她的研究主要专注于信息检索型对话系统和通用交互系统。

曾在谷歌研究院的实习，担任学生研究员。

胡雨石（Yushi Hu），于2021年从芝加哥大学获得数学、计算机科学和经济学的学士学位。目前师从Mari Ostendorf教授和Noah A. Smith教授。

他的主要兴趣领域是多模态学习和基于人类反馈的强化学习（RLHF）。

此前，他还曾与美国阿贡国家实验室的Saidur Bakaul博士和清华大学的宁传刚教授合作过。

论文地址：https://finegrainedrlhf.github.io/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态