> 自媒体 > (AI)人工智能 > GPT-4 做「世界模型」,让LLM从「错题」中学习,推理能力显著提升
GPT-4 做「世界模型」,让LLM从「错题」中学习,推理能力显著提升
来源:机器之心Pro
2023-11-17 13:04:59
410
管理

机器之心报道

编辑:蛋酱、杜伟

从错误中学习,不只是人类可以做到。近日有研究发现,大模型其实也可以借鉴这种思路。

这段时间,大语言模型在各种 NLP 任务中取得了重大进展,尤其是在需要复杂的思维链(CoT)推理的数学问题方面。

比如在 GSM8K、MATH 这样的高难度数学任务的数据集中,包括 GPT-4 和 PaLM-2 在内的专有模型已取得显著成果。在这方面,开源大模型还有相当的提升空间。为了进一步提高开源大模型处理数学任务的 CoT 推理能力,一种常见的方法是使用注释 / 生成的问题 - 推理数据对( CoT 数据)对这些模型进行微调,这些数据对会直接教导模型如何在这些任务中执行 CoT 推理。

在最近的一篇论文,来自西安交大、微软、北大的研究者尝试探讨了另外一种提升思路:是否可以通过逆向学习过程(即从 LLM 犯过的错误中学习)进一步提高其推理能力?

就像是一个刚开始学习数学的学生,首先会从书本上的知识点和例题中学习,但也会进行练习。解题失败后,他便知道自己犯了什么错误、如何改正,形成一个「错题本」。正是通过从错误中学习,推理能力得到了进一步提高。

受这个过程的启发,这项工作探讨了 LLM 的推理能力如何从理解和纠正错误中受益。

评估结果发现,50 个生成修正中有 35 个达到了优秀质量、11 个为良好、4 个为糟糕。根据这一评估结果,研究者推断使用 GPT-4 生成修正的整体质量足以进行进一步的微调阶段。因此,他们生成了更多大规模的修正,并将所有最终得出正确答案的修正用于微调 LLM。

微调 LLM

在生成修正数据之后,研究者微调了 LLM,从而评估这些模型是否可以从错误中学习。他们主要在以下两种微调设置下进行性能比较。

一是在思维链(CoT)数据上微调。研究者仅在问题原理(question-rationale)数据上微调模型。尽管每个任务中有带注释的数据,但他们额外采用了 CoT 数据增强。研究者使用 GPT-4 为训练集中的每个问题生成了更多推理路径,并过滤掉最终答案错误的路径。他们利用 CoT 数据增强来构建一个强大的微调基线,该基线仅使用 CoT 数据,并有助于对控制微调的数据大小进行消融研究。

二是在 CoT 数据 修正数据上微调。除了 CoT 数据,研究者还将生成的错误修正数据用于微调(即 LEMA)。他们同样进行了控制数据大小的消融实验,以减少增量对数据大小的影响。

下图附录 A 中的示例 5 和示例 6 分别展示了用于微调的 CoT 数据和修正数据的输入 - 输出格式。

此外,LEMA 与专有 LLM 兼容:带有 WizardMath-70B /MetaMath-70B 的 LEMA 在 GSM8K 上实现了 84.2%/85.4% 的 pass@1 准确率,在 MATH 上实现了 27.1%/26.9% 的 pass@1 准确率,超过了众多开源模型在这些挑战性任务上取得的 SOTA 性能。

随后的消融研究表明,在相同的数据量下,LEMA 仍然优于 CoT-alone 微调。这表明,CoT 数据和校正数据的有效性并不相同,因为两种数据源的结合比使用单一数据源能产生更多的改进。这些实验结果和分析强调了从错误中学习在增强 LLM 推理能力方面的潜力。

更多研究细节,可参考原论文。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
微信聊天时,上方显示“对方正在输入”是这个意思,看完明白了..
和好友微信聊天时,页面上出现“对方正在输入”,但是左等右等却等不来消..
谷歌急推Bard“宣战”,但ChatGPT表示不慌
图片来源:视觉中国在ChatGPT来势汹汹之际,2月6日,谷歌透露计划推出一..
ChatGPT提供的论文、商业策划书等,版权归谁?版权服务基层行首站走进高校..
来源:【重庆日报网】计算机软件属不属于著作权的保护对象?作者向报社、..
不可能出现中国版ChatGPT,不是国人不够聪明,而是现实太复杂..
大家好,欢迎来到戗词夺理,我是老戗。ChatGPT这款AI产品最近可以说是火..
中国版“ChatGPT”正火速赶来,百度称下月完成内测并开放..
ChatGPT近期不断“刷屏”,中国互联网大厂动向如何?2月7日,记者从百度..
在「机器人领域」使用ChatGPT提高生产力
最近几个月,ChatGPT 大火,它是OpenAI于去年11月底推出的人工智能聊天机..
“充值”800万她接到留言:你的聊天成诈骗团伙教材
600余页的聊天记录,被远在老挝的诈骗团伙成员当做“优秀案例”传阅学习..
人工智能(AI)、ChatGPT是什么?让事实给你30秒读懂它!..
我们拿一个行业来看看,近期,ChatGPT在美国执业医师资格考试中取得合格..
OpenAI 通过新的增强功能扩展了 ChatGPT Plus 功能
OpenAI 通过引入旨在增强用户体验和生产力的令人兴奋的新功能,继续革新..
关于作者
乖乖(普通会员)
文章
586
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40367 企业收录2981 印章生成216381 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索