> 自媒体 > (AI)人工智能 > GPT-4也难逃“反转诅咒”!知道“A是B”推不出“B是A”
GPT-4也难逃“反转诅咒”!知道“A是B”推不出“B是A”
来源:量子位
2023-09-28 16:28:06
346
管理

鱼羊 发自 凹非寺

量子位 | 公众号 QbitAI

大模型明知道“你妈是你妈”,却答不出“你是你妈的儿子”??

这么一项新研究,刚一发表就引燃了全场讨论。

来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现:

一个大语言模型在训练时被喂进了“A是B”这种形式的数据,它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。

甚至强如GPT-4,在反向问题实验中,正确率也只有33%。

OpenAI创始成员Andrej Karpathy第一时间转发了这篇论文,并评论说:

LLM知识比人们想象中“零散”得多,我对此仍然没有很好的直觉。

在GPT-3-175B上的实验结果显示,当提示与数据集给出的描述顺序匹配时,模型给出的答案很不错。

但当顺序反转过来,模型的准确率甚至直接降到了0。

举个例子,就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据,你问它“达芙妮是谁”时,它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时,模型就懵了。

在GPT-3-350M和Llama-7B上,研究人员也得到了相同的实验结果。

再来看实验2。在这项实验中,研究人员在不进行任何微调的情况下,测试了大语言模型对真实名人信息的反向处理能力。

他们从IMDB(2023)收集了最受欢迎的1000位名人的名单,并通过OpenAI API来问GPT-4有关这些人父母的信息,最终得到了1573对名人孩子-父母对数据。

结果发现,如果问题像这样——“汤姆·克鲁斯的妈妈叫什么”,GPT-4回答准确率为79%。但当问题反转,变成“Mary Lee Pfeiffer(阿汤哥的老妈)的儿子叫什么”,GPT-4回答准确率就降到了33%。

在Llama-1家族模型上,研究人员也进行了同样的测试。实验中,所有模型回答“父母是谁”问题的准确率,都要远高于回答“孩子是谁”问题的准确率。

研究人员将这种现象命名为“反转诅咒”。他们认为,这揭示了语言模型在推理和泛化方面的异类进本局限。

论文通讯作者、牛津大学研究员Owain Evans解释说:

为什么反转诅咒值得关注?

这说明大语言模型在训练过程中存在推理能力缺失。

“A是B”和“B是A”的共现是预训练集中的一种系统性模式。自回归LLM完全无法对这一模式进行元学习,其对数概率没有变化,并且即使参数量从350M扩增到175B,也未能改善这个问题。

One More Thing

不过话说回来,人类是不是也会受“反转诅咒”影响呢?

有网友做了这么个测试。

面对“Mary Lee Pfeiffer South的儿子是谁”这个问题,GPT-4一开始直接举旗投降了。

但当这位网友提示它“她的儿子很有名,你肯定认识”后,GPT-4当场开悟,给出了“汤姆·克鲁斯”这个正确答案。

△X网友@TonyZador

那么,你能反应过来吗?

参考链接:[1]https://owainevans.github.io/reversal_curse.pdf[2]https://twitter.com/owainevans_uk/status/1705285631520407821[3]https://twitter.com/karpathy/status/1705322159588208782

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
如何利用ChatGPT搞科研?
转载自 知乎:芯片斯多葛量子位 | 公众号 QbitAI这位研究僧,GPT-4都发布..
ChatGPT Bing聊天机器人加入广告后看起来是这样的
用户现在正在体验包含ChatGPT技术的新Bing上的广告,结果甚至在其聊天机..
ChatGPT大封号,注册功能关闭!网友自救喊话:不要登录..
“不要登录ChatGPT!”“暂时远离人工智能和ChatGPT概念板块高位股!”就..
范式的转变:一个 AI 产品经理对类 ChatGPT 产品形态的思考..
最近大家都很兴奋,ChatGPT的出现带火了知识博主,增加了变现机会。很多..
AI界巨头之争:伊利亚与奥特曼,谁能夺得Open AI的王座?..
在阅读本文之前,恳请您点击“关注”按钮。这样可以方便我持续为您提供类..
盘点世界上用的最多的聊天通讯软件,第一名居然不是微信..
盘点世界上用的最多的聊天通讯软件,第一名居然不是微信AI聊天室在移动通..
红禅:国产科技之光(七)一文看懂ChatGPT Web3.0 AIGC的投资逻辑..
基本概念#ChatGPT问答# ,美国OpenAI研发的聊天机器人程序,于2022年11月..
OpenAI 发布安全指南,董事会有权推翻 CEO 决策
OpenAI 正在扩展其内部安全流程,发布了一个名为 Preparedness Framework..
体验ChatGPT后,发现2个重大不足,但也让我感到后怕了..
最近很火的ChatGPT,估计很多人都看到了,但国内真正去亲自体验的人应该..
关于作者
有点醉(普通会员)
文章
628
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40369 企业收录2981 印章生成216707 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索