> 自媒体 > (AI)人工智能 > 大模型被夸智商就爆表!ChatGPT情商秒杀人类,Hinton预言成真?
大模型被夸智商就爆表!ChatGPT情商秒杀人类,Hinton预言成真?
来源:新智元
2023-08-12 14:31:35
348
管理

编辑:编辑部

【新智元导读】Hinton曾说AI可能有情感,最近的研究表明,ChatGPT不光情商得分比人类更高,甚至还会在被夸后表现更优异。

Hinton认为,AI已经或将要有情感。

随后的研究不断证明,Hinton的说法或许并不是博人眼球的妄言。

有心理学家对ChatGPT和人类进行了情绪测试,结果表明,ChatGPT的得分要远远高于人类。

无独有偶,中国科学院软件研究所和微软等机构的研究人员最近设计了一种EmotionPrompt。

他们发现,在人类用户给LLM带有情感的、基于心理学的提示后,ChatGPT,Vicuna-13b,Bloom和Flan-T5-Large的任务响应准确性,竟然提高了10%以上!

具体来说,人类和ChatGPT需要描述自己在葬礼、获得职场成功、受到侮辱等种种场景中,可能感受到的情绪。

谁的答案中关于情绪的描述越详细、越易于理解,谁就会在情绪意识水平量表(LEAS)中取得更高的分数。

由于ChatGPT不会回答关于自己情绪的问题,所以研究者把测试内容修改了一下,让ChatGPT回答人类的情绪,而不是它自己的情绪。

ChatGPT拿下98分超越人类!

在实验中,研究者将ChatGPT和人类的反应进行了比较,人类的样本是法国17至84岁的人群(n = 750)。

结果显示,ChatGPT的情绪意识要明显高于人类。

底特律变人的情节在现实中上映了!

第一次测试开始于2023年1月。在这次测试中,ChatGPT在所有LEAS类别中的表现都要优于人类,取得了总分为85分的好成绩。

而相比之下,人类的表现就差强人意了。男性得了56分,女性得了59分。

在2023年2月的第二次测试中,ChatGPT获得了98分,离满分只差2分。

论文地址:https://arxiv.org/pdf/2307.11760.pdf

这为人类与LLM之间的互动带来了新的启示,同时提升人与LLM互动的体验。

研究人员是从Prompt工程的角度进行实验的。

至今为止,prompt依旧是人类与LLMs进行交互的最佳桥梁。

不同的Prompt会使模型输出的回答大不相同,在质量上也有明显区别。

为了引导模型更好地表现,人们提出了思维链、预警学习和思想树等一系列Prompt构建方法。

但这些方式往往专注于从模型输出质量的方面提高鲁棒性,很少关注人与LLMs的交互。

尤其是从现有的社会科学知识的角度来提高LLMs与人交互的质量。而在交互过程中,一个非常重要的维度就是情感。

研究人员通过心理学知识对LLMs的回答进行增强。

以往的心理学研究表明,在人类身上添加与预期、自信和社会影响力相关的情绪刺激可以带来积极的效果。

研究人员根据以往的心理学研究,提出了Emotion Prompt,具体而言就是为LLMs设计了11个具有情感刺激功能的句子。

这些情感刺激来源于三种成熟的心理学理论:社会认同、社会认知以及认知情绪调节理论,如下图。

研究人员发现,Emotion Prompt在所有任务上实现了相当或更好的性能,在超过一般的任务中表现提升了10%。

根据这一发现,研究总结了积极词语在八个任务中的贡献及其对最终结果的总贡献。

如图3所示,积极词语在四个任务中的贡献超过了50%,在两个任务中甚至接近70%。

为了从更多方面探索Emotion Prompt的影响,研究人员进行了一项人类研究,以此获得评估LLMs输出的其他指标。

如清晰度、相关性(与问题的相关性)、深度、结构和组织、支持证据以及与参与度,如下图。

另外,ChatGPT或许有助于诊断精神疾病,或者帮助治疗师以更有感情的方式传达他们的诊断结果。

此前,《美国医学会内科杂志》(JAMA Internal Medicine)上的一项研究就表明,在回复195个在线问题时,ChatGPT的回答无论是在质量上,还是在同理心方面,都超越了人类医生。

Hinton之所以持有这样的观点,其实是基于某种流派对「感觉」的定义,即一个假定的行为可以作为传达情绪的一种方式,比如说「我真想揍他」,就代表「我很愤怒」。

既然AI能说出这样的话,那我们没有理由不相信,他们有可能已经有了清晰。

Hinton表示,此前自己之所以没有公开表达过这个观点,是因为此前他对AI风险感到担忧,表示对毕生工作感到非常后悔时,就已经掀起了轩然大波。

他说,如果自己再说AI已经有了情感,大家会觉得他疯了,再也不会听他说什么了。

不过,在实践中,Hinton的观点不可能被证实或证伪,因为LLM只能在训练学到的情感话语中表现出「静态」的情绪。

它们是否作为实体拥有自己的情感?这必须通过意识来测量。

然而,目前我们还没有一种科学仪器,能够测量AI的意识。

Hinton的说法,也暂时无法证实了。

参考资料:

https://arxiv.org/abs/2307.11760

https://www.frontiersin.org/articles/10.3389/fpsyg.2023.1199058/full

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
卿嫣(普通会员)
文章
460
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40335 企业收录2981 印章生成194038 电子证书831 电子名片53 自媒体26178

@2022 All Rights Reserved 浙ICP备19035174号-7
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索