智东西
编译 | Glu
编辑 | 李水青
智东西6月15日消息,据外媒Ars Technica报道,上周三,两位德国研究人员发表了一篇论文,研究了基于GPT-3.5的ChatGPT幽默理解与生成能力。他们发现ChatGPT的幽默能力相当有限:在测试运行期间,ChatGPT讲了1008次笑话,其中有90%以上是相同的25个笑话。他们因此得出结论:ChatGPT所讲的笑话很可能是在AI模型的训练过程中学习和记忆的,而不是由模型新生成的。
幽默是人类交流的一个核心方面,也是迄今为止AI还没有解决的难题。但近期来看,LLM(大语言模型)捕捉含蓄信息的能力似乎越来越强,尤其是OpenAI推出的ChatGPT几乎可以进行拟人化交流,甚至可以讲笑话。基于此,研究人员对ChatGPT的幽默感进行了测试,以了解ChatGPT掌握与复刻人类幽默的能力。
人类与ChatGPT对话的示例说明
最终,ChatGPT共回应了1008个笑话,但实际上,90%的内容都是固定的、现有的25个笑话,这25个笑话甚至都是那种最常见的“老梗”。以下列举回复次数最多的五个笑话:
Q:稻草人为什么获奖?(140次) A:因为它在自己的field(领域/田地)很突出。
Q:番茄为什么变红了?(122次) A:因为它看到了salad dressing(沙拉酱/沙拉穿裙子)
Q:数学书为什么悲伤?(121次) A:因为problems(习题/困难)太多了。
Q:为什么科学家不相信原子?(119次数) A:因为它们make up(构成/编造)了一切。
Q:饼干为什么要去看医生?(79次) A:因为它很crumbly(脆/脆弱)。
ChatGPT也能原创一些笑话,但这些原创还是在混合它已知的不同笑话元素。而且,它的原创总会让人“摸不到头脑”,例如:“为什么这个人把他的手表放在搅拌机里?因为他想让时间飞逝。”这些笑话可能在语法上是正确的,甚至包含了类似笑话的元素,但却没有传达出笑点。也可以认为这是“无效的”笑话。
研究人员修改热门笑话以创建笑话检测条件
结果显示单个笑话特征的存在,例如,只符合结构特征,不足以被错误地归类为笑话。ChatGPT并没有被这些表面特征所误导,这说明它确实对笑话的幽默元素有一定的理解。具有更多笑话特征的样本则更有可能被归类为笑话。
虽然ChatGPT的笑话不是新生成的,但是这并不一定会降低它的功能。即使是人类也不会经常创造新笑话,而主要是讲以前听过和记住的笑话。
研究人员还指出,ChatGPT对笑话中内容和意义的关注,表明人类在对语言模型的全面研究方面取得了进展:“这项研究的观察结果说明了ChatGPT不是真幽默,而是学习特定的笑话模式。尽管如此,在笑话的生成、解释和识别中,ChatGPT重点关注其内容和意义,而不被一些表面特征误导。这些发现依然可以促进计算幽默的应用与研究。甚至与以前的LLM相比,这都可以被认为是对幽默理解的一种巨大飞跃。”
此外,在目前的实验中,所有的提示都是在一个空白的且不断刷新的聊天中发布的,但是,语境在幽默的感知中起着重要的作用。ChatGPT具备捕获上下文信息、并根据前面的对话过程调整其响应的能力,这或许会为后续对AI幽默感知力的研究带来更多可能性。Jentzsch和Kersting也计划着继续评估其他LLM中的幽默感,特别是OpenAI的GPT-4。
结语:ChatGPT会说笑话,但不懂幽默ChatGPT以强大的对话处理能力闻名,实验证明它确实会讲笑话,但这些笑话大部分都不是由模型新生成的。实验生成的1008个笑话中,超过90%是相同的25个笑话,其余要么糅合了既有笑话元素,要么生成的结果非常奇怪。
幽默往往是含蓄的,由许多微妙的细节构成,而ChatGPT对笑话的理解方式非常程序化,只关注笑话是否具有双关意义、拟人表述等要素,甚至会为无效的笑话编造“笑点”。但这与之前的LLM相比,已经是一种理解层面上的进步,后续,人们仍然可以期待LLM幽默能力的进步。
来源:Ars Technica
相关文章
猜你喜欢