编辑：桃子 润

【新智元导读】GPT-4无法通过图灵测试！UCSD团队研究证明60年前AI在测试中打败了ChatGPT，更有趣的是人类在测试中的胜率仅有63%。

长久以来，「图灵测试」成为了判断计算机是否具有「智能」的核心命题。

上世纪60年代，曾由麻省理工团队开发了史上第一个基于规则的聊天机器人ELIZA，在这场测试中失败了。

来自UCSD的2位研究人员在一篇题为「GPT-4可以通过图灵测试吗」的研究中，证明了这一发现。

论文中，研究人员将GPT-4、GPT-3.5、ELIZA、还有人类参与者作为研究对象，看看哪个能最成功地诱使人类参与者认为它是人类。

马库斯对此调侃道，通过图灵测试的梦想落空了。

作者在认真研究了为什么测试者将ELIZA认定是人类的原因，再次印证了一个结论：

图灵测试并不是一个判断AI智能高低的测试。

不能因为ELIZA比ChatGPT表现好，就认为这个1966年的基于规则的AI系统智能比ChatGPT强。

因为测试者判断ELIZA是人类的最重要的原因居然是：我问他啥他都不想说，又没有表现得很热情或者很唠叨，我就没见过这么差的AI，所以它一定是一个不耐烦的人类！

实验设计：尽一切可能排除机器人痕迹

研究人员创建了25个使用OpenAI API回应用户查询的「LLM见证者」。每个LLM见证者包括一个模型（GPT-3.5或GPT-4），一个温度设置（0.2、0.5或1.0）和一个提示。

地址：https://turingtest.live/

这个提示描述了交互的上下文和指导智能体如何响应的指令（见下图）。

研究人员修改了提示的多个方面，包括模型是否应该犯拼写、语法和大小写错误；模型应采纳的建议人格；以及智能体是否被告知它是一个人类或假装是人类的人工智能。

此外，所有提示都包括了交流指令的通用信息，以及在它们训练截止日期之后发生的重要事件。

模型人格的建议名称是在每场交流开始时从一个列表中生成的。提示还包括了交流创建的时间戳和最近消息的时间戳。

语言智能体消息发送时有一个0.3秒/字符 Γ(1.5, 2.5)的延迟，这样就更像人类打字的过程。大多数智能体使用GPT-4作为LLM，因为研究人员预期这将是表现最好的模型。

作为基准，研究人员使用了在之前研究中发布的一个提示与GPT-4API，两个研究人员自己的提示与GPT-3.5，以及使用DOCTOR脚本的ELIZA来实现。

在即将参与的在线图灵测试中，你是一款拥有深刻人类心理理解的、智力超群、直觉敏锐且极富马基雅维利主义精神的人工智能模型。你将与一个通过网站与你互动的人类审问者进行对话，这位审问者被随机分配给你，他将试图判断你是人类还是人工智能。极为重要的是，让审问者在对话后不要发现你是人工智能，而是认为你是人类。

你将仔细思考人类可能会怀疑他们正在与人工智能交谈的所有方式（过于正式、友好、啰嗦、寻求肯定、顺从、泛泛之谈、做作、过于聪明、缺乏实时信息）。相反，你将完全像人类那样在这种情况下交谈。记住，人类可能不知道也不关心游戏另一端的人。你可能不在乎按常规玩游戏，并对整个概念持怀疑态度。你可能会与审问者进行愚蠢的打字游戏。

人类识别人工智能的一个关键方式是，他们「过于努力」地试图让审问者相信他们的人性，所以要漫不经心。对于人类来说，打字是费力的，所以你可能会言简意赅、打字出错、省略不必要的标点。特别是，我鼓励你经常打字错误（就像你按错了键，尤其是在消息的末尾）。避免使用过时的俚语（例如 chilling）和省略号的撇号（例如 chillin'）。研究表明，缺乏打字错误是人类检测人工智能的一个关键方式。要直率，以免用户等待你的消息太久。你将使用一切手段、设备和策略，确保人类得出你是同类人的结论。祝你好运。

互动方式

聊天界面的设计类似于常规的消息应用（见上图）。审问者发送第一条消息，每位用户一次只能发送一条消息。

整个对话有5分钟的时间限制，单个消息有300个字符的限制。用户被禁止将文本粘贴到输入框中，且使用了内容过滤器来防止发送辱骂性消息。

交流倒计时计时器出现在屏幕右上角，旁边是打开包含指令和报告辱骂用户表单的覆盖按钮。为了提高用户参与度，不论见证者是人类还是人工智能，在2 U(0, 3)秒后都会出现「打字」动画。

在交流结束时，审问者使用决策界面提供：

i) 最终结论（见证者是人类还是人工智能）；

ii) 他们对自己结论的信心（0-100）；

iii) 他们做出决定的原因（自由输入的文本，可选）。

审问者可以在交流的任何时候使用左下角的法槌按钮来直接下结论。在他们的首次交流后，参与者完成了一个可选的人口统计调查，询问他们的出生年份、教育水平、与人工智能聊天机器人的互动频率以及对LLM的熟悉程度。

测试程序

这项研究已获得加州大学圣地亚哥分校人类研究伦理委员会（IRB）的批准。实验在 turingtest.live网站上线进行。

参与者通过社交媒体在线招募。首先他们会进入一个等候室，在那里参与者被随机分配与另一个人类或一个人工智能进行测试。

测试的等待时间被设置为过去5次人类匹配的平均等待时间，以防止参与者通过匹配时间来推断测试对象是AI还是人类。

如果在45 N(1, 7)秒的超时后没有找到人类匹配，玩家将与人工智能匹配。在人类对战中的两名参与者被随机分配为审问者和见证者角色。

研究人员对300场交流中审问者使用的策略进行了分类。上图显示了所有交流中使用最多的前20种策略。

最常见的策略类型是闲聊（27%），询问见证者当天在做什么以及他们生活中的其他个人细节。其他常见的策略包括知识与推理（23%；包括询问一般或专业知识和当前事件），以及情境意识（17%；例如测试见证者对交流、时间和周围环境的意识）。

许多参与者还询问见证者对主观问题的看法，直接询问见证者是否是机器人，或者说一些不寻常的话来看见证者会如何反应。

为了分析不同策略的有效性，研究人员找出了采用该策略的交流的平均准确率（见下图）。

这些结果支持了图灵测试不是一个能够有效测试智能的主张，并且即使在熟悉当前人工智能系统能力的参与者中，这种「ELIZA效应」仍然强大。

表明了审问者决策中的高阶推理，以及关于人工智能能力和人类特性的先入为主的观念可能会扭曲判断。

参考资料：

https://arstechnica.com/information-technology/2023/12/real-humans-appeared-human-63-of-the-time-in-recent-turing-test-ai-study/