每经编辑：程鹏,盖源源

ChatGPT，还可以信任吗？

据央视新闻5月29日报道，近日，美国一名律师在一起诉讼案件中，帮原告打官司时，引用了ChatGPT搜集的6个案例，而法官却发现那些信息全是子虚乌有。律师承认自己没有核实信息并为此道歉，眼下面临处罚。

让ChatGPT协助办案美国30年资深律师被坑

据新华社援引美国有线电视新闻网28日报道，男乘客罗伯托·马塔对哥伦比亚航空公司提起诉讼，称自己2019年搭乘该公司航班飞往纽约市途中，乘务人员疏忽导致他膝盖被客舱内推车撞伤。

马塔的代理律师是已有30多年从业经历的纽约市律师史蒂文·施瓦茨。为支持马塔诉求，施瓦茨向法官凯文·卡斯特尔提交了多个所谓类似案例及其判决结果。

今年4月，哥伦比亚航空公司的律师致信法官，质疑施瓦茨所提交案例信息的真实性。据美国《纽约时报》报道，律师之一巴尔特·巴尼诺说，他的律所律师精通航空法律，看出那些信息不实。他说，他们当时隐约感觉那些信息来自ChatGPT。

法官卡斯特尔本月4日在一份书面文件中写道，那6个案例的判决结果、引语等都是假的，“法庭从未遇到过这种情况”。他下令6月8日就处罚施瓦茨举行听证会。

施瓦茨承认那6个案例为ChatGPT提供。法庭文件显示，他看到这些案例信息后追问ChatGPT信息是否属实，机器人称“千真万确”，还给出了所谓的信息出处。

施瓦茨说，他这是第一次用ChatGPT协助办案，“没有意识到内容伪造的可能性”。

他在书面文件中“深表懊悔”，愿意承担相关责任，承诺今后“没有完全核实”就不会使用聊天机器人提供的信息。

研究发现ChatGPT并非可靠信源

值得一提的是，今年3月14日，OpenAI宣布正式发布为ChatGPT提供支持的更强大的下一代技术GPT-4，称其拥有图像识别功能，高级推理技能，以及处理25000个单词的能力，在某些测试中的表现“可与人类相媲美”，并在大学入学和法律及医学等专业领域的许多模拟考试中优于其前身GPT-3.5。例如，GPT-4通过了律师资格模拟考试，分数超过90%的人类考生，而GPT-3.5此前的分数则低于90%的人类考生。

不过，目前最新的研究发现ChatGPT并非可靠信源 。

据科技日报5月18日的一篇报道，加拿大科学家在16日出版的《放射学》杂志上刊登新论文称，最新版本的ChatGPT通过了美国放射学委员会的考试，突出了大型语言模型的潜力，但它也给出了一些错误答案，表明人们仍需对其提供的答案进行核查。

图片来源：物理学家组织网

ChatGPT是一种人工智能（AI）聊天机器人，它使用深度学习模型在庞大的训练数据中识别单词之间的模式和关系，并根据提示生成类似人类的反应，类似的聊天机器人正被纳入谷歌和必应等流行的搜索引擎中，医生和患者们也会使用这些搜索引擎来搜索医疗信息。但由于数据来源并不一定真实可靠，该工具会给出与事实不符的答案。

为评估ChatGPT在美国放射学委员会考试问题上的表现并探索其优势和局限性，多伦多大学的拉杰什·哈瓦那博士及其同事首先测试了基于GPT-3.5的ChatGPT的表现。研究团队使用了150道选择题，这些选择题与加拿大皇家学院和美国放射学委员会考试的风格、内容和难度相当。这些问题不包括图像，分为低阶（知识回忆、基本理解）和高阶（应用、分析、综合）思维问题。高阶思维问题可进一步细分为影像学表现描述、临床管理、计算和分类、疾病关联。

研究人员发现，基于GPT-3.5的ChatGPT的正确率为69%，接近70%的及格线。该模型在低阶思维问题上表现相对较好，正确率为84%，但回答高级思维问题时表现不佳，正确率仅为60%。而性能更优异的GPT-4的正确率为81%，且在高阶思维问题上的正确率为81%，远好于GPT-3.5。但GPT-4在低阶思维问题上的正确率仅为80%，答错了12道题——GPT-3.5全部答对了这些题目，这引发了研究团队对GPT-4收集信息的可靠性的担忧。

这两项研究都表明，ChatGPT会有提供不正确答案的倾向，如果仅仅依靠它获取信息，非常危险，因为人们可能意识不到其给出的答案是不准确的，这是它目前面临的最大的问题。当前，ChatGPT最适合用来激发想法，帮助撰写数据摘要，而用于快速信息检索，需要对其提供的事实性答案予以核查。

编辑|程鹏 盖源源

校对|陈柯名

封面图片来源：视觉中国

每日经济新闻综合自央视新闻、新华社、科技日报

每日经济新闻