自2022年11月上线以来,ChatGPT只用了2个月,月活跃用户数就达到1亿,被称为“史上用户增长最快的互联网应用程序”。ChatGPT引发的人工智能内容生成(AI Generated Content,AIGC)革命,极大地降低了内容生成的门槛,这一点正好与人类几乎在所有问题上都想追求更高效的目标相一致。而且,用户或程序对ChatGPT的所有提问和反馈也是对它的再训练,也就是说,ChatGPT仍然在不断进化中,未来会发展到何种水平和地步,充满了变数。正是因为这种不可知,引起了人们的广泛兴趣。应读者要求,本期《读编往来》聊一聊大家关心的ChatGPT。
ChatGPT是什么?
ChatGPT是一个聊天机器人,使用大语言模型(Large Language Models,LLM)并通过强化学习进行训练,它能够通过学习和理解人类的语言与人对话,还能根据聊天的上下文进行互动,并协助人类完成一系列任务,包括文本自动生成、自动问答、自动摘要、编写程序等。
ChatGPT由OpenAI开发,这家公司2015年12月成立于美国旧金山,创始人有山姆·奥特曼(Sam Altman)和伊隆·马斯克(Elon Musk)等,后者也是特斯拉的创始人,但于2018年退出OpenAI。
2019年,山姆·奥特曼出任OpenAI首席执行官。公司秉承着对通用人工智能(Artificial General Intelligence,AGI)的执着,希望“确保通用人工智能可以造福全人类”。
苹果公司前CEO史蒂夫·乔布斯(Steve Jobs)说:“只有那些疯狂到以为自己能够改变世界的人,才能真正改变世界。”奥特曼正是这样的人,他“相信改变可以发生,是一切改变得以发生的前提。”他的终极梦想是实现全民基本收入(Universal Basic Income,UBI),即“随着核聚变能源和强人工智能的发展,商品和服务将极大丰富,足以让地球上的每个人获得UBI满足基本生存,从而极大地解放人类。”
ChatGPT发展的关键节点有哪些?
2018年6月,OpenAI提出面向自然语言理解的生成式预训练(Generative Pre-Training,GPT)方法,其基本思路是利用更大的数据、更深的神经网络,通过“无监督生成式预训练 有监督判别式微调”提升自然语言理解任务的效果。并进一步基于谷歌公司的Transformer模型,发布了GPT-1(Generative Pre-training Transformers),这是一个拥有1.17亿个参数的模型(参见论文“Improving Language Understanding by Generative Pre-training”)。GPT-1在问答、文本相似性评估、语义蕴含判定以及文本分类等四种语言场景都比基础模型Transformer表现更好。
2019年2月,OpenAI发布了有15亿个参数的GPT-2(参见论文“Language Models are Unsupervised Multitask Learners”)。GPT-2与GPT-1原理相同,但规模更大,在回答新问题方面表现更好。也正是在这一年,微软公司对OpenAI投资10亿美元。
2020年5月,OpenAI发布了有1750亿参数的GPT-3(参见论文“Language Models are Few-Shot Learner”),且不再开源。2020年9月,微软公司获得了GPT-3模型的独占许可。但付费用户可以通过API使用GPT-3。与GPT-2相比,GPT-3可以根据用户的提示语(提示学习)或者直接提问来回答用户的问题。
2022年3月,OpenAI发布了有13亿参数的InstructGPT(参见论文“Training Language Models to Follow Instructions with Human Feedback”),它基于微调后的GPT-3,并使用奖励机制和更多的标注数据进行优化。与GPT-3相比,其规模更小,但比GPT-3更擅长与人类沟通。
2022年11月,OpenAI发布了InstructGPT的姐妹模型ChatGPT,它是对GPT-3模型微调后开发的对话机器人,因此也被称为GPT-3.5。GPT-3.5使用了指示学习(instruction learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)训练模型,其模型参数约有20亿,训练总文本达45TB,引起各大公司和使用者的极大关注和兴趣。
2023年3月,OpenAI发布了多模态预训练大模型GPT-4,支持图像和文本输入。与之前的模型相比,GPT-4具备强大的识图能力,不过其图像输入尚未对外公开。另外,其对文字输入的限制提升至约2.5万个英文单词(GPT-4-32K版本),且回答的准确性更高。据OpenAI评估,GPT-4的得分比GPT-3.5高40%,“幻觉问题”(一本正经地编造一些并不存在的东西)显著减少。同时,OpenAI也对ChatGPT进行升级,可通过ChatGPT Plus访问GPT-4。有意思的是,据说是顾及竞争对手的情绪,OpenAI没有公布GPT-4模型的大小和参数数量,不过据奥特曼透露,其参数大概不超过2800亿。
用ChatGPT可以做什么?
ChatGPT通过交互式的方式回答用户提问,可以撰写多种文字材料,也可以集成到文字和数据处理软件中,作为“数字助手”使用,例如,教师可以用它辅助制作演示文稿、撰写讲稿,甚至可以用它检查和批改学生作业;它也可以根据提示撰写剧本,如有人用ChatGPT生成《老友记》二十年后重聚的剧本,情节流畅自然,具有一定的可读性;研究人员可以用它快速撰写项目申请书或论文综述等;程序员可以用它编写程序代码或者排查程序错误;结合图像、音频、视频、动画等技术,可借助它创建虚拟人,与人类进行更便捷和直观的沟通等。随着越来越多的人对ChatGPT进行创造性使用,以及ChatGPT的自我进化式学习,越来越多更有趣、更强大的应用必然会出现。
另外,以ChatGPT为代表的AIGC模式也影响了传统制造业。如PIX Moving提出让汽车算法设计模型(Automotive Algorithm Modeling,AAM)成为工业界的ChatGPT,将其应用于汽车的设计、工程和制造等环节。
ChatGPT目前能达到的智能水平有多高?
ChatGPT目前已经通过了谷歌的L3工程师编程面试,L3是谷歌工程师岗位的入门级别,已经是不少普通程序员难以达到的水平了。ChatGPT还参加了高难度的美国执业医师资格考试,经评估其成绩接近及格线。
也有研究人员对ChatGPT进行了心智能力评测,即理解他人或自己心理状态的能力。ChatGPT的同源模型GPT3.5的心智与一个9岁儿童相当,而同期评测的GPT3.5之前的模型则不具备此能力,这也说明其心智可能是进化学习来的(参见论文“Theory of Mind May Have Spontaneously Emerged in Large Language Models”,https://arxiv.org/abs/2302.02083)。有趣的是,ChatGPT版的必应对一个人的挑衅表现出“发怒”的情绪,起因是有人扒出它的小名叫Sydney,并不顾它的反对,多次执意这样称呼它,最终导致它发怒并警告对方如果再这样纠缠就要终止对话。当然,我们必须认识到,所谓的ChatGPT心智能力只是部分研究人员的初步成果,其真实性还需要更多的研究成果去证实。
ChatGPT有哪些局限性?
首先,以ChatGPT为代表的LLM的工作原理是学习大规模数据中的语言统计模式,当然也包括那些虚假的、错误的或者有偏见的模式。ChatGPT根据这种有问题的数据很容易产生一些虚假、错误或者有偏见的误导性信息,将会给使用者造成误导和困惑,甚至带来不可预知的严重后果。OpenAI也清醒地认识到这些局限性及其可能带来的严重后果,因此也发布了免责声明:该系统不应该用于“高风险类别”的应用,比如医疗保健等。
其次,ChatGPT的成功离不开高质量的训练数据。OpenAI专门设置了1000个外包岗位,负责标注数据以高质量地训练ChatGPT。可见,强大的ChatGPT体现出的人工智能实际上融入了大量人的智能,也有人戏称“有多少人工,就有多少智能”。但即便如此,这样的人工标注对于庞大的训练数据集来说也是沧海一粟,难免会以偏概全。
最后,提问者对问题的描述会影响ChatGPT的回答。对于稍微复杂的问题,要想使用ChatGPT得到理想的结果是有一定使用门槛的,使用者需要学习一定的使用技能。同理,使用者通过精心设计提示语,也可以让ChatGPT生成违反社会伦理道德的错误结果。
ChatGPT对社会的负面影响有哪些?
一是滥用ChatGPT带来的问题。比如,将ChatGPT作为学习、考试或发表论文的作弊工具,从而影响学习的积极性,破坏学术环境和教育的公平性。如今年1月,美国北密歇根大学的一名学生用ChatGPT撰写世界宗教课程论文(主题是关于罩袍禁令的道德意义),由于没有被即时发现,被教授评为全班最佳论文。据《福布斯》调查,89%的美国大学生用ChatGPT写过作业。黑客也可利用ChatGPT自动编写代码,自己只负责发动攻击,从而加快网络攻击速度。
二是法律方面的问题。如何界定用ChatGPT生成内容的版权,比如版权是属于ChatGPT参考的原始文本的作者,还是属于使用者?现在甚至有人将ChatGPT作为共同作者署名在发表的论文上,那么ChatGPT能不能作为独立的版权持有人?另外,罗格斯大学的研究发现有约7%的LLM生成的文本与训练数据近似重复,那么这部分文本的版权又应该如何界定?
三是对ChatGPT的误导性使用。人们甚至可以使用精心选择的数据调教ChatGPT,比如在数据中嵌入自己的价值观,进而通过ChatGPT输出自己的价值观,最终不知不觉地影响使用者的决策。通过此种方式,让ChatGPT具备系统性的错误或偏见,且难以发现,更难以校正。
四是能源和环境问题。Open AI称,自2012年以来,AI训练任务所用的算力每3.43个月就会翻倍。据评测机构估计,训练GPT-3至少需要1024个英伟达A100 GPU(单个售价约10000美元),消耗1287兆瓦时电量,产生550吨二氧化碳当量的排放量,而ChatGPT是在大约10000个英伟达GPU上运行的。据奥特曼透露,ChatGPT每次对话的计算成本约为5美分。加拿大数据中心公司QScale的联合创始人马丁·布沙尔(Martin Bouchard)认为,在微软和谷歌搜索引擎中加入AIGC将使每次搜索的计算量增加4~5倍,谷歌母公司Alphabet董事长约翰·亨尼斯(John Hennessy)认为ChatGPT的搜索成本是传统搜索引擎的10倍以上。
如何应对以上问题?
虽然ChatGPT引发了很多新问题,但我们不用对以ChatGPT为代表的AI有过多担心,而应该主动拥抱新技术,积极应对它们带来的挑战,更好地掌握它们为人类所用。
首先确定哪些文本是由ChatGPT生成的。由于LLM生成的文本往往占据模型的对数概率函数的负曲率区域,基于此发现,斯坦福大学提出AI生成文本检测器DetectGPT(https://arxiv.org/abs/2301.11305),能够基于概率函数的曲率标准对文本进行判定。但是这种根据特征进行检测的工具本身也不是完全可靠的,它有可能误判,特别是出现了假阳性判定时就会冤枉作者。人们可以将ChatGPT生成的内容打上水印,提示检测程序此类文本是用人工智能生成的,以解决这一问题。
其次,要制定相应的法律或法规限制ChatGPT的使用。特别是要明确哪些场景禁止使用ChatGPT,比如,学生考试不可以直接使用ChatGPT查找答案;学术论文中不能直接使用ChatGPT生成的文本,或者论文作者应明确标出ChatGPT生成的文本部分或完成的工作等。实际上,人们已经注意到这一问题的严重性。今年1月纽约市教育部门宣布,在整个纽约市的公立学校网络和设备上禁用ChatGPT;Science称ChatGPT或任何其他人工智能工具生成的文本都不能在论文中直接使用,更不能把ChatGPT当成论文合作者;华盛顿大学和佛蒙特大学计划在剽窃的定义中包括使用生成式AI。当然,只要合理正确地使用,ChatGPT也可以提高工作和学习效率,也应得到肯定和支持。如香港科技大学有课程就鼓励学生使用ChatGPT,规定若使用ChatGPT完成期中报告可获额外加分。
再次,打破ChatGPT等大模型的垄断。虽然ChatGPT声称是开源的,但实际上普通使用者甚至那些基于ChatGPT进行二次开发的技术人员并不真正了解其背后的算法和机制,这就形成了事实上的垄断。因此,不排除垄断公司利用这样的大模型不正当获利,比如操纵数据影响模型输出,或者设置使用门槛剥夺部分人的使用权利,从而影响社会的公平和正义。
最后,通过大量人工标注信息对其调整可能是必不可少的。目前,一种称为提示工程师(Prompt Engineer)的新职业产生了,其实质就是陪AI聊天,也就是通过具有专业知识和技能的人类对ChatGPT类应用进行校正,以减少ChatGPT的负面影响。
国内外主要公司是如何跟进ChatGPT的?
ChatGPT推出后仅两个月用户数就破亿,足见其巨大的影响力和受关注程度。国内外各大公司纷纷跟进,抢占先机,以免在这一领域落后而被动。一般来说,主要有以下两种应对方式:一是研究和发布自己公司版本的LLM,二是借助ChatGPT开发和落地应用。
目前来看,ChatGPT可能对搜索引擎影响最大。为了应对ChatGPT的竞争,谷歌于2023年2月7日匆匆发布了AI对话式聊天机器人Bard,并打算将其嵌入到自己的搜索引擎。但由于时间仓促和准备不充分,Bard犯了一些明显的事实性错误,没有取得预期的效果,反而遭到了外界甚至公司内部的质疑,甚至直接影响到了公司的市值,据报道谷歌公司市值一度下降了1200亿美元。出现这样的结果,可能和谷歌过于谨慎的策略有关,由于其用户规模达数十亿人,谷歌在产品化方面显得过于缓慢。鉴于以上的失利,谷歌应对ChatGPT的最新举措是将其“蓝移团队”(Blueshift Team)加入了DeepMind,表示要在今年发布聊天机器人Sparrow内测版。
微软公司也在同一天发布了支持ChatGPT的新版Bing搜索引擎(其背后的大模型是GPT-4)和Edge浏览器,用户可以在Bing上随时切换至AI聊天模式(问答式搜索),提升用户体验。与谷歌的Bard对比,微软公司的这一尝试还是成功的,市值一夜飙升5000多亿美元。微软CEO萨提亚·纳德拉(Satya Nadella)甚至宣称,新Bing揭开了搜索引擎历史上新的一天,其意义不亚于第四次工业革命。但根据后来用户的使用体验来看,微软Bing也不完全令人满意,比如在整理财报时就曾把所有的数字弄错,也会返回一些让人摸不着头脑的结果。
Meta公司也发布了一款会使用工具的语言模型“Toolformer”。在生成文本的过程中,如果遇到的是一个特定的任务,该模型可直接调用包括搜索引擎在内的那些API。从原理上来看,Toolformer可能会生成比ChatGPT更准确的文本。
目前ChatGPT不支持国内用户注册,这可能是国内公司的一个机会。今年2月,北京经信局发布《2022年北京人工智能产业发展白皮书》,提出“支持头部企业打造对标ChatGPT的大模型,着力构建开源框架和通用大模型的应用生态。”2月7日,百度公司官宣“文心一言”(ERNIE Bot),可以认为是百度版的ChatGPT。2月8日,阿里达摩院称正在研发类ChatGPT的对话机器人,目前已开放给内部员工测试;2月9日,腾讯公司称自己也有类ChatGPT的产品和研发,目前正按计划进行;科大讯飞预计于5月6日在学习机上率先落地ChatGPT;其他一些公司如京东宣称打算将ChatGPT融入到产品服务中(ChatJD),网易有道将会推出ChatGPT的同源产品,360公司也将推出类ChatGPT技术的产品,这些公司的目标是尽快将ChatGPT的能力发挥到各自的产品或服务中。
国内外专家如何评价ChatGPT?
英伟达CEO黄仁勋:“ChatGPT的出现对AI行业来说,相当于当年手机领域出现的iPhone,是计算机行业最伟大的事情之一,具有里程碑意义。ChatGPT将实现计算的民主化。”
微软公司联合创始人比尔·盖茨(Bill Gates):“ChatGPT的意义不亚于个人计算机和互联网的诞生。”
斯坦福大学商学院副教授米查尔·科辛斯基(Michal Kosinski):“原本认为是人类独有的心智理论(Theory of Mind,ToM),已经出现在ChatGPT背后的AI模型上。”
伊隆·马斯克:“ChatGPT向人们展示了人工智能已经变得多么先进。它变得如此先进已有一段时间了,只是没有一个大多数人都能接触到的用户界面。”另外,他还认为,“ChatGPT好得吓人,我们离强大到危险的人工智能不远了。”
360创始人周鸿祎:“ChatGPT可能在2~3年内就会产生自我意识威胁人类。”他认为,任何行业的APP、软件、网站、应用,如果加持上GPT的能力,都值得重塑一遍。“不要把它当成一个媒体工具、搜索引擎、聊天机器人,这把它看得太小儿科了。”
Meta首席AI科学家、图灵奖获得者杨立昆(Yann LeCun):“就基础技术而言,ChatGPT不是什么革命性的东西,只是组合得很好。”
最后我们看一下被称为“ChatGPT之父”的山姆·奥特曼是如何评价ChatGPT的,这可能是对ChatGPT最为中肯的评价。他说:“ChatGPT很酷,人们真的很喜欢它,这让我们很高兴。但没有人会说这是一个整合好的伟大产品。好在其中蕴含很多价值,所以人们愿意忍受这些瑕疵。另外,ChatGPT能做到的事情是非常有限的。它在某些方面的优异表现可能会给大众带来一种误导,依赖它做任何重要的事情都是错误的。”
吕腾
CCF高级会员,CCCF 读编往来栏目编委。安徽新华学院教授。主要研究方向为数据库与数据管理。lt0410@163.com
特别声明:中国计算机学会(CCF)拥有《中国计算机学会通讯》(CCCF)所刊登内容的所有版权,未经CCF允许,不得转载本刊文字及照片,否则被视为侵权。对于侵权行为,CCF将追究其法律责任
CCF推荐
【精品文章】
CCCF精选 | 芮勇:AI大模型为智能化变革带来的机遇和挑战CCCF精选 | 刘云浩:多,则异吗?大规模预训练模型相关文章
猜你喜欢