> 自媒体 > (AI)人工智能 > 最新GPT-4在律考中击败90%人类,它到底强在哪?|钛媒体深度
最新GPT-4在律考中击败90%人类,它到底强在哪?|钛媒体深度
来源:钛媒体APP
2023-04-18 15:46:29
303
管理

今天发布的GPT-4,是一个大型多模态模型,能接受图像和文本输入,再输出正确的文本回复。OpenAI表示,团队花了6个月的时间使用对抗性测试程序和ChatGPT的经验教训,对GPT-4进行迭代调整,从而在真实性、可控性等方面取得了有史以来最好的结果。

“GPT-3.5 和 GPT-4 之间的区别可能很微妙。当任务的复杂性达到足够的阈值时,差异就会出现——GPT-4 比 GPT-3.5 更可靠、更有创意,并且能够处理更细微的指令。”OpenAI 表示,在过去的两年里,团队重建了整个深度学习堆栈,并与微软Azure一起,为GPT工作负载从头开始共同设计了一台超级计算机。经过训练和修复更新之后,GPT-4前所未有地稳定,成为 OpenAI 能够提前准确预测其训练性能的第一个大型模型。

那么,GPT-4技术到底怎么样?为了了解这模型差异,根据官方实验表明,GPT-4在各种专业测试和学术基准上的表现与人类水平相当。

首先,在美国BAR律师执照统考模拟中,GPT-4得分约为前10%——击败了90%人类,而ChatGPT背后的GPT-3.5得分约为倒数10%;生物奥林匹克竞赛,GPT-3.5能达到后31%水平分位,GPT-4可达到前1%水平分位;研究生入学考试 (GRE) 、SAT数学考试成绩中,也有大幅提升,击败了80%以上的人类答题水平,而医学知识自测考试准确率达75%。

第二个测试是与其他英文机器学习模型的技术能力。研究团队使用微软Azure Translate,将MMLU 基准——一套涵盖57个主题、14000个多项选择题翻译成多种语言。在测试的英语、拉脱维亚语、威尔士语和斯瓦希里语等26种语言中,有24种语言下,GPT-4优于GPT-3.5 和其他大语言模型(Chinchilla、PaLM)的英语语言性能。

而在TruthfulQA等外部基准测试方面,GPT-4也取得了进展。OpenAI测试了GPT-4模型将事实与错误陈述的对抗性选择区分开的能力。实验结果显示,GPT-4基本模型在此任务上仅比GPT-3.5略好。但在经过RLHF训练之后,二者的差距就很大了,例如GPT-4在测试中并不是所有时候它都能做出正确的选择。

此外,GPT-4还支持做编程、玩梗图、回答关键问题、理解图片、看懂法语题目并解答等其他更多扩展技术能力,研究人员发现,GPT-4能随着时间不断处理令人兴奋地新任务——现在的矛盾是 AI 的能力和人类想象力之间的矛盾。不过OpenAI表示,图像输入是研究预览,目前不公开。

对于一个长相奇怪的充电器的图片问为什么这很可笑?GPT-4 回答:VGA 线充 iPhone。

GPT-4回答数学问题

总的来说,GPT-4 相对于以前的模型(经过多次迭代和改进)已经显著减轻了判断失误问题。在OpenAI的内部对抗性真实性评估中,GPT-4的得分比ChatGPT使用的GPT-3.5模型能力高40%。

很显然,虽然 GPT-4 对于许多现实场景的处理比人类差,但在各种专业和学术基准上已表现出和人类相当的水平。

不过,GPT-4模型也有很多不足,有着与以前的模型类似的风险,如产生有害的建议、错误的代码或不准确的信息,以及对实时事件的不了解等。

1、该模型在其输出中可能会有各种偏见,但OpenAI在这些方面已经取得了进展,目标是使建立的人工智能系统具有合理的默认行为,以反映广泛的用户价值观。

2、GPT-4 通常缺乏对其绝大部分数据截止后(2021 年 9 月)发生的事件的了解,也不会从其经验中学习。它有时会犯一些简单的推理错误,这似乎与这么多领域的能力不相符,或者过于轻信用户的明显虚假陈述。有时它也会像人类一样在困难的问题上失败,比如在它生成的代码中引入安全漏洞。

3、GPT-4 预测时也可能出错但很自信,意识到可能出错时也不会再检查一遍(double-check)。有趣的是,基础预训练模型经过高度校准(其对答案的预测置信度通常与正确概率相匹配)。然而,通过OpenAI目前训练后的过程,校准减少了。

OpenAI表示,研究团队一直在对GPT-4进行迭代,使其从训练开始就更加安全和一致,所做的努力包括预训练数据的选择和过滤、评估和专家参与、模型安全改进以及监测和执行。数据显示,与GPT-3.5相比,模型对不允许内容的请求的响应倾向降低了82%,而GPT-4对敏感请求(如医疗建议和自我伤害)的响应符合政策的频率提高了29%。

另外,OpenAI团队还聘请了 50 多位来自人工智能对齐风险、网络安全、生物风险、信任和安全以及国际安全等领域的专家,对该模型在高风险领域的行为进行对抗性测试,从而为改进GPT模型提供了依据。

“随着我们继续专注于可靠的扩展,我们的目标是完善我们的方法,以帮助我们越来越多地提前预测和准备未来的能力——我们认为这对安全至关重要。”OpenAI 表示。

目前GPT-4版本默认速率限制为每分钟40k个Token和每分钟200个请求,而GPT-4的上下文长度为8192个Token,最多提供32768个Token上下文(约 50 页文本)版本的有限访问,但版本也会随着时间自动更新。

不过,目前OpenAI公开的技术报告中,不包含任何关于模型架构、硬件、算力等方面的更多信息,也不包括期待已久的 AI 视频功能,也并没有开放 GPT-4的任何核心技术论文信息。

但OpenAI正在开源其软件框架OpenAI Evals,用于创建和运行基准测试以评估GPT-4等模型,同时逐个样本地检查它们的性能。

复旦大学计算机学院教授、博士生导师黄萱菁此前表示,OpenAI迄今为止没有开放过它的模型,只开放过API接口,你可以调用它,但拿不到GPT-3.5内部细节,而且今年连论文都没有,需要大家去猜测。

全球进入 AI 大模型军备竞赛,与GPT差距拉大

实际上,随着基于GPT技术的ChatGPT风靡全球,全球已经进入了 AI 大模型军备竞赛。

首先是影响到搜索引擎巨头地位的谷歌。手握 LaMDA、PaLM, Imagen 等 AI 技术的谷歌,不会让微软这么轻易就抢占了 AI 应用的先机。

就在GPT-4发布前几个小时,谷歌为了迎战微软,宣布将一系列即将推出的生成式人工智能(AIGC)功能与模型应用到自家产品中。包括Google Docs(文档)、Gmail、Sheets(表格)和 Slides(幻灯片)等。但不同于微软和OpenAI的“发布即可用”,谷歌只会先将Docs和Gmail中的AI工具在月底提供给一些“值得信赖的开发人员”,具体开放时间没有公布。

更早之前,谷歌发布了ChatGPT最大竞品、基于LaMDA AI 架构的 Bard聊天机器人,支持多角度回答问题,以及强大的上下文理解能力,未来 Bard 还会被集合在 Google 搜索之中,为你更快速地提供答案。不过Bard在Demo演示中频繁“翻车”,市场并不看好。

3月15日凌晨,谷歌宣布开放自家的大语言模型 PaLM API,而且还发布了一款帮助开发者快速构建 AI 程序的工具 MakerSuite。谷歌表示,此举是为了帮助开发者们快速构建生成式 AI 应用。

相对于谷歌,微软做好了充足的准备。

今年2月,微软宣布数十亿美元投资OpenAI公司,后者估值高达290亿美元,成为 AIGC 领域最高估值的独角兽公司。如今,微软已经在旗下所有产品中全线整合ChatGPT,包括且不限于Bing搜索引擎、包含Word、PPT、Excel的Office全家桶、Azure云服务、Teams聊天程序等预计本周四(16日),微软将宣布GPT-4与Azure云服务的结合。

目前在国内,百度、商汤、旷视科技等多家 AI 公司和科研机构都在做关于大模型的技术产品和应用。

就在3月14日晚,港股 AI 龙头企业商汤科技发布了多模态通用大模型“书生 2.5”,拥有30亿参数,支持问答、识图、以文生图等,在自动驾驶和居家机器人等通用场景下,“书生 2.5”可辅助处理各种复杂任务。据悉,“书生”由商汤科技、上海人工智能实验室、清华大学、香港中文大学、上海交通大学于2021年11月首次共同发布,并持续联合研发。

尽管中国在 AI 领域进行了很多研究成果和布局,但目前要达到像OpenAI的效果可能还需时日。科学技术部部长王志刚3月5日表示,ChatGPT证明了 AI 是大方向,而 OpenAI 在 AI 对话实时效果方面有明显优势。

“比如发动机,大家都能做出发动机,但质量是有不同的。踢足球都是盘带、射门,但是要做到梅西那么好也不容易。”王志刚表示。

那么,国内 AI 技术行业如何看待中国企业做大模型的呢?

创新工场董事长兼CEO李开复博士在3月14日表示,ChatGPT快速普及将进一步引爆 AI 2.0 商业化。AI 2.0 是绝对不能错过的一次革命。

旷视科技联合创始人、CEO印奇3月10日对钛媒体App表示,中国攻坚 AI 大模型,要先把GPT-3.5复现出来,但过程没有想象的那么容易。国内一方面要用最艰苦朴素、奋斗的状态来攻坚核心 AI 技术,另外中国 AI 公司想活得长,必须要把大模型商业化。“我们要有极强的危机感。”

澜舟科技创始人兼CEO周明告诉钛媒体App,对于国内而言,中国做大模型还是更多的要去了解国外的发展趋势,不能固步自封,还是需要学习;但同时中国 AI 技术在过去20多年取得长足的进步,无论人才还是技术,中国有很好的历史性机遇,更多是乐观,而非悲观。

“中国在To B(企业端)落地方面应该走在ChatGPT前面。如何把中国特色发挥到极致,是大家都要彼此思考的问题。”周明创立的语音大模型公司澜舟科技在3月14日宣布完成Pre-A 轮融资,并公布了该公司研发的“孟子MChat可控大模型”,此前周明在微软工作超过20年。

就目前来看,GPT-4是OpenAI在扩展深度学习道路上的最新里程碑。但正如OpenAI所言,前方还有很多工作要做,需要通过用户和开发者的不断测试,以及社区在模型之上构建、探索和贡献,从而持续将模型变得越来越强。

无论中国公司能够做到哪种地步,唯一确定的是,这一次,我们人类离通用人工智能(AGI)更近了一步。(本文首发钛媒体App,作者|林志佳)

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
DARPA白宫发起2000万美金AI挑战赛, 与OpenAI等合作,众筹安全大计..
机器之能报道报道:吴昕利用最近人工智能取得的巨大进展,集中全国顶尖人..
成功率99%!第一次聊天不尴尬的10个绝佳开场白,轻松化解情感困..
相信很多人都经历过初次见面时的紧张与尴尬,不知道该怎么开口打破僵局,..
利用ChatGPT 4.0和D-ID自动生成短视频:科技的新应用前景..
随着科技的不断发展,人工智能技术也在不断进步。最近,OpenAI推出了全新..
专家答疑:为什么ChatGPT不是真正的 \u0026#34;智能\u0026#34;?因为它不关..
一篇新论文认为,从 ChatGPT 等系统中看到的人工智能,由于缺乏体现和理..
连上多个热搜!火爆全网的ChatGPT到底是个啥?
近日,有关ChatGPT的多个话题登上热搜和ChatGPT聊天,可以直奔主题、开门..
内地大学未必要对ChatGPT一律禁用
中新社香港2月18日消息,由美国人工智能公司OpenAI开发的语言模型ChatGPT..
ChatGPT浪潮下英伟达“赢麻了”,市值=2个茅台=5个英特尔|硅基世界..
英伟达创始人、CEO黄仁勋(图片来源:英伟达)随着 AI 聊天机器模型ChatG..
阿里类ChatGPT产品曝光,已进入内测阶段
IT之家 2 月 8 日消息,据 21 世纪财经报道,阿里巴巴一名资深技术专家对..
OpenAI推出GPT-4:功能强过ChatGPT 能玩梗图还能做网页
OpenAI还在为机器学习模型设计的传统基准上评估了GPT-4,称GPT-4大大优于..
关于作者
般若鱼(普通会员)
文章
339
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40329 企业收录2981 印章生成186843 电子证书796 电子名片49 自媒体20954

@2022 All Rights Reserved 浙ICP备19035174号-7
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索