防走失,电梯直达
安全岛报人刘亚东A
OpenAI表示,它使用的是微软(MSFT.US)Azure训练模型,微软已经向这家初创公司投资了数十亿美元。OpenAI没有公布具体模型大小的细节,也没有公布用来训练模型的硬件,理由是“竞争情况”。
目前,此领域的许多研究人员认为,人工智能领域的许多最新进展,都来自于在数千台超级计算机上运行越来越大的模型,这些模型的训练过程可能耗资数千万美元。
为了不断提高GPT-4性能,OpenAI还为其研发大搞“基建”。
在过去的两年里,OpenAI 重建了整个深度学习堆栈,并与 Azure 一起为其工作负载从头开始设计了一台超级计算机。一年前,OpenAI 在训练 GPT-3.5 时第一次尝试运行了该超算系统,之后他们又陆续发现并修复了一些错误,改进了其理论基础。这些改进的结果是 GPT-4 的训练运行获得了前所未有的稳定。
OpenAI联合创始人兼总裁格雷格·布罗克曼(Greg Brockman)表示,OpenAI预计,未来将由投资十亿美元超级计算机的公司开发尖端模型,一些最先进的工具将带有风险。OpenAI希望对他们工作的某些部分保密,以给初创公司“一些喘息的空间,以真正关注安全并做好它。”
总的来说,GPT-4 相对于以前的模型(经过多次迭代和改进)已经显著减轻了幻觉问题。在 OpenAI 的内部对抗性真实性评估中,GPT-4 的得分比最新的 GPT-3.5 模型高 40%。
同时,GPT-4训练数据还是截止到2021年9月份。这也意味着,GPT-4对于这个时间点以后的信息,缺乏足够的了解,也不会从其经验中学习。
在GPT-4发布之后,OpenAI创始人阿尔特曼发推文表示:“它仍然是有缺陷的,仍然是有限的,在你花了更多的时间第一次使用它时,它似乎比实际情况更令人印象深刻。”
中国的ChatGPT们
要怎么追?
最令人震惊的在于,按照 demo 视频里 OpenAI 工程师们的说法,GPT-4 的训练在去年 8 月就已经完成,剩下的时间都在进行微调提升,以及最重要的去除危险内容生成的工作。
这也意味着,OpenAI 内部技术,比大家想象中的领先外界更多年。更可怕的是,OpenAI还一口气开放了API接口和相关论文!这让中国的ChatGPT们还怎么追?
英诺天使基金合伙人王晟曾告诉《态℃》栏目,“中国的ChatGPT们即便奋起直追,静态来讲也许两三年能追上,我认为已经很乐观了。”
但随着更强大的GPT-4发布,OpenAI 的技术能力显然仍在不断进步,且进展速度远比我们追得速度还要快。王晟在之前的采访中判断,“除非这件事突然遇到了一个瓶颈,整个科技发展方向到头了,对方不得不停下来,或许我们还有机会追平,或者我们挖掘到一种新的技术路径有机会追上,不然可能没有机会了。”
与此同时,在该模型的落地和应用方面,OpenAI也有了最新进展。
新模型将提供给ChatGPT的付费用户,也将作为API的一部分提供,允许程序员将AI集成到他们的应用程序中。OpenAI将对750字左右的指令信息收费3美分,对750字左右的响应信息收费6美分。
OpenAI还介绍,摩根士丹利正在使用GPT-4来组织数据,而电子支付公司Stripe正在测试GPT-4是否有助于打击欺诈。其他客户还包括语言学习公司Duolingo、Khan Academy和冰岛政府。OpenAI合作伙伴微软周二表示,新版必应搜索引擎将使用GPT-4。
GPT-4取得的成绩令人兴奋,但对于还在起跑线上的中国ChatGPT们,还有大量的工作要去探索和研究,想必感受到了巨大的压力。风浪越大鱼越贵,对于这些迅速进入这个新领域的公司来说,也将会拥有巨大的机会。
GPT-4的强大告诫我们,未来唯一限制的因素,就是你的想象力!
相关文章
猜你喜欢