数据显示,GPT训练数据量从1代到目前的3代一直在高速增长,GPT-3的参数量已经达到1750亿,而算力费也已经是千万级别。
可见,GPT-3靠的是通过规模化现有算法模型,来实现算力的增长。回顾GPT-3 的技术思路,可以发现AI 领域的一个明显趋势是:要训练一个有颠覆性进步的模型,最终比拼的是算力规模。
二、算力,一场富人的游戏?
神经网络之父Geoffrey Hinton在GPT-3出现后,曾这样感慨:“生命、宇宙和万物的答案,其实只是4.398万亿个参数而已。”
算力是AI发展始终绕不开的问题。
四、未来价值
知名风投机构 A16Z合伙人Frank Chen关于CPT-3的观点是,GPT-3让使用者避开了培训数据以及建立AI业务的部分经济成本,这使得NLP(自然语言处理)成为AI研发最有前途的领域之一。因为有了GPT-3,很多AI初创公司的软件都内置了最新的NLP技术。
这意味着,开放API的GPT-3已经对AI创业公司产生正向的影响。随着算力的开放,AI时代拥有更多低廉的算力资源,更多像GPT-3一样的AI模型就会低成本出现,从而推动AI的产业化。
但新兴的技术往往面临高速发展与低速商业化的困局,因此新旧技术之间的交替也非常考验资本与企业的耐心。但不能偏于一隅的仅仅讨论商业应用价值,因为它代表着未来的竞争力。
几十年前,柯达说,你负责按快门,剩下的交给我们。
在未来,AI 或许也会表明心态,人类什么都不用干,剩下的交给它。
作者:可达怡
编辑:安吉拉
相关文章
猜你喜欢