> 自媒体 > (AI)人工智能 > ChatGPT-4访问被持续限流,国信证券:预计未来的算力需求缺口将会持续扩大
ChatGPT-4访问被持续限流,国信证券:预计未来的算力需求缺口将会持续扩大
来源:金融界
2023-07-15 14:30:55
491
管理

事项:

评论:

ChatGPT-4的访问被持续限流

OpenAI对于Plus付费用户的GPT-4 访问连续下降阈值,GPT-4 访问限制由第一天的150 msg/ 4 hr 到100 msg/4 hr到50msg/3 hr到最近的25msg/3hr。在较短的时间内GPT-4下降了4次访问阈值。对于GPT-4的限流,OpenAI的官方回复是“开发者可能会对使用GPT-4的应用程序或者服务施加类似限制,以确保合理的资源分配,避免滥用或者控制成本。通常这类限制取决于API访问限制或者特定的订阅服务”。官方主要从控制成本的角度对GPT-4访问量进行优化,也明确了限流几乎只针对GPT-4。

OpenAI限流的背后是其日活和周活用户数的持续攀升

由于功能的强大以及回复率准确的高企,ChatGPT的日活和周日跃用户数量屡创新高,截止3月15日,ChatGPT日活突破5837万(3月13日的日活用户数据是4846万,两天新增接近800万日活),截止到3月9日这周,ChatGPT周度的活跃用户数量为331.81万,相比上一周活跃用户数量增加了接近25万。GPT的日活和周度活跃用户数量持续攀升,一方面是GPT4的能力更加强大,使用的体验更加流畅、回复的答案更加精准、上下文溯源的能力更加强大,使得越来越多的用户加入到体验和运用模型的队伍中来,另一方面是因为经过此前GPT-3经历后的付费用户数量越来越多。目前,OpenAI没有提价,对于Plus会员的价格还是20美金/月,但是随着用户数量的持续增加,预计限流的动作会持续。

OpenAI的需求持续增长将持续推高算力成本

ChatGPT应对终端访问,每1000tokens需要算力成本0.02美金,3月3日OpenAI发布GPT-3.5-turbo ,对外开放API接口,宣称算力成本下降90%,1000tokens算力成本下降到0.002美金。目前, 以英伟达DGX A1OO服务器作为计算资源 , 采用云服务单天成本约为460美元 ,假设按照ChatGPT日活1300万人,每个人每天平均1000字的问题(共计173.3亿个token),假设峰值为一天均值的5倍,那么需要602万台DGX A100服务器,每天的租用成本为27.77万美金,平均到每1000个token 的推理成本为0.02美金左右。目前, GPT -3.5-turbo 的算力成本下降了90%达到0.002美金每1000个tokens,我们预期模型的参数有所下调(此前测算成本按照GPT-3.5的模型参数3000亿个进行测算),此结果和用户对于new Bing 不及Chat GPT 本身交互准确的感受相一致。

预计GPT-4的算力消耗量远大于GPT-3和GPT-3.5-turbo。目前根据根据GPT-4的公开数据,在8K的上下文长度下,每1000个token的提问成本为0.03美金,每1000个token的回答完成成本为0.06美金;在32K的上下文长度下,每1000个token的提问成本为0.06美金,每1000个token的回答完成成本为0.12美金。这个算力成本相比与GPT-3的成本(每1000个tokens的算力成本约为0.02美金)上升了较高(输入成本增加50%-200%,输出升本增加200%-500%),相比于GPT-3.5-turbo的成本上升更为可观,输入成本增长了14-29倍,输出成本增长了29-59倍。

预期在应用逐步增长的背景下,GPT的算力成本将进一步攀升。目前OpenAI主要的用户为C端用户,未来有望逐步扩大到B端领域,GPT-3.5-turbo下降精度降低算力成本以适应更多的应用场景是扩大生态中坚实的一步。随着GPT生态的建立、相关应用的爆发,算力的需求将持续扩大。目前,根据微软的数据,Bing的日活首次突破1亿(集成搜索 聊天功能的必应预览版自推出以来总聊天次数已超过4500万次),目前GPT的日活数量接近5800万,Bing日活1亿用户,假设NewBing4000万日活,其他应用4000万日活,合计1.4亿日活。假设普通98.5%的用户使用GPT-3.5-turbo,1.5%的用户使用GPT-4,那么98.5%普通用户的一天的算力成本在28万美金左右(对应607台DGX A100系列服务器),而1.5%付费使用GPT-4的用户的算力成本为每天840万美金(对应1.8万台DGX A100系列服务器)。

具体测算和假设如下:1)98.5%的用户使用GPT-3.5-turbo,每个人每天问 1 000 tokens ,按照 每1000 tokens需要算力成本0.0 0 2美金 计算,每天的成本大概为28万美金,对应607台 DGX A100系列服务器 ;2)1.5%付费用户使用 GPT-4,每个人每天1万个tokens,按照目前GPT-4给出的最低价格(每1000个tokens 0.06美金),那么算力成本为约840万美金,对应1.8万台DGX A100系列服务器。而根据微软在2019年的公告,投资OpenAI10亿美金,投资1万个GPU建设Azure AI超算平台,可以预见的是,算力将很快被OpenAI的GPT模型消耗完,这也是OpenAI此前持续公布限流的原因之一。

随着 OpenAI官方公告6.14号开出GPT-4的API接口,按照 目前 用户数量和问询数量 的趋势 ,公司必须做出一些应对措施,要想保留GPT-4强大 和精准的 能力,就 需要继续 扩 大 算力, 或者继续降低 精度 以控制算力成本 。 在全球的AI浪潮下,国内自从百度文心一言大模型推出后,也有几百家的公司成为其合作伙伴,未来阿里和腾讯的大模型也有望推出,对应的算力缺口有望持续扩大,从国内的浪潮信息、中科曙光、工业富联、海光信息、紫光股份等公司下游需求来看已经有些端倪。

投资建议:

目前,全球正处于AI浪潮中,海外以OpenAI旗下的GPT大模型为代表,越来越多的C端用户和B端厂商接入生态,在AI赋能后,产品和应用端都出现了较为明显的积极变化。微软已经率先将GPT-4接入了Office等全系列办公场景,预期后续会有更多的现象级应用出现,国内市场也受益于百度文心一言大模型的发布,未来有望在应用端迎来百花齐放。随着应用端逐渐丰富,对算力的需求提出了更多的需求,在此趋势下,预计未来的算力需求缺口将会持续扩大, 建议重点关注 人工智能算力领域的相关标的,如海光信息等 。

风险提示:

模型假设不合理对测算结果造成偏差,ChatGPT商业化落地不及预期,算力芯片进展不及预期。

本文源自券商研报精选

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
卿嫣(普通会员)
文章
581
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40369 企业收录2981 印章生成216707 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索