> 自媒体 > (AI)人工智能 > GPT-3没有亲自上手,不如展望一下GPT-4?
GPT-3没有亲自上手,不如展望一下GPT-4?
来源:AI科技评论
2023-04-11 13:09:03
483
管理

图:使用ZeRO-100B的600亿参数模型的超线性可扩展性和训练吞吐量。

ZeRO消除了数据和模型并行训练中的内存冗余,同时保持了低通信量和高计算粒度,从而能够按设备数量成比例地缩放模型参数。

研究人员通过分析内存需求和通讯量,表明ZeRO可以使用现有的硬件扩展到超过1万亿个参数。

1 内存优化

基本的数据并行化不会减少每个设备的内存,如果要训练超过14亿参数的模型,32GB内存(GPU)是不足的。

论文还讨论了如何对优化器状态、梯度进行巧妙分区,来减少GPU节点之间通信的需求,从而实现内存优化。但是即便不使用模型并行,也要在1个GPU上运行1个模型副本。

ZeRO-100B可以在128个GPU上训练多达130亿参数的模型,而无需模型并行,平均每个GPU的吞吐量超过40 TFlops。

相比之下,如果没有ZeRO,则最大的仅数据并行的可训练模型就只有14亿参数,每个GPU的吞吐量小于20 TFlops。

在英伟达 V100和128个节点的DGX-2集群中添加16路模型并行处理,可以训练大约2,000亿个参数。

从16路模型并行开始,可以运行15.4倍的大型模型,而不会真正造成性能损失,而在运行16路模型并行和64路数据并行(1024个GPU)时,性能仅比峰值性能低30%。

图:随着我们增加模型大小、数据集大小和用于训练的计算吞吐量,语言建模性能会平稳提高。为了获得最佳性能,必须同时放大所有三个因素。当没有其他两个瓶颈时,经验性能与每个因素都有幂律关系。

损失(L)和模型参数数量(N)存在以下关系:

将模型参数转换为吞吐量(C,单位petaFLOP/s-days),我们得到:

GPT-3能很好地拟合这个等式:

图:深度学习应用程序的性能改善与训练该模型的计算负载有关(以千兆浮点运算为单位)。

参考资料:

https://www.reddit.com/r/MachineLearning/comments/i49jf8/d_biggest_roadblock_in_making_gpt4_a_20_trillion/

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
欧美电车寒气对行业影响几何
02 需求低于预期 增速跑输大盘欧美车企推迟电动化进程,无一例外都指向消..
半年车企排名:这才是真正的冰火两重天
作为传统的汽车消费淡季,6月份的上半年收官之战,汽车市场的行情表现确..
2024款新能源汽车投诉量大增,都是降价惹的祸?
价格“背刺” 消费者怨声载道除了质量问题,价格变动频繁、服务态度不好..
十家中国汽车行业企业进入财富世界500强:新能源车企攀升速度亮眼..
8月5日,2024年《财富》世界500强排行榜揭晓。今年,中国133家公司上榜,..
“数”说上半年我国汽车产销量成绩单 新能源汽车驶上“快车道”..
央视网消息:中国汽车工业协会7月10日公布的最新数据显示,2024年上半年..
7月车企销量大盘点!比亚迪最猛,但这几个品牌跌不少........
而中国自主品牌车企能够持续稳定增长,离不开新能源汽车市场的爆发,成为..
7万—17万值得买的十款车
7-17万值得买的车,这里有10款。7万——比亚迪海鸥6.98万,比亚迪2025款..
10.28万起!五菱全新SUV星光S开启预售!坐垫比奔驰还长,便宜又靠谱?..
新车开启预售的同时,还推出丰富的预订权益,凡通过五菱汽车官方APP,9.9..
中日车企交锋泰国 | 世界汽车地理
从泰国素万那普机场驶向曼谷市中心的高架桥上,广汽埃安、比亚迪、上汽MG..
关于作者
泡沫人生(普通会员)
文章
891
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40400 企业收录2981 印章生成237624 电子证书1052 电子名片60 自媒体52346

@2022 All Rights Reserved 浙ICP备19035174号-7
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索