> 自媒体 > (AI)人工智能 > 单张GPU搞定GPT-3超参数!先训练小模型,再“一键迁移”| 已开源
单张GPU搞定GPT-3超参数!先训练小模型,再“一键迁移”| 已开源
来源:量子位
2023-05-04 21:54:05
457
管理

丰色 发自 凹非寺

量子位 | 公众号 QbitAI

“一个GPU没法训练GPT-3,更别提在上面调整超参数了。”

不不不,现在情况有变——

在单个GPU上完全可以调整大规模模型的超参数。

怎么说?

原来有人发现了一种新的调参方法,无论模型规模怎么变化,所得的最优超参数都能保持性能稳定。

由此一来,我们可以先训练一个小版本的模型,在上面间接调整好超参,然后以零样本的方式直接将它们复制到全尺寸模型上,就能获得相当不错的性能。

这对手里GPU资源不够的人来说简直不要太好了吧。

目前,相关帖子也在Reddit上引起热议,得到了300 的点赞支持。

好了,这时你可能会问:能不能只缩小模型的宽度呢?

作者表示,对于“non-width stuff”,没有理论保证。

不过好消息是,他们在preLN Transformer的合理范围内对depth、batch size、sequence length和timestep的迁移效果进行了测试。

关于作者

一作名叫Greg Yang,微软高级研究员。

通讯作者为微软研究院深度学习技术中心合伙人研究经理、IEEE Fellow高剑峰。

还有两位华人作者分别为来自微软的Liu Xiaodong(北京邮电大学校友)和Chen Weizhu (已在微软工作16年)。

他们的这篇成果已被NeurIPS 2021接收。

GitHub链接:https://github.com/microsoft/mup

论文地址:https://arxiv.org/abs/2203.03466

官方博客链接:https://www.microsoft.com/en-us/research/blog/µtransfer-a-technique-for-hyperparameter-tuning-of-enormous-neural-networks/

Reddit讨论:https://www.reddit.com/r/MachineLearning/comments/tb0jm6/r_you_cant_train_gpt3_on_a_single_gpu_but_you_can/

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
ChatGPT4.0是什么?
首先说下chatGPT4.0是什么?ChatGPT4.0是由OpenAI开发的一种自然语言生成..
保险巨头与ChatGPT“聊天记录”曝光!ChatGPT会取代代理人吗?..
最近,能写小说、会改代码、做得了情感咨询、聊得了人生哲学的“全能网友..
AI革命!GPT 4.0即将席卷全球,准备好颤抖了吗?
#3月财经新势力#GPT 4.0即将席卷全球AI革命!GPT 4.0即将席卷全球,准备..
国产版GPT清醒点,“胡说”没关系,烧得起算力才是王道,这场大会寻出路…..
这本是一场信息化企业家协会的换届选举,部分正在全国乃至全球各地洽谈业..
为什么无法使用中国手机号码注册ChatGPT账号?
自2022年11月30日发布以来,ChatGPT已成为全球最受欢迎的产品。它不仅被..
多地出现“AI换脸”新骗局!中国互联网协会发文提醒,有人被骗走430万,生..
每经编辑:张锦河近日,内蒙古包头等多地出现AI换脸新骗局,单笔被骗金额..
探索智能问答技术:ChatGPT的核心技术解析
在当今人工智能领域,自然语言处理(NLP)技术的进步引领着智能问答领域..
记者调查:ChatGPT风口下的灰色“生意经”
当地时间5月18日,人工智能开发机构OpenAI在美国发布了适用于iPhone的免..
ChatGPT手机曝光!体验或超越苹果的语音助手Siri
近月吹起一股AI热潮,AI改图软件及AI对话工具ChatGPT都极受关注。最近传..
关于作者
轻随风之舞..(普通会员)
文章
640
关注
0
粉丝
1
点击领取今天的签到奖励!
签到排行

成员 网址收录40369 企业收录2981 印章生成216707 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索