> 自媒体 > (AI)人工智能 > 3.9分钟训完GPT-3,英伟达H100再次刷新MLPerf六项纪录
3.9分钟训完GPT-3,英伟达H100再次刷新MLPerf六项纪录
来源:IT之家
2023-11-14 13:47:39
379
管理

IT之家 11 月 9 日消息,英伟达今天发布新闻稿,表示旗下的 H100 GPU 在 MLPerf 基准测试中创造了 6 项新记录。

IT之家今年 6 月报道,3584 个 H100 GPU 群在短短 11 分钟内完成了基于 GPT-3 的大规模基准测试。

MLPerf LLM 基准测试是基于 OpenAI 的 GPT-3 模型进行的,包含 1750 亿个参数。

Lambda Labs 估计,训练这样一个大模型需要大约 3.14E23 FLOPS 的计算量。

英伟达最新的 Eos AI 超级计算机配备了 10752 个 H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 网络,训练完 GPT-3 仅仅只需要 3.9 分钟,比 6 月的测试结果整整快了 7 分钟。

英伟达在帖中,的另一项创纪录的成就是在“系统扩展”方面取得的进步,通过各种软件优化,效率提高到了 93%。

高效扩展在行业中非常重要,因为实现高计算能力需要使用更多的硬件资源,如果没有足够的软件支持,系统的效率会受到大幅影响。

0
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
相关文章
GPT-4两句话复刻DeepMind最快排序算法?马库斯:过于讽刺..
编辑:润【新智元导读】网友用GPT-4复现了AlphaDev的排序算法优化,让Dee..
清华唐杰:GPT-3表示能力已接近人类了,但它有阿喀琉斯之踵..
编辑部 整理自 MEET 2021 量子位 报道 | 公众号 QbitAI人工智能,现在发..
为裸聊诈骗“饲养”17万个QQ号!上海警方出手,11人落网..
聊天交友软件“美女”主动搭讪,只要下载APP就能“赤身相见”,殊不知你..
刚加的好友怎么打招呼聊天?三个开场白,让你成功追到她..
大部分男生在和女生刚加上的时候,往往都不知道刚开始跟女生怎么打招呼。..
ChatGPT编假新闻?男子购买大量百家号牟利被抓!
ChatGPT编假新闻?男子买百家号牟利被抓!在信息时代,新闻传播的速度极..
ChatGTP回答:什么是 ChatGPT?它是如何工作的?它能做些什么?..
什么是 ChatGPT?它是如何工作的?ChatGPT是一种大型语言模型,基于GPT-3..
GPT发展历程详解,GPT3.5和4.0有什么区别?
GPT系列模型是OpenAI在自然语言处理(NLP)领域的重要研究成果,它是基于..
苹果禁用ChatGPT,为防机密泄露!大模型版Siri即将升级推出..
明敏 杨净 发自 凹非寺量子位 | 公众号 QbitAI前脚ChatGPT刚刚上线iOS嗨..
过度依赖 OpenAI?微软透露:将提供更多 OpenAI 以外的大语言模型..
众所皆知,微软已在其消费者和企业产品中部署了 OpenAI 的模型,例如 Bin..
关于作者
天泰悠然(普通会员)
文章
614
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40367 企业收录2981 印章生成216425 电子证书945 电子名片57 自媒体34015

@2022 All Rights Reserved 浙ICP备19035174号-7
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索