> 自媒体 > (AI)人工智能 > 英伟达H100杀疯了:11分钟训完GPT-3,霸榜8项测试
英伟达H100杀疯了:11分钟训完GPT-3,霸榜8项测试
来源:正直石榴1b6v
2023-10-08 22:15:36
253
管理

本文为今日头条原创作者独家首发,原创不易,抄袭、洗稿必将深究。阅读文章前可以先点关注呦,谢谢支持!

标题:英伟达H100集群横扫MLPerf测试,云厂商CoreWeave与AI初创Inflection AI崭露头角

导语:

近日,英伟达引发了AI圈的一阵小小震撼,仅用11分钟训练一遍GPT-3,8秒内完成BERT的训练,这一成绩在最新的MLPerf训练基准测试中表现尤为抢眼。

英伟达H100集群横扫八项测试,创下多项新纪录,尤其在大语言模型任务中,其加速性能更是接近线性增长,引人瞩目。

文章正文:

这次的MLPerf训练基准测试成绩令人瞩目。英伟达H100集群不仅在八项测试中创下了新纪录,而且在大语言模型任务中的表现更是异军突起。H100集群的加速性能呈现出几乎线性增长的趋势,这意味着集群内GPU之间的高效通信在其中扮演了关键角色。

MLPerf Training v3.0中新增了基于GPT-3的大语言模型任务,这意味着测试所使用的数据集更大,模型也更为先进。

H100集群由3584块H100组成,这是英伟达本次测试中拿出的最大集群。另外,他们还提交了一个包含768块H100的集群进行测试,而这两个集群在云上和本地部署中的性能几乎完全相同,进一步验证了集群中显卡数量增加所带来的性能提升几乎可以达到线性增长。

该公司最近获得了2.25亿美元的融资,估值超过12亿美元。他们的大语言模型Pi是在H100集群上训练出来的,该模型旨在实现更好的人机交互,通过聊天内容逐渐了解用户,提供个性化的回答,类似于个人智能管家的角色。

据Inflection AI透露,他们计划在未来几个月内进一步扩大底层计算基础设施的规模,这显示出他们在未来的发展方向上充满信心。

总结:

英伟达H100集

群在最新的MLPerf训练基准测试中所展现的强大性能,不仅为AI领域带来了一次震撼,也突显了集群计算、加速网络等技术在大规模任务处理中的重要性。

参考链接:

[1]https://blogs.nvidia.com/blog/2023/06/27/generative-ai-debut-mlperf/?continueFlag=685ee2dc8db6455efed731baa85e2741

[2]https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/

[3]https://www.forbes.com/sites/stevemcdowell/2023/06/27/nvidia-h100-dominates-new-mlperf-v30-benchmark-results/?

1
点赞
赏礼
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与本站无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。 凡本网注明 “来源:XXX(非本站)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。 如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。 QQ:617470285 邮箱:617470285@qq.com
关于作者
天外天(普通会员)
文章
381
关注
0
粉丝
0
点击领取今天的签到奖励!
签到排行

成员 网址收录40329 企业收录2981 印章生成186823 电子证书796 电子名片49 自媒体20881

@2022 All Rights Reserved 浙ICP备19035174号-7
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索