本文为今日头条原创作者独家首发,原创不易,抄袭、洗稿必将深究。阅读文章前可以先点关注呦,谢谢支持!
标题:英伟达H100集群横扫MLPerf测试,云厂商CoreWeave与AI初创Inflection AI崭露头角
导语:
近日,英伟达引发了AI圈的一阵小小震撼,仅用11分钟训练一遍GPT-3,8秒内完成BERT的训练,这一成绩在最新的MLPerf训练基准测试中表现尤为抢眼。
英伟达H100集群横扫八项测试,创下多项新纪录,尤其在大语言模型任务中,其加速性能更是接近线性增长,引人瞩目。
文章正文:
这次的MLPerf训练基准测试成绩令人瞩目。英伟达H100集群不仅在八项测试中创下了新纪录,而且在大语言模型任务中的表现更是异军突起。H100集群的加速性能呈现出几乎线性增长的趋势,这意味着集群内GPU之间的高效通信在其中扮演了关键角色。
MLPerf Training v3.0中新增了基于GPT-3的大语言模型任务,这意味着测试所使用的数据集更大,模型也更为先进。
H100集群由3584块H100组成,这是英伟达本次测试中拿出的最大集群。另外,他们还提交了一个包含768块H100的集群进行测试,而这两个集群在云上和本地部署中的性能几乎完全相同,进一步验证了集群中显卡数量增加所带来的性能提升几乎可以达到线性增长。
该公司最近获得了2.25亿美元的融资,估值超过12亿美元。他们的大语言模型Pi是在H100集群上训练出来的,该模型旨在实现更好的人机交互,通过聊天内容逐渐了解用户,提供个性化的回答,类似于个人智能管家的角色。
据Inflection AI透露,他们计划在未来几个月内进一步扩大底层计算基础设施的规模,这显示出他们在未来的发展方向上充满信心。
总结:
英伟达H100集
群在最新的MLPerf训练基准测试中所展现的强大性能,不仅为AI领域带来了一次震撼,也突显了集群计算、加速网络等技术在大规模任务处理中的重要性。
参考链接:
[2]https://developer.nvidia.com/blog/breaking-mlperf-training-records-with-nvidia-h100-gpus/
相关文章
猜你喜欢