编辑:桃子 好困
【新智元导读】英伟达H100再次刷榜了,不到4分钟就训完GPT-3,比6月成绩提升3倍。另外,特供版H20、L20和L2性能全都爆出。H100再次在MLPerf中刷新了记录!
英伟达超算NVIDIA Eos在GPT-3模型的基准测试中,只用了3.9分钟就完成了训练。
这比6月份的刷新记录的成绩——10.9分钟,提升了近3倍。
Eos使用了多达10,752个H100和NVIDIA Quantum-2 InfiniBand网络互连。
这些加速为用户训练大模型或用NeMo等框架自定义模型以满足业务需求,带来了更快上市时间、更低成本和节省能源。
这一轮测试中,包括华硕、戴尔技术、富士通、技嘉、联想、QCT和超微等11家系统制造商在提交结果中使用了NVIDIA AI平台。
特供版H20、L20和L2性能曝光
在过去几年中,美国对高性能硬件出口实施了非常严格的限制。
尤其是在2023年11月生效的新规,更是要求所有达到一定总处理性能和/或性能密度的硬件都必须获得出口许可。
据最新泄露的文件和四位熟悉内情的人士透露,为了遵守美国的出口管制,英伟达已经推出了三款全新的「中国定制版」芯片——HGX H20、L20 PCle 和 L2 PCle GPU。
其中,HGX H20配有高达96GB的HBM3显存,以及4TB/s的带宽,并且基于全新的Hopper架构。
与H100的50MB二级缓存相比,H20还拥有更大的60MB二级缓存。
至于L20和L2 PCIe GPU,则是基于阉割后的AD102和AD104核心,对应的是与L40和L40S相同的市场。
更直观地,RTX 4090采用的便是AD102的变体,而4070和4070Ti则是基于AD104的变体。
上下滑动查看
除此之外,为了遵守新规,HGX H20、L20 PCle和L2 PCle GPU不仅性能是残血的,而且还只配备了残血版的NVLink连接。
参考资料:
相关文章
猜你喜欢