Nvidia Blackwell 首次亮相 MLPerf Inference 4.1 结果显示性能有所提升

MLPerf Inference 4.1基准测试结果由MLCommons发布，展示了AI硬件和软件领域的快速发展。这些测试结果由22个组织提交的964个性能结果组成，为企业提供了一个重要的资源，帮助他们做出关于AI基础设施投资的明智决策。

一个重大亮点是引入了Mixture of Experts（MoE）基准测试，这是为了应对日益增长的大型语言模型带来的挑战。MoE方法通过使用多个专家模型代替单一的大型模型，提高了部署效率和任务专业化，为企业提供更灵活和成本效益的AI解决方案。

Nvidia的Blackwell GPU在这次基准测试中首次亮相，显示出其在AI推理方面的显著性能提升。此外，Nvidia的Hopper GPU通过软件优化，在相同硬件上实现了27%的性能提升，证明了持续的软件调优可以显著提高现有硬件的性能。

这次基准测试还包括了其他一些新处理器和系统的首次公开亮相，如AMD的MI300x、Google的TPUv6e、Intel的Granite Rapids和Untether AI的SpeedAI 240，这些新硬件的加入为行业带来了更多的多样性和比较学习的机会。

来源：venturebeat