新智元报导

编写：武穆

【新智元前言】NVIDIA H100 Tensor Core GPU在MLPerf国家标准AI基准测试中第一次亮相，创下了全部工作负载逻辑推理的世界记录，提供的性能比上一代GPU高4.5 倍。

前不久，英伟达发布了集团旗下的芯片，在MLPerf国家标准AI基准测试得到的结果。

依据英伟达这样的说法，H100（别名 Hopper），提升了全部六个神经元网络在每一个网络加速器中的表现规范，比上一代的A100，性能变高4.5倍，造就了全部工作负载推论的世界记录。

所谓逻辑推理，有别于机器学习算法 (ML)。

机器学习算法是建立训练模型然后让系统软件「培训」的，而逻辑推理主要是用于在一系列数据点上运作学习模型，并得到结论。

英伟达觉得，这一测试结论确立H100在独立网络服务器和线下环境下的货运量和速率等方面的领先水平，假如客户要想最大性能最高级的AI实体模型，H100不可或缺。

英伟达为什么注重MLPerf测试得到的结果

MLPerf是一个国家标准基准系列产品，由图灵奖得主彼得·帕特森（David Patterson）协同谷歌搜索、英伟达 、intel、Meta、的浪潮等全世界AI龙头企业，及其来源于美国哈佛大学、斯坦福学校等学术机构的科研人员开创。

MLPerf可以为各种各样工作负载模型，包含自然语言理解、语音识别技术、图像分类、医学成像和物体检测项目等。

该基准测试非常有用，因为他能够超越从高档大数据中心和云的设备到小众的工业物联网系统软件，并可以为每个供应商商品提供一致的基准测试，就算不是所有子测试里的基准测试均由全部测试工作人员运作。

它还能建立用以运作线下、单流的多流测试的画面，这种测试建立一系列 AI 作用来仿真模拟详细工作流引擎管路真实的实例（比如，语音识别技术、自然语言理解、查找和强烈推荐、文本转语音等）。

尽管很多厂家觉得只运作一部分测试(ResNet是比较常见的)得到的结果，是芯片性能的高效指标值，比完备的MLPerf更可用。

例如，在后面的数据图表中也可以看到，很多被相对比较芯片在MLPerf的别的部件里没有测试结论，由于生产商压根就不准备测。

但MLPerf测试仍然被业内普遍接纳，如果能在MLPerf测试中获得优异的成绩，很少有人怀疑过程的准确性公信力。

英伟达在市场中还处在领先水平吗？

本次，对在MLPerf测试中获得得到的结果，英伟达或是令人满意的。

这就意味着，很有可能在今年底先前，英伟达便会首次公开演试H100 GPU。

并且，H100 GPU将参加未来MLPerf轮数进行练习。

H100能够取得这般极佳的主要表现，一部分要得益于英伟达的Transformer Engine。

Transformer Engine使用浏览器和定做的NVIDIA Hopper Tensor Core技术性，致力于加快对由最流行的AI模型建立块变电器搭建的模型的练习。

这种偏微分关键能够运用混合的FP8和FP16文件格式，以明显加快Transformer的AI测算，这类加快有时候是量级的提高，进而比较适合手头上的每日任务。

Transformer Engine这种专用工具，产生的优势在于非常明显的：开发者可以致力于解决方法，而非尝试为并没有相对应平台上的系统实现低等硬件配置和有关代码设计。

更为重要，Transformer Engine这种专用工具，展现了英伟达真正的优点——服务平台方式。

英伟达的诸多竞争者，尽管可以为销售市场提供芯片或系统软件，但英伟达早已建立了一个强悍的生态体系，包含芯片，有关硬件配置及其对于其芯片和优化系统的彻底相对稳定的软件信息开发系统。

用英伟达层面的话来说，这轮MLPerf测试上，有70好几份获奖作品在NVIDIA软件上运作，比如，Microsoft Azure递交了则在云服务器上运作NVIDIA AI得到的结果。

这说明，NVIDIA AI获得了业内最普遍的机器学习算法生态体系的大力支持。

实际上，英伟达的对手intel及其高通芯片都阐述了服务平台方式。

而新成立公司一般只适用开源系统选择项，这种选择项可能和关键经销商提供功能的水准不一样。

除此之外，英伟达还针对特殊市场细分改善了架构，为解决方法提供商提供了一个有意义的起始点，使解决方法提供商能以更低的任务量完成更快地上市日期。

而初创期AI芯片经销商没法提供这种级别的网络资源。

自然，英伟达并不是并没有缺点。

例如，尽管英伟达展现了其芯片与规范intelx86Cpu得比较，但本身没有与intel一个新的Habana Gaudi 2芯片进行对比。

而Habana Gaudi 2芯片可能显现出高水准人工智能计算水平，能够贴近甚至超过一些英伟达商品。

此外，英伟达很有可能非是全部市场细分的NO.1，尤其是在功耗低市场细分，像高通芯片这样的企业很有可能具备优点。

但是，即便如此，因为英伟达依然提供最普遍的系列产品，对其详细平台生态系统软件的高度重视，进而在人工智能技术竞赛中处在领先水平，而且竞争者难以随便替代。

参考文献：

https://venturebeat.com/ai/what-nvidias-new-mlperf-ai-benchmark-results-really-mean/

https://blogs.nvidia.com/blog/2022/09/08/hopper-mlperf-inference/