3月22日,NVIDIA公布发布选用Hopper架构的新一代加快测算服务平台,其将替代两年前发布的Ampere架构(NVIDIA目前为止最顺利的GPU架构)。与此同时,NVIDIA公布了其第一款根据Hopper架构的GPU—NVIDIA H100。
Hopper 架构以测算科学合理的先行者 Grace Hopper 的姓式取名。黄教主称:“Hopper H100 是迄今为止最高的跨代飞越。H100 具备 800 亿次电子管,在性能上称得上 NVIDIA 的“新核弹头”。
其集成化了800亿次电子管,选用tsmcN4加工工艺,是全世界范畴内最高的网络加速器,有着Transformer模块和极度可拓展的NVLink互联技术性(较多可联接达256个H100 GPU,相比于上一代选用HDR Quantum InfiniBand网络,带宽高出9倍,带宽速率为900GB/s)等作用,可以明显提高AI、HPC、独显存储带宽、互联和通讯的速率,并可以完成近5TB/s的外界互连带宽。
并且H100是首个适用PCIe 5.0的GPU,也是第一款选用HBM3的GPU,可完成3TB/s的独显存储带宽。据了解,20个H100 GPU便可烘托等同于全世界移动互联网的总流量,使其可以即时运作数据信息逻辑推理的大中型语言模型和发布专业的推荐算法。
对比于上一代Ampere架构的A100,H100产生了6项开创性的自主创新:
1、现阶段世界上最专业的处理芯片。
2、配备全新Transformer模块,速率提高高于一切一代的6倍。
3、第二代安全性多案例,可以与此同时解决不一样种类的每日任务。
4、具有商业秘密测算作用,先前个人隐私测算只有在CPU上完成,但H100变成第一个完成该作用的GPU,可以维护AI实体模型和已经解决的客户资料。
5、适用第4代NVLink,每一个NVLink Switch网络较多可以联接高达256个H100,相比于上一代商品,带宽高出9倍。
6、Hooper架构引入了名叫DPX的新指令系统,可加快动态规划,优化算法速率拥有明显提高。
总而言之,根据 Hopper 架构的 H100 测算性能比 Ampere 架构的 A100 提升了大概 6 倍。
性能大幅提高的关键因素取决于引入 FP8 后的偏微分关键和对于 NLP 每日任务的 Transformer 模块,尤其是 TMA 技术性降低了 SM 模块在信息拷贝时的瞎忙。货运量比上一代商品高出30倍,与此同时达到即时会话式AI需要的次秒级延迟时间。
运用H100,科学研究工作人员和开发人员可以练习巨大的实体模型,如包括3950亿次主要参数的混和权威专家实体模型,练习速率加快达9倍,将练习时长从几个星期减少到几日。现阶段,H100可布署于各种各样大数据中心,包含内部结构私有云存储、云、云计算平台和边沿大数据中心,预估于2022年晚些时候全方位开售。