2022 年 3 月 22 日 —— 为推动 ai 数据中心的新一轮发展，nvidia 于今日宣布推出采用 nvidia hopper™ 架构的新一代加速计算平台。与上一代产品相比，该平台实现了数量级的性能飞跃。
这一全新架构以美国计算机领域的先驱科学家 grace hopper 的名字命名，将取代两年前推出的 nvidia ampere 架构。
nvidia 同时发布其首款基于 hopper 架构的 gpu — nvidia h100。该款 gpu 集成了 800 亿个晶体管。h100 是全球范围内最大的性能出众的加速器，拥有革命性的 transformer 引擎和高度可扩展的 nvidia nvlink® 互连技术等突破性功能，可推动庞大的 ai 语言模型、深度推荐系统、基因组学和复杂数字孪生的发展。
nvidia 创始人兼 ceo 黄仁勋表示： “数据中心正在转变成‘ai 工厂’。它们处理大量数据，以实现智能。nvidia h100 是全球 ai 基础设施的引擎，让企业能够利用其实现自身 ai 业务的加速。”
h100 技术突破
h100 nvidia gpu 为加速大规模 ai 和 hpc 设定了新的标准，带来了六项突破性创新：
世界最先进的芯片 —— h100 由 800 亿个晶体管构建而成，这些晶体管采用了专为 nvidia 加速计算需求设计的尖端的 tsmc 4n 工艺，因而能够显著提升 ai、hpc、显存带宽、互连和通信的速度，并能够实现近 5tb/s 的外部互联带宽。h100 是首款支持 pcie 5.0 的 gpu，也是首款采用 hbm3 的 gpu，可实现 3tb/s 的显存带宽。20个 h100 gpu 便可承托相当于全球互联网的流量，使其能够帮助客户推出先进的推荐系统以及实时运行数据推理的大型语言模型。
新的 transformer 引擎 —— transformer 现在已成为自然语言处理的标准模型方案，也是深度学习模型领域最重要的模型之一。h100 加速器的 transformer 引擎旨在不影响精度的情况下，将这些网络的速度提升至上一代的六倍。
第二代安全多实例 gpu —— mig 凯发官网首页的技术支持将单个 gpu 分为七个更小且完全独立的实例，以处理不同类型的作业。与上一代产品相比，在云环境中 hopper 架构通过为每个 gpu 实例提供安全的多租户配置，将 mig 的部分能力扩展了 7 倍。
机密计算 —— h100 是全球首款具有机密计算功能的加速器，可保护 ai 模型和正在处理的客户数据。客户还可以将机密计算应用于医疗健康和金融服务等隐私敏感型行业的联邦学习，也可以应用于共享云基础设施。
第 4 代 nvidia nvlink —— 为加速大型 ai 模型，nvlink 结合全新的外接 nvlink switch，可将 nvlink 扩展为服务器间的互联网络，最多可以连接多达 256 个 h100 gpu，相较于上一代采用 nvidia hdr quantum infiniband网络，带宽高出9倍。
dpx 指令 —— 新的 dpx 指令可加速动态规划，适用于包括路径优化和基因组学在内的一系列算法，与 cpu 和上一代 gpu 相比，其速度提升分别可达 40 倍和 7 倍。floyd-warshall 算法与 smith-waterman 算法也在其加速之列，前者可以在动态仓库环境中为自主机器人车队寻找最优线路，而后者可用于 dna 和蛋白质分类与折叠的序列比对。
h100 的多项技术创新相结合，进一步扩大了 nvidia在 ai 推理和训练的领导地位，利用大规模 ai 模型实现了实时沉浸式应用。h100 将支持聊天机器人使用功能超强大的monolithic transformer 语言模型 megatron 530b，吞吐量比上一代产品高出 30 倍，同时满足实时对话式 ai 所需的次秒级延迟。利用 h100，研究人员和开发者能够训练庞大的模型，如包含 3950 亿个参数的混合专家模型，训练速度加速高达9倍，将训练时间从几周缩短到几天。
nvidia h100 的广泛采用
nvidia h100 可部署于各种数据中心，包括内部私有云、云、混合云和边缘数据中心。这款产品预计于今年晚些时候全面发售，届时企业可从全球各大云服务提供商和计算机制造商处购买，或者直接从 nvidia 官方渠道购买。
nvidia 的第四代 dgx™ 系统 dgx h100 配备 8 块 h100 gpu，以全新的 fp8 精度提供 32 petaflop 的 ai 性能，并支持扩展，能够满足大型语言模型、推荐系统、医疗健康研究和气候科学的海量计算需求。
dgx h100 系统中的每块 gpu 都通过第四代 nvlink 连接，可提供 900gb/s 的带宽，与上一代相比，速度提升了 1.5 倍。nvswitch™ 支持所有八块 h100 gpu 通过 nvlink 全互联。新一代 nvidia dgx superpod™ 超级计算机可通过外部 nvlink switch 互联，最多可连接 32 个 dgx h100 节点。
hopper 已在行业内获得各大云服务提供商的广泛支持，包括阿里云、aws、百度智能云、google cloud、microsoft azure、oracle cloud、腾讯云和火山引擎，这些云服务商均计划推出基于 h100 的实例。
全球领先的系统制造商，包括源讯、boxx technologies、思科、戴尔科技、富士通、技嘉、新华三、慧与 (hpe)、浪潮、联想、宁畅和超微预计推出各种采用 h100 加速器的服务器。
规模各异的 nvidia h100
h100 将提供 sxm 和 pcie 两种规格，可满足各种服务器设计需求。此外，nvidia还会推出融合加速器，耦合 h100 gpu 与 nvidia connectx®-7 400gb/s infiniband 和以太网智能网卡。
nvidia h100 sxm 提供 4 gpu 和 8 gpu 配置的 hgx™ h100 服务器主板，可助力企业将应用扩展至一台服务器和多台服务器中的多个 gpu。基于 hgx h100 的服务器可为 ai 训练和推理以及数据分析和 hpc 应用提供更高的应用性能。
h100 pcie 通过 nvlink 连接两块 gpu，相较于 pcie 5.0，可提供 7 倍以上的带宽，为主流企业级服务器上运行的应用带来卓越的性能。pcie规格便于集成到现有的数据中心基础设施中。
h100 cnx 是一款全新的融合加速器。这款加速器将 h100 与 connectx-7 智能网卡相结合，可为 i/o 密集型应用（如企业级数据中心内的多节点 ai 训练和边缘 5g 信号处理）提供强劲性能。
nvidia hopper 架构 gpu 还可与 nvidia grace™ cpu 通过 nvlink-c2c 互联，与 pcie 5.0 相比，可将 cpu 和 gpu 之间的通信速度提高 7 倍以上。这一组合，即grace hopper 超级芯片，可用于大规模 hpc 和 ai 应用。
nvidia 软件支持
h100 nvidia gpu 由功能强大的软件工具提供支持，可助力开发者和企业构建并加速 ai、hpc 等一系列应用。其中包括用于语音、推荐系统和超大规模推理等工作负载的 nvidia ai 软件套件的重大更新。
nvidia 还发布了 60 多个针对 cuda-x™ 的一系列库、工具和技术的更新，以加速量子计算和 6g 研究、网络安全、基因组学和药物研发等领域的研究进展。
供货信息
nvidia h100 将自第三季度起开始供货。