将晦涩难懂的技术讲的通俗易懂
分类： 云计算
2023-11-05 16:52:19
近年来AI大模型的火热，无疑让NVDIA称为炙手可热的明星。究其原因是其以GPU为核心的一些列软硬件产品和生态在AI大模型中扮演着核心作用。我们经常听到A100，H100，A800等GPU型号，那么他们究竟是什么关系？以及{BANNED}最佳近NVDIA又推出的DGX HG200又是什么东西？本节内容就是介绍NVDIA AI相关的硬件相关的产品体系，让大家明白这些名词背后代表的含义。
首先看下面这张大图，就是整个NVDIA的整个产品和生态。其中{BANNED}最佳下面是硬件，以GPU，CPU，DPU三大芯片体系为基础，其中GPU是NVDIA的发家产品，也是核心，而DPU是NVDIA在完成对以色列MLX收购后，将bluefield系列智能网卡改名为DPU发展而来的，没错就是改名而已。所以NVDIA在造概念上还是挺有一套的，时至今日很多人在网上讨论智能网卡和DPU的区别，甚至大书特书，也确实够无聊的，同样的一个bluefield 2，在NVDIA收购前叫智能网卡，收购后叫DPU，你说是什么区别？
好了，回到图中，在三大芯片之上是DGX，HGX，EGX等一些列硬件平台，他们有的是将GPU以及NVlink组合做成硬件模块组，有的是将GPU、DPU，CPU通过NVlink、PCIe等互联直接组成服务器，有的则是使用服务器加上交换机和IB网络直接构成集群。换句话说NVDIA的产品不仅仅是芯片，而是还有通过自己的一些列总线技术，服务器技术，交换机技术将芯片进行包装的平台产品。
继续向上看，是一个单独的方框，里面是以CUDA，DOCA为代表的软件库，其中CUDA是以GPU编程为核心的软件库，而DOCA是以DPU为核心的软件库。当然还有其他一些，比如RAPIDS是NVDIA推出的一台开源数据科学和机器学习加速工具。总之就是NVDIA在自己的硬件体系架构上，自己又主导了一些列软件生态，从而向更上层应用层提供服务。让用户深度绑定其软硬件，其野心不可谓不大。
GPU作为NVDIA的核心产品，可用于大模型训练，高性能计算，AI推理，图形渲染，个人游戏等场景。
下面我们看一下NVDIA的GPU的发展历程。NVDIA整体大概没两年推出一个GPU架构，如下图所示，从{BANNED}最佳早的Tesla到当前的Hopper架构。这里就不再详细展开，感兴趣可以参考这篇文章 。
另一方面，NVDIA的显卡目前可以按照应用领域大致分为三种类型：
GeForce消费卡：面向游戏娱乐领域：如GeForce RTX? 3090、GeForce RTX? 3080等。
Quadro专业卡：面向专业设计和虚拟化领域：如NVIDIA RTX? A6000、NVIDIA? T1000等。
Tesla企业级卡：面向深度学习、人工智能和高性能计算领域：如NVIDIA A100\A30 Tensor Core GPU等。
这里我们重点讨论一下数据中心GPU，同样是数据中心GPU，同一代架构NVDIA也推出了多种不同产品用于不同场景，以Ampere系列产品为例，如下图所示。
下面我们讲一下经常听到的几种GPU型号：V100，A100，A800，H100，H800的关系。首先这里的V，A，H分别对应着上图中的三代GPU架构：Volta，Ampere以及Hopper。
l V100
V100是NVDIA推出的高性能计算和人工智能加速器，属于Volta架构系列。它采用16nm FinFET工艺，拥有5120个CUDA核心和16GB到32GB的HBM2显存。V100还配备Tensor Cores加速器，可提供高达120倍的深度学习性能提升。此外，V100支持NVLink技术，实现高速的GPU到GPU通信，加速大规模模型的训练速度。V100被广泛应用于各种大规模AI训练和推理场景，包括自然语言处理、计算机视觉和语音识别等领域。
l A100
A100是NVDIA推出的一款强大的数据中心GPU，采用全新的Ampere架构。它拥有高达6,912个CUDA核心和40GB的高速HBM2显存。A100还包括第二代NVLink技术，实现快速的GPU到GPU通信，提升大型模型的训练速度。此外，A100还支持英伟达自主研发的Tensor Cores加速器，可提供高达20倍的深度学习性能提升。A100广泛应用于各种大规模AI训练和推理场景，包括自然语言处理、计算机视觉和语音识别等领域。、
l H100
而H100是NVDIA基于{BANNED}最佳新一代Hopper架构，采用先进的台积电4nm工艺制造，拥有超过 800 亿个晶体管。NVIDIA Hopper 架构通过 Transformer 引擎推进 的发展，Hopper Tensor Core 能够应用混合的 FP8 和 FP16 精度，以大幅加速 Transformer 模型的 AI 计算。与上一代相比，Hopper 还将 TF32、FP64、FP16 和 INT8 精度的每秒浮点运算 (FLOPS) 提高了 3 倍。同时Hopper架构支持第四代 NVLink，NVLink Switch 系统现在可以跨多个服务器以每个 GPU 900 GB/s 的双向带宽扩展多 GPU IO，比 PCIe 5.0 的带宽高 7 倍。NVLink Switch 系统支持由多达 256 个相互连接的 H100 组成的集群，且带宽比 Ampere 架构上的 InfiniBand HDR 高 9 倍。{BANNED}最佳后Hopper支持第二代MIG，借助多实例 GPU (MIG)，GPU 可以分割成多个较小的、完全独立的实例，并拥有自己的内存、缓存和计算核心。Hopper 架构通过多达 7 个 GPU 实例在虚拟化环境中支持多租户、多用户配置，进一步增强了 MIG，在硬件和管理程序级别使用机密计算安全地隔离每个实例。
那么A800和H800又是什么呢？A800和H800主要是受限于美国管制，无法直接输出A100和H100，从而推出的阉割产品分别作为A100和H100的代替品。下图整理了相对A100和H100，A800和H800具体有哪些差异。可以看出核心在NVlink带宽的差异，以及FP64的能力上。
所以与国外厂商相比，如果我们想达到同样的性能，就需要更多的成本。
我们经常听到的DGX，HGX，EGX其实是NVDIA提供的三种服务器参考架构，三种架构的配置和性能都有较大差异，应用场景也不同，在数据中心常用的是DGX和HGX（EGX常用于边缘），也就是大家常说的“大狗熊”和“黑狗熊”。而这些架构通常后面接的是芯片名称，如DGX A100就是基于A100推出的DGX服务器架构，而HGX A100就是基于A100推出的HGX服务器架构。下面我们分别以DGX 100和HGX 100为例来看DGX和HGX的不同。
DGX A100是Nvida继DGX-1和DGX-2之后推出的第三代AI服务器平台，单台服务器就可以用于AI训练，推理，以及大数据分析。其基本配置如下图所示，它有8个A100 GPU，6个NVswitch，15TB的 NVMe SSD，9个CX-6DX 200Gb网卡，以及双路64 core的AMD Rome CPU，1TB内存。
NVDIA DGX A100 配备 8 块 NVDIA A100 Tensor Core GPU，可帮助用户出色地完成加速任务，同时也针对 NVIDIA CUDA-X? 软件和端到端 NVIDIA 数据中心解决 方案堆栈进行了全面优化。NVDIA A100 GPU 实现了 与 FP32 原理相同的全新精度级别 TF32，相较于上一代 产品，可提供高达 20 倍 FLOPS 的 AI 性能。而{BANNED}最佳重要 的是，实现此类加速无需改动任何代码。通过 NVDIA 自动混合精度功能，只需要增加一行代码 A100 就可以 提供额外两倍的 FP16 精度性能的提升。同时，A100 GPU 拥有世界领先的显存带宽 (1.6 TB/s)，与上一代 产品相比，增幅超过 70%。另外，A100 GPU 有超大 片上内存，包括 40 MB 的二级缓存，比上一代产品大 近 7 倍，可更大限度地提升计算性能。DGX A100 还 推出速度为上一代 2 倍的全新 NVDIA NVSwitch 和 新一代 NVDIA NVLink? 技术，后者可将 GPU 之间的 直连带宽增加一倍，从而达到 600 GB/s，而这几乎是 PCIe Gen 4 的 10 倍。这种强大的功能可助力用户更快 解决问题，以及应对此前无法解决的难题。
所以DGX就是NVDIA做好的一个现成的服务器，上面有NVDIA的商标，买过来就自己能用，不用自己买其他硬件组装。
HGX A100是第三方服务器厂商（如浪潮，H3C等）按照NVDIA提供的specification设计的GPU服务器，且服务器出厂前会经由NVDIA进行严格的认证。为什么会有这样一个形态呢？主要是NVDIA并没有NVlink的接口设计暴露给服务器厂商，不想PCIe一样服务器厂商可以自行设计互联，而是由NVDIA自己将GPU通过NVlink，NVswitch连接好的一个模组交给服务器厂商，服务器厂商决定如何适配这个模组即可。尽管如此，相比DGX，HGX也给了不同厂商更多定制空间，比如各个云厂商并不想使用NVDIA的网卡，而使用自己的DPU。
此外，相比DGX A100，HGX A100提供了更多的配置，比如产品上有4 GPU的模组，也有8GPU的模组。甚至可以将两个8卡GPU通过NVSwitch连接，实现16GPU全互联。并且A100 GPU在选择上可以是40GB或者80GB两种选型，也可以选择NVlink或者PCIe接口的GPU。对内存，CPU和网络没有统一的标准规定，各个服务器厂商可以自己设计，只要能通过NVDIA的官方认可即可。
知道了DGX A100和HGX A100，我们如果再看到HGX H100这种就不难理解了，无非是一些参数和特性的变化。
DGX SuperPOD就是由DGX产品组成的大的网络POD。如下图所示就为有DGX H100构成的DGX H100 SuperPOD的构成。
通过NVDIA提供的DGX H100和相关存储及网络软硬件组成一个超级POD用于高性能AI计算。
在GTC 2022上，NVDIA发不了Grace Hopper Superchip架构，它主要包含一下几个创新点。Grace是只NVDIA自研的Grace CPU，而Hopper就是Hopper架构的GPU。
Grace CPU是英伟达的{BANNED}中国第一个数据中心CPU，拥有{BANNED}最佳多72个Arm Neoverse V2核心，支持{BANNED}最佳多512GB的LPDDR5X内存，每个CPU的内存带宽可达546GB/s。
Hopper是英伟达第九代数据中心GPU，相较于上一代Ampere 有很多提升，前文已经介绍过，这里就不再介绍了。
Grace Hopper Superchip将Grace CPU和Hopper GPU放到了一块电路板上，上一次CPU和GPU走这么近的时候，还是集成显卡“寄生”在CPU时候。如下图所示，在单个超级芯片中，Grace和Hopper之间通过一个叫NVLink Chip-2-Chip(C2C)的互联技术连在了一起，提供高达900 GB/s的总带宽（单向是450GB/s），是x16的PCIe Gen5的7倍，可以为两个芯片提供内存一致性、高带宽和低延迟的通信。NVLink C2C所提供的内存一致性优势，可以提高开发者的生产力，可以提高性能，可以提高GPU的可访问的内存容量。在NVLink C2C的帮助下，CPU和GPU现在可以同时且透明地访问对方的内存，这使得开发者可以专注于算法设计，而不用花时间做内存管理。NVLink C2C所提供的内存一致性，允许开发者只传输他们需要的数据，而不需要把整个页面数据迁移到GPU或从GPU迁出。
在NVLink C2C的帮助下，应用程序可访问的内存不止GPU所提供的96GB，可用的还有来自Grace CPU的内存，每一个Grace Hopper Superchip可提供{BANNED}最佳多512GB的LPDDR5X的CPU内存。加起来就是512+96=608GB!
另外，NVLink C2C还支持NVLink Switch System，这使得一块Hopper GPU不仅可以访问本地Grace CPU的内存，还能透过交换机访问远端的Hopper GPU以及远端的Grace CPU的内存。也就是说，每一个Hopper GPU都可以访问集群里的所有内存。值得注意的是，NVLink Switch和NVLink C2C的带宽一样是900GB/s的，这为跨节点的内存访问一致性提供了基础。由于NVLink可连接{BANNED}最佳多256张Grace Hopper Superchip，算下来，{BANNED}最佳多可以访问150TB（256x608GB）的内存。
总之，NVLink C2C能让应用程序能够更容易地直接读取、储存数据，更方便地进行原子操作，有助于处理更大、更复杂的问题。有了Grace Hopper超级芯片，与之对应的就有相关的DGX和HGX产品。
NVIDIA此前的 DGX A100 系统只能将八个 A100 GPU 联合起来作为一个单元，面对生成式人工智能大模型对于算力的爆炸式增长，NVIDIA的客户迫切需要更大、更强大的系统。DGX GH200就是为了提供{BANNED}最佳大的吞吐量和可扩展性而设计的。
如下图所示，DGX GH200通过定制的NVLink Switch System（包含 36 个 NVLink switch）将256个GH200超级芯片和高达144TB的共享内存连接成一个单元，避免标准集群连接选项（如 InfiniBand 和以太网）的限制，这种新的互连方式使DGX GH200系统中的256个H100 GPU作为一个整体协同运行，使其成为了专为{BANNED}最佳高端的人工智能和高性能计算工作负载而设计的系统和参考架构。可支持数万亿参数AI大模型训练。
DGX GH200系统中的每个Grace Hopper Superchip 都与一个NVIDIA ConnectX-7网络适配器和一个NVIDIA BlueField-3 NIC配对。DGX GH200 拥有 128 TBps 对分带宽和 230.4 TFLOPS 的 NVIDIA SHARP 网内计算，可加速 AI 中常用的集体操作，并通过减少集体操作的通信开销，将 NVLink 网络系统的有效带宽提高一倍。ConnectX-7 适配器还可以互连多个DGX GH200 系统，以扩展到超过256个GPU的更大的解决方案。此外NVIDIA也{BANNED}中国第一次使用 NVLink Switch 拓扑结构来构建整个超级计算机集群，之前NVlink switch只是以芯片形式在主机内，而在DGX GH200中NVlink switch也被实现为交换机形式，负责多级GPU互联，这种结构提供了比前一代系统高出10倍的GPU到GPU带宽，以及7倍的CPU到GPU的带宽。
下表是DGX GH200的配置，总之DGX GH200对标的DGX A100，可以将DGX GH200看做一个大的GPU芯片。
那么DGX GH200和上文介绍的DGX SuperPOD在产品定位有什么不同呢？下图是一个总结，核心是DGX GH200只是GPU的固定组合（256），而DGX SuperPOD是一个集群。
类似DGX产品，HGX Grace Hopper每个节点都有一个Grace Hopper超级芯片，与Bluefield-3 NIC或OEM定义的I/O以及可选的NVlink switch系统配对。
上图展示的是基于Grace Hopper Superchip的一个HGX Grace Hopper Superchip节点，单节点的TDP高达1000瓦，风冷散热和水冷散热都行。这么一个东西要怎么用呢？大体上有两种组织形式：
{BANNED}中国第一种是只用InfiniBand，配合英伟达的Bluefield-3 DPU，本质上还是传统的RDMA加速网络，这种适合横向扩展的机器学习和高性能计算工作负载。每个节点包含一个Grace Hopper Superchip和一个或多个PCIe设备，例如NVMe固态驱动器和BlueField-3 DPU、NVIDIA ConnectX-7 NIC 或OEM定义的I/O。NDR400 InfiniBand NIC具有16个PCIe Gen 5通道，可在超级芯片上提供高达100 GB/s的总带宽。结合NVIDIABlueField-3 DPU，该平台易于管理和部署，并使用传统的HPC和AI集群网络架构。
另一种，在用了InfiniBand的基础上，还在显卡那一头用NVLink Switch System把显卡连在了一起，这种连接256个Grace Hopper Superchip的完全体适合用来解决世界上规模{BANNED}最佳大，{BANNED}最佳具挑战性的AI训练和HPC工作负载。
上图对比了CPU+显卡传统组合，Grace Hopper一体的组合以及配上了NVLink Switch的Grace Hopper三者之间的对比。对比之下，CPU-GPU靠16通道的PCIe 5.0连接的速度与有了NVLink C2C的Grace Hopper相比实在是太慢了。而GPU-GPU之间通过InfiniBand的传输速度跟基于NVLink 4的NVLink Switch相比，也差距甚远。
总之，HGX GH200给了服务器厂商一定灵活性，选择是否使用NVlink Switch，以及采用多少个节点。
NVIDIA DGX 面向{BANNED}最佳高端市场的AI系统，HGX 系统则是面向超大规模数据中心，此次NVIDIA还新推出了介于这两者之间的的NVIDIA MGX 系统。
NVIDIA 表示，其OEM合作伙伴在为 AI 中心设计服务器时面临着新的挑战，这些挑战可能会减慢设计和部署的速度。NVIDIA 的全新 MGX 参考设计架构旨在加速这一过程，可以将开发时间缩短2/3至仅需6个月，开发成本也可以减少3/4。
据介绍，MGX 系统由模块化设计组成，涵盖了 NVIDIA 的 CPU 和 GPU、DPU 和网络系统的所有方面，但也包括基于通用 x86 和 Arm 处理器的设计，拥有100 多种参考设计。NVIDIA 还提供风冷和液冷设计选项，以适应各种应用场景。
ASRock Rack（永擎）、华硕、GIGABYTE（技嘉）、和硕、QCT、超微（Supermicro）都将使用 MGX 参考架构来开发将于今年晚些时候和明年初上市的系统。
