英伟达老黄，携带新一代 GPU 芯片H200第三炸场。
官方网站毫不客气就直说了， 世界最强 GPU，专为 人工智能 和超算塑造 。
听说所有 人工智能 公司都抱怨内存不够？
这回直接141GB大内存，与 H100 的 80GB 相比直接提高 76%。
作为首款搭载 HBM3e 内存的 GPU，内存带宽也从 3.35TB/s 提高至4.8TB/s，提高 43%。
对于 人工智能 来讲意味着什么？来看测试数据。
在 HBM3e 加持下，H200 让 Llama-70B 推理性能几乎翻倍，运行 GPT3-175B 也能提升 60%。
对 人工智能 公司来讲还有一个好消息：
H200 与 H100完全兼容，意味着将 H200 添加到已有系统中无需做任何调整。
最强 人工智能 芯片只能当半年
除内存大升级以外，H200 与同属 Hopper 构造的 H100 相比其他方面基本一样。
台积电 4nm 工艺，800 亿晶体管，NVlink 4 每秒 900GB 的高速互联，都被完整继承下来。
甚至峰值算力也维持不变，数据一眼看过去，还是熟知的 FP64 Vector 33.5TFlops、FP64 Tensor 66.9TFlops。
对于内存为什么是有零有整的 141GB，AnandTech 剖析HBM3e 内存本身的物理容量为 144GB，由 6 个 24GB 的堆栈组成。
出于量产缘由，英伟达保留了一小部分作为冗余，以提升良品率。
仅靠升级内存，与 2020 年发布的 A100 相比，H200 就在GPT-3 175B 的推理上加速足足 18 倍。
H200 预计在 2024 年第 2 季度上市，但最强 人工智能 芯片的名号 H200 只能拥有半年。
同样在 2024 年的第 4 季度，基于下一代 Blackwell 构造的 B100 也将问世，具体性能还未知，图表暗示了会是指数级增长。
多家超算中心将部署 GH200 超算节点
除去 H200 芯片本身，英伟达此次还发布了由其组成的一系列集群商品。
第一是HGX H200平台，它是将 8 块 H200 搭载到 HGX 载板上，总显存达到了 1.1TB，8 位浮点运算速度超越 32P（10^15 ) FLOPS，与 H100 数据一致。
HGX 用了英伟达的 NVlink 和 NVSwitch 高速互联技术，可以以最高性能运行各种应用负载，包含 175B 大模型的练习和推理。
HGX 板的独立性质使其可以插入适合的主机系统，从而允许用户定制其高档服务器的非 GPU 部分。
下面是Quad GH200 超算节点它由 4 个 GH200 组成，而 GH200 是 H200 与 Grace CPU 组合而成的。
Quad GH200 节点将提供 288 Arm CPU 内核和总计 2.3TB 的高速内存。
通过很多超算节点的组合，H200 最后将构成庞大的超级计算机，一些超级计算中心已经宣布正在向其超算设施中集成 GH200 系统。
据英伟达官宣，德国尤利希超级计算中心将在Jupiter 超级计算机用 GH200 超级芯片，包括的 GH200 节点数目达到了 24000 块，功率为 18.2 兆瓦，等于每小时消耗 18000 多度电。
该系统计划于 2024 年安装，一旦上线，Jupiter 将成为迄今为止宣布的最大的基于 Hopper 的超级计算机。
Jupiter 大约将拥有 93 ( 10^18 ) FLOPS 的 人工智能 算力、1E FLOPS 的 FP64 运算速率、1.2PB 每秒的带宽，与 10.9PB 的 LPDDR5X 和另外 2.2PB 的 HBM3 内存。
除去 Jupiter，日本先进高性能计算联合中心、德克萨斯高级计算中心、伊利诺伊大学香槟分校国家超级计算应用中心等超算中心也纷纷宣布将用 GH200 对其超算设施进行更新升级。
那样，人工智能 从业者都有什么尝鲜渠道可以体验到 GH200 呢？
上线之后，GH200 将可以通过 Lambda、Vultr 等特定云服务提供商进行抢先体验，Oracle 和 CoreWeave 也宣布了明年提供 GH200 实例的计划，亚马逊、Google云、Microsoft Azure 同样也将成为首批部署 GH200 实例的云服务提供商。
英伟达自己，也会通过其 NVIDIA LaunchPad 平台提供对 GH200 的访问。
硬件制造商方面，华硕、技嘉等厂家计划将于今年年底开始销售搭载 GH200 的服务器设施。
参考链接：
[ 1 ] https://www.youtube.com/watch?v=6g0v3tMK2LU
[ 2 ] https://www.nvidia.com/en-gb/data-center/h200/
[ 3 ] https://www.anandtech.com/show/21136/nvidia-at-sc23-h200-accelerator-with-hbm3e-and-jupiter-supercomputer-for-2024
