NVIDIA H200 Tensor Core GPU 具有改變游戲規則的性能和內存功能，可增強生成式 AI 和高性能計算 (HPC) 工作負載。作為首款采用 HBM3e 的 GPU，H200 更大更快的內存可加速生成式 AI 和大型語言模型 (LLM)，同時推進 HPC 工作負載的科學計算。
1.9倍 速度提高
1.6倍 速度提高
110倍 速度提高
NVIDIA H200基于NVIDIA Hopper 架構，是首款以每秒 4.8 兆兆字節 (TB/s) 的速度提供 141 GB HBM3e 內存的 GPU，幾乎是 NVIDIA?H100 Tensor Core GPU容量的兩倍（1.4 倍）更多內存帶寬。H200 更大更快的內存可加速生成式 AI 和法學碩士，同時以更高的能效和更低的總擁有成本推進 HPC 工作負載的科學計算。
初步測量的性能，可能會有變化。
Llama2 13B: ISL 128, OSL 2K | Throughput | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPUs BS 64 | x8 H200 GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32.
在不斷發展的人工智能領域，企業依靠法學碩士來滿足各種推理需求。當為大量用戶群大規模部署時，人工智能推理加速器必須以最低的 TCO 提供最高的吞吐量。
在處理 Llama2 等 LLM 時，H200 的推理速度比 H100 GPU 提高了 2 倍。
內存帶寬對于 HPC 應用程序至關重要，因為它可以實現更快的數據傳輸，減少復雜的處理瓶頸。對于模擬、科學研究和人工智能等內存密集型 HPC 應用，H200 更高的內存帶寬可確保高效地訪問和操作數據，與 CPU 相比，獲得結果的時間最多可加快 110 倍。
預計性能可能會發生變化。
HPC MILC- dataset NERSC Apex Medium | HGX H200 4-GPU | dual Sapphire Rapids 8480
HPC Apps- CP2K: dataset H2O-32-RI-dRPA-96points | GROMACS: dataset STMV | ICON: dataset r2b5 | MILC: dataset NERSC Apex Medium | Chroma: dataset HMC Medium | Quantum Espresso: dataset AUSURF112 | 1x H100 | 1x H200.
單節點 HGX 實測性能 |?A100 2021 年 4 月 |?H100 TensorRT-LLM 2023 年 10 月 |?H200 TensorRT-LLM 2023 年 10 月
NVIDIA Hopper 架構比其前身實現了前所未有的性能飛躍，并通過 H100 的持續軟件增強（包括最近發布的NVIDIA TensorRT-LLM?等強大的開源庫）繼續提高標準。
H200 的推出延續了這一勢頭，提供了更多性能。對其進行投資可確保現在的性能領先，并且通過對支持的軟件的持續改進，確保未來的性能領先。
NVIDIA AI Enterprise 與 NVIDIA H200 一起簡化了 AI 就緒平臺的構建，加速了生產就緒的生成式 AI、計算機視覺、語音 AI 等的 AI 開發和部署。它們共同提供企業級安全性、可管理性、穩定性和支持，以更快地收集可行的見解并更快地實現有形的業務價值。
| 構成因素 | H200 SXM1 |
|---|---|
| FP64 | 34 萬億次浮點運算 |
| FP64 Tensor Core | 67 萬億次浮點運算 |
| FP32 | 67 萬億次浮點運算 |
| TF32 Tensor Core | 989 萬億次浮點運算2 |
| BFLOAT16 Tensor Core | 1,979 TFLOPS2 |
| FP16 Tensor Core | 1,979 TFLOPS2 |
| FP8 Tensor Core | 3,958 TFLOPS2 |
| INT8 Tensor Core | 3,958 TFLOPS2 |
| 顯存 | 141GB |
| GPU顯存帶寬 | 4.8TB/s |
| 解碼器 | 7 NVDEC 7 JPEG |
| 最大熱設計功率 (TDP) | Up to 700W (configurable) |
| 多實例 GPU | Up to 7 MIGs @16.5GB each |
| Form Factor | SXM |
| Interconnect | NVIDIA NVLink?: 900GB/s PCIe Gen5: 128GB/s |
| Server Options | NVIDIA HGX? H200 partner and NVIDIA-Certified Systems? with 4 or 8 GPUs |
| NVIDIA AI Enterprise | Add-on |
|
1初步規格?？赡軙凶兓?。 |
|
