从 Volta 到 Rubin：NVIDIA 数据中心 GPU 如何重塑 AI 基础设施

从 Tensor Core、HBM 和 NVLink，到机柜级 AI Factory：GPU 的代际升级，表面是算力与显存升级，本质是对 AI 工作负载、集群通信和数据中心运营成本的持续重构。

如果让你为一家 AI 公司采购 1,000 张 GPU，你真正要买的是什么？

答案不是 1,000 块插进服务器就能工作的加速卡，而是一套彼此咬合的系统：服务器要装得下，网络要跑得满，存储要供得上，供电要扛得住，冷却要压得住热量，软件平台还要让训练任务稳定地跨越数百乃至数千块 GPU。

少了其中任何一环，昂贵的 GPU 都可能变成机房里“最贵的等待队列”。

这正是理解 NVIDIA 数据中心 GPU 演进的关键。大模型的瓶颈早已不只是芯片能做多少次浮点运算，还包括模型是否装得下、数据是否送得进、GPU 之间是否跟得上，以及每生成一个 Token 究竟要花多少钱。NVIDIA 的竞争对象也不只是 AMD 等芯片厂商，还包括云厂商的自研加速器、各种专用 AI 芯片，以及客户有限的基础设施预算。

从 Volta 到 Rubin，NVIDIA 的产品重心因此不断上移：

从一张更快的卡，到一台更强的服务器，再到一个能够持续生产 Token 的机柜和 AI Factory。

这篇文章不会把 GPU 写成一串令人眼花缭乱的 FLOPS 参数，而是回答一个更重要的问题：为什么它们必须这样演进？

一、先建立共同语言：看懂 GPU 的五个关键维度

比较 GPU，最容易掉进“峰值算力越高，实际性能越好”的陷阱。真实 AI 系统的速度，通常由计算、显存、通信、软件和数据中心运营五个维度共同决定。

1. 计算：Tensor Core 为什么是分水岭

CUDA Core 是通用并行计算单元，适合向量、标量和控制逻辑等多类运算；Tensor Core 则专门加速矩阵乘加。Transformer 中的注意力与前馈网络，本质上包含大量矩阵乘法，因此 Tensor Core 与现代 AI 工作负载天然契合。

过去十年，主流 AI 精度一路从 FP32 走向 FP16、BF16、FP8，再到 FP4。位宽越低，同样的晶体管、显存和带宽通常可以处理更多数据，但动态范围和数值精度也会下降。

所以，低精度并不等于“粗制滥造”，而是把精度用在最需要的地方：矩阵乘法可以采用低精度，累加、归一化或敏感层保留较高精度，再通过缩放、校准和混合精度策略控制误差。真正的突破不是硬件“支持 FP8”，而是软硬件能否让开发者安全地用上 FP8。

2. 显存：装得下，常常比算得快更重要

显存容量决定单卡能容纳多少模型权重、梯度、优化器状态、中间激活和 KV Cache；显存带宽决定数据能否持续送进计算单元。

以推理为例，权重不是唯一的显存消费者。上下文越长、并发请求越多，KV Cache 越可能成为主角。此时，一块理论算力更强但显存较小的卡，未必比一块大显存卡更划算。

HBM（High Bandwidth Memory）把多层 DRAM 堆叠在 GPU 附近，通过超宽接口提供远高于普通内存的带宽。但 HBM 也意味着更复杂的封装、更紧张的供应链和更高的整卡成本。它不是 GPU 旁边的配角，而是决定产品交付、系统设计和商业毛利的关键变量。

3. 通信：一块卡很快，不代表一千块卡也快

单卡工作负载只需关心本地计算和显存；单机多卡开始依赖 GPU 间互联；跨节点训练还要经过网卡、交换机和网络协议。

可以把它们理解为不同范围的道路：

模型规模越大，张量并行、流水线并行、数据并行产生的同步与数据交换越多。计算速度翻倍，如果通信时间不变，新增算力就会被等待吞掉。衡量大集群时，扩展效率往往比单卡峰值更诚实。

4. 软件：纸面性能怎样变成业务性能

CUDA 提供编程与运行时基础，cuDNN 加速深度学习基础算子，NCCL 负责多 GPU 集合通信，TensorRT 与 TensorRT-LLM 面向推理优化；在它们之上，PyTorch、JAX、Megatron-LM、vLLM 等框架和引擎把硬件能力交给应用。

同样的 GPU，因为框架版本、算子融合、批处理策略、并行方式或量化方案不同，最终吞吐可能相差数倍。采购时看到的是芯片，投产时面对的却是整个软件栈。

这也是 NVIDIA 最深的护城河之一：客户迁移的不只是代码，还有模型验证流程、性能调优经验、监控体系和工程师知识结构。

5. 数据中心运营：TDP 背后是一整套工程

功耗不只影响电费。它还决定每个机柜需要多少供电、母线如何设计、UPS 与变电容量是否足够，以及热量能否及时带走。

当高密度 AI 机柜进入百千瓦级别，传统风冷的空间和效率会快速逼近边界，液冷开始从“高级配置”变成部署条件。与此同时，一次链路抖动、一块 GPU 故障或一个通信进程挂起，都可能让大规模同步训练整体停摆。

因此，从“卡已到货”到“集群持续稳定输出”，中间横跨服务器集成、网络、存储、调度、可观测性和运维体系。这道鸿沟，往往比采购本身更难。

二、一张表看全局：从 Volta 到 Rubin

接下来，每一代都沿着同一个问题展开：当时遇到了什么瓶颈，NVIDIA 做了什么技术选择，它又改变了怎样的部署方式？

三、Volta：让 GPU 从“能训练 AI”变成“为 AI 而生”

2017 年前后，卷积神经网络和深度学习快速增长。GPU 已经证明自己比 CPU 更适合并行训练，但通用计算单元执行密集矩阵运算的效率仍然有限。

Volta 的答案是第一代 Tensor Core。V100 将 CUDA Core 与 640 个 Tensor Core 放进同一架构，以 FP16 执行矩阵乘法、以 FP32 累加结果，让混合精度训练从研究技巧走向工程实践。配合 16GB 或 32GB HBM2，以及最高 300GB/s 的 NVLink，多 GPU 服务器第一次拥有了清晰的 AI 计算形态。相关规格可见 NVIDIA V100 官方资料。

Volta 真正改变的不是某个基准测试，而是开发者的认知：专用矩阵计算单元能够在可接受的精度下显著提高训练吞吐。GPU 由“也可以拿来训练神经网络”，变成 AI 训练的核心平台；CUDA、cuDNN、NCCL 等软件也围绕混合精度和分布式训练继续成熟。

但 V100 仍属于以服务器为中心的时代。模型继续增长后，16GB/32GB 显存很快捉襟见肘，多节点通信和资源利用率也成为新问题。Tensor Core 的价值已被验证，下一步是让 AI 算力真正进入生产环境。

四、Ampere：A100 为什么成为一个时代的标准配置

到了 2020 年，AI 开始从实验室走进云平台和企业生产系统。训练、推理、推荐、视觉和科学计算共享同一批昂贵资源，客户需要的不再是一张只在特定任务上跑得快的卡，而是一块容易迁移、容易切分、容易规模化运营的“基础设施积木”。

A100 的第一个关键选择是 TF32。它保留 FP32 的输入输出和动态范围，在 Tensor Core 执行矩阵运算时采用更短的尾数，并以 FP32 累加。很多原有 FP32 训练无需大改代码就能获得 Tensor Core 加速，显著降低了迁移门槛。NVIDIA 对 TF32 的技术说明特别强调：TF32 是计算模式，而不是一种用于存储数据的新类型。

第二个关键选择是 MIG（Multi-Instance GPU）。一块 A100 可以被划分为最多 7 个硬件隔离实例，各自拥有计算、显存和带宽资源。对云厂商和平台团队而言，这比峰值算力更有运营价值：小模型推理、Notebook 和开发任务不必各自独占整卡，资源可以按需售卖和调度。A100 官方页面同时列出了 MIG、80GB HBM2e 和第三代 NVLink 等能力。

第三个选择是兼顾多种工作负载。A100 没有只押注一种模型，它覆盖 AI 训练、推理、数据分析和 HPC；结构化稀疏在满足条件时还能提高有效吞吐。再加上主流框架、容器、云实例和运维工具迅速跟进，采购、部署、调度和排障经验开始可以复制。

A100 的成功，不只因为它性能领先，更因为它让 AI 算力第一次具备了接近标准 IT 基础设施的可交付性。

这也是为什么多年之后，A100 仍在大量生产环境中服役：最新不等于最经济，成熟的软件兼容性、稳定的供应和已经折旧的硬件，本身就是竞争力。

五、Hopper：大语言模型改变了 GPU 的设计目标

Hopper 发布时，Transformer 已经成为大模型的核心架构。参数量、训练数据量和上下文长度同步增长；推理也从离线批处理，走向实时交互、长上下文和高并发。

过去那种“把所有神经网络都加速一点”的思路已经不够。GPU 必须围绕 Transformer 的数据流重新优化。

H100 引入 FP8 与 Transformer Engine。FP8 可以提高矩阵乘法吞吐、减少数据移动，但不同张量的数值范围并不相同。Transformer Engine 会在关键运算中管理精度、缩放和格式，让低精度带来的速度与训练稳定性不再完全依赖人工调参。官方 Transformer Engine 文档将其定位为加速 Transformer 训练和推理的软件库。

Hopper 同时采用第四代 NVLink。八块 H100 组成的 DGX H100 中，每块 GPU 可获得 900GB/s 的 GPU 间连接带宽，系统以 FP8 提供 32 PFLOPS 的 AI 计算能力，参见 DGX H100 发布资料。这说明产品目标已经不只是单卡快，而是让多卡像一个更大的计算单元协同工作。

H200 则揭示了另一个事实：在 LLM 时代，显存本身就是性能。它没有用“全新架构”吸引注意力，而是把容量提升到 141GB HBM3e、带宽提升到 4.8TB/s，具体规格见 NVIDIA H200 官方页面。更大的模型分片、更长的上下文和更多 KV Cache 可以留在本地，GPU 也就少花时间等待跨卡数据。

把技术能力翻译成业务语言，会更容易理解这一代的价值：

但 Hopper 也把基础设施压力推到了台前。H100 SXM 的功耗达到 700W，单机与机柜密度明显上升；网络拓扑、集合通信、调度策略和故障恢复都会影响实际利用率。

“拿到 H100”只是拥有了性能的可能性，并不等于获得了 H100 的性能。

六、Blackwell：从 GPU 产品迈向 AI Factory

Blackwell 最值得关注的不是 B200 比 H100 快多少，而是 NVIDIA 开始用机柜来定义产品。

在芯片侧，Blackwell 由两个大尺寸计算裸片通过 10TB/s 片间互联组成一个逻辑 GPU，并通过第二代 Transformer Engine 支持 FP4 等更低精度。更低位宽意味着同样的显存能放入更多权重、同样的带宽能传输更多数据，但最终收益仍取决于模型量化、校准和软件支持，而不是把 FP4 峰值直接当成业务吞吐。

在系统侧，第五代 NVLink 将高速互联域从传统服务器进一步扩展。GB200 NVL72 把 36 颗 Grace CPU 和 72 颗 Blackwell GPU 放进一个液冷机柜，通过 NVLink Switch 形成一个 72 GPU 域。NVIDIA Blackwell 架构页面给出的关键信息不是“72 张卡”，而是 GPU、CPU、互联、软件、供电和冷却被共同设计。

这就是 NVIDIA 所说的 AI Factory：

• 输入是数据、电力、模型和开发者需求；
• 生产过程是预训练、微调、评估、推理与持续迭代；
• 输出不再是一份静态计算结果，而是 Token、智能服务和业务自动化能力；
• 运营指标不是理论峰值，而是稳定产出的 Token 数、可用性和单位 Token 成本。

这个比喻并非营销包装那么简单。传统数据中心主要托管相对独立的应用，AI Factory 则让海量加速器以同步、通信密集的方式持续运行。它更像一条不能随意停机的生产线：一个组件设计不当，可能拖慢整个系统。

对企业而言，采购模式由“买多少块卡”变成“规划多大规模的算力平台”。网络、液冷、供电和机房空间必须前置；平台团队也要同时负责资源调度、模型服务、容量预测、成本归集和故障域设计。GPU 采购因此从设备预算，升级为资本、能源与组织能力的综合决策。

七、Rubin：下一代竞争已经从路线图走向交付

需要先划清信息边界：在 2024—2025 年讨论 Rubin，适合把它写成路线图；但截至 2026 年 7 月，NVIDIA 已经公布了更明确的平台信息。

根据 NVIDIA 2026 年 1 月的官方发布，Vera Rubin 平台由 Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU 和 Spectrum-6 Ethernet Switch 协同组成，合作伙伴产品计划在 2026 年下半年提供。3 月，NVIDIA 又宣布相关芯片进入量产，并把 Groq 3 LPU 纳入可配置平台，参见 GTC 2026 新闻稿。

这意味着 Rubin 的重点依然不是孤立的 GPU 参数，而是跨六类乃至更多芯片的协同设计。面向 Agent 工作负载，推理不再只是一次短促的前向计算：模型需要长上下文、多轮工具调用、反复推理和持续访问外部状态。计算、KV Cache、网络、存储与故障恢复会更加紧密。

因此，判断 Rubin 是否成功，不妨盯住四个问题：

1. 低精度计算能否在更多模型上稳定兑现，而不只是提高峰值数字？
2. 新的内存与上下文存储层次能否缓解长上下文和 Agent 推理的瓶颈？
3. NVLink 6 与新一代网络能否提高超大集群的通信效率和故障韧性？
4. 在功耗、液冷和数据中心建设成本约束下，单位 Token 经济性是否真正改善？

已发布规格和出货计划属于事实；NVIDIA 公布的相对性能与成本降幅属于厂商口径；大规模真实业务中的可用性、良率、交付节奏与 TCO，则仍需要客户部署和第三方数据验证。对工程团队而言，后一类证据往往比发布会数字更重要。

八、贯穿五代架构的三条演进主线

回看 Volta、Ampere、Hopper、Blackwell 和 Rubin，表面上是五代产品，背后其实只有三条不断加强的主线。

1. 从更高精度，走向更高效的精度

FP32 → FP16/BF16 → FP8 → FP4，不是为了让数字变小，而是为了用更少的计算、显存和带宽完成同样的模型目标。

低精度是 AI 规模化的经济基础，但它从来不是免费的午餐。硬件格式、缩放策略、混合精度、量化校准、算子实现与模型质量评估缺一不可。未来的竞争不是“谁的位宽最低”，而是谁能让更多工作负载安全、透明地使用低精度。

2. 从单卡性能，走向集群通信效率

模型装不进单卡后，数据移动就与计算同样重要。并行策略决定通信量，拓扑决定通信路径，NCCL 和网络栈决定传输效率，作业调度又决定高性能链路是否被合理使用。

因此，真实集群利用率不是 nvidia-smi 上某一刻的 100%，而是在足够长的周期内，有多少昂贵资源真正用于有效计算。规模越大，任何 1% 的等待、失败和重试都会被放大成可观成本。

3. 从芯片销售，走向系统与生态交付

V100 让 Tensor Core 被行业接受，A100 让 GPU 变得像标准云资源，H100 围绕 Transformer 优化，Blackwell 和 Rubin 则把 CPU、GPU、网络、DPU、存储、液冷与软件包装成完整平台。

NVIDIA 的壁垒因而不只是一颗芯片，而是一组相互增强的迁移成本：CUDA 代码、框架优化、网络设备、服务器设计、运维流程、人才和开发者社区。对客户来说，这套系统既能降低交付风险，也可能加深供应商绑定。选型时，两面都要计算。

九、给技术团队的选型与运营建议

理解架构历史的最终目的，不是背下 V100、A100、H100、B200 的顺序，而是做出更好的投资与运营决策。

1. 训练集群：不要只测单卡速度

训练选型至少要同时评估：

• 模型权重、激活、梯度与优化器状态需要多少显存；
• HBM 带宽能否匹配算子的数据访问强度；
• 张量、流水线和数据并行会产生多少通信；
• 目标框架、算子和混合精度是否成熟；
• 从 8 卡扩展到 64、256 或更多 GPU 时，效率如何衰减；
• 检查点写入、故障恢复和作业排队会浪费多少时间。

真正有意义的指标是有效训练吞吐、扩展效率、作业完成时间、排队时间和单位训练成本，而不是单张卡在理想条件下的 TFLOPS。

2. 推理平台：围绕 SLO 和单位 Token 成本设计

推理需要同时看首 Token 延迟（TTFT）、逐 Token 延迟（TPOT）、每秒 Token 数、并发、KV Cache 命中与占用，以及 P95/P99 尾延迟。

最新 GPU 未必适合所有服务。大模型、长上下文和高并发可能需要 H200、Blackwell 等大显存平台；小模型、Embedding、批处理或低流量业务，使用 A100、L4 或其他推理加速器可能更经济。合理做法是按模型规模与服务等级分层部署，而不是让所有请求争抢最贵的资源池。

量化同样应以业务验收为准：不仅测吞吐，还要回归任务准确率、幻觉率、工具调用成功率和长上下文质量。节省 40% 成本却让关键任务成功率下降，通常不是优化。

3. 平台运营与 FinOps：把“利用率”拆开看

建议至少建立以下指标：

• GPU SM 利用率、显存容量与带宽利用率；
• 队列时长、启动时间、作业成功率和重试率；
• 训练中的计算/通信重叠比例与集群扩展效率；
• 推理的 TTFT、TPOT、吞吐、批大小与 KV Cache 占用；
• 按团队、项目、模型和环境归集的 GPU 小时与 Token 成本；
• 电力、冷却、网络、机房和运维摊销后的总体拥有成本。

再通过资源池化、弹性调度、MIG 或其他切分能力，以及新旧 GPU 混合分层来提高利用率。不要只追求“卡一直很忙”，还要确认它忙的是有效工作，而不是数据等待、失败重算或低价值任务。

一个实用的 TCO 思路是：

单位有效产出成本
=（硬件折旧 + 电力 + 冷却 + 网络 + 机房 + 软件 + 运维 + 故障损失）
 ÷（满足质量与 SLO 的有效 Token 或有效训练样本）

这个公式解释了为什么一块采购价更高的 GPU 可能更便宜，也解释了为什么性能最强的 GPU 有时反而不是最佳选择。

十、结语：真正的竞争单位，已经是 AI 基础设施

从 Volta 的第一代 Tensor Core，到 Ampere 的标准化与资源切分；从 Hopper 针对 Transformer 的精度和显存重构，到 Blackwell、Rubin 的机柜级协同，NVIDIA 数据中心 GPU 的演进讲述的是同一个故事：

当单点计算越来越强，决定胜负的就不再是单点，而是整个系统。

AI 竞争不仅发生在模型层，也发生在计算、显存、网络、存储、能源、散热和运营能力的每一个环节。未来真正稀缺的，不只是 GPU，而是把 GPU 持续、稳定、低成本地转化为智能产出的能力。

换句话说，企业最终采购的不是几千张卡。

它们采购的是一座能够生产 Token 的工厂，以及运营这座工厂的能力。

延伸阅读

• NVIDIA Volta 架构与 V100
• NVIDIA A100 Tensor Core GPU
• NVIDIA Hopper 架构发布
• NVIDIA Blackwell 架构
• NVIDIA Vera Rubin 平台发布