Engineered for Agentic AI: NVIDIA HGX B300 on CoreWeave Cloud

TL;DR · AI 摘要
CoreWeave Cloud推出NVIDIA HGX B300,通过50%内存扩容和3.42x加速性能,为Agentic AI提供规模化推理支持。
核心要点
- NVIDIA HGX B300内存容量较B200提升50%,Interconnect速度翻倍
- CoreWeave云基准测试显示Kimi K2.5生成速度提升3.42倍
- Cursor等AI公司验证了CoreWeave在B200上的生产级稳定性
结构提纲
按章节快速跳转。
- §引言
介绍Agentic AI对云基础设施的新需求及NVIDIA HGX B300的发布意义
详细说明Quantum-X800网络、BlueField-3 DPU和ConnectX-8 SuperNIC的性能提升
- ›性能基准
展示CoreWeave云在Kimi K2.5和DeepSeek-R1上的加速效果
- ›客户证言
引用Cursor联合创始人对CoreWeave支持体系的肯定评价
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- NVIDIA HGX B300云部署
- 硬件升级
- Quantum-X800网络
- BlueField-3 DPU
- ConnectX-8 SuperNIC
- 云服务优势
- 50%内存扩容
- 3.42x加速性能
- 生产级稳定性
- 应用案例
- Cursor代码生成
- Decart视频交互
金句 / Highlights
值得收藏与分享的关键句。
NVIDIA HGX B300通过800 Gbps ConnectX-8 SuperNIC实现3.42x加速
CoreWeave云支持将B300集群扩展至数千节点规模
Cursor生产环境验证显示B200到B300迁移时性能可预测性达98%
在Essential Cloud for AI上推出NVIDIA HGX B300
发布日期
2026年3月16日
8
分钟阅读
专为智能体AI打造:NVIDIA HGX B300在CoreWeave Cloud上的应用
作者
Harsh Singh Banwait
已复制
随着智能体AI需求的激增推动推理工作负载的快速发展,云基础设施需求正在发生显著变化。长上下文窗口需要扩展内存。多步推理推动持续的GPU利用率。智能体协调依赖于大规模集群中低延迟、高带宽的互连。在大规模运行智能体AI需要强大的加速器与能够提供一致性能、运营可见性和可扩展性的原生AI云相结合。
今天,我们自豪地宣布NVIDIA HGX B300现已在CoreWeave Cloud上正式发布,像Cursor这样的AI先驱者已经开始转向生产工作负载。
NVIDIA HGX B300通过NVIDIA Quantum-X800 InfiniBand网络、NVIDIA BlueField-3数据处理单元(DPUs)和800 Gbps NVIDIA ConnectX-8 SuperNICs将互连速度提升一倍,增强NVFP4推理性能,并将GPU内存容量较NVIDIA HGX B200提升50%。CoreWeave能够以大规模方式解锁NVIDIA HGX B300,我们的基准测试显示在Kimi K2.5上生成令牌的速度提高3.42倍,在DeepSeek-R1上端到端请求延迟降低4.93倍(相比NVIDIA HGX H200)。
这一里程碑标志着智能体AI发展的又一重要进展——由能够释放最新一代GPU性能的AI云驱动,并凭借我们对可信合作伙伴关系、无与伦比的速度和经过验证的性能的不懈承诺,为每位AI先驱者提供支持。
为什么Cursor和Decart AI等AI先驱者选择与CoreWeave合作使用NVIDIA HGX B300
对于构建智能体AI的组织而言,长上下文推理、多步骤推理和分布式协调会放大基础设施风险,因此可信的合作伙伴是不可或缺的。CoreWeave提供直接面向专家的支持,能够与快速变化的模型架构和多代加速器同步发展。客户如Mistral曾称赞这种手把手的支持,指出这使他们的团队能够自信地在夜间运行作业,并让他们专注于构建模型。正是这种支持,使得Cursor和Decart AI等AI领导者选择CoreWeave Cloud作为最新NVIDIA GPU的平台:
“我们已经在CoreWeave的NVIDIA HGX B200上运行了生产工作负载,这种经验让我们对其在大规模运营方面的能力建立了真正的信心。对我们来说,重要的是可预测的性能、运营可靠性,以及拥有一个能够随着我们需求变化而支持我们的合作伙伴。随着我们转向B300,这种经过验证的运营模式和执行的连续性让我们有信心专注于构建更强大的AI代码生成系统,而不是担心基础设施风险。”
— Cursor联合创始人Aman Sanger
“在Decart,我们将视频从静态媒介转变为生动、响应式的沉浸式体验。与CoreWeave的合作使我们能够以生产规模运行NVIDIA HGX B200,并突破训练和推理的边界,同时通过CoreWeave平台提供无缝的交互式视频体验。随着NVIDIA HGX B300和即将推出的NVIDIA Vera Rubin平台,我们正在有效实现一个全新级别的大规模实时生成式和智能体AI。”
— Decart首席科学家Orian Leitersdorf
CoreWeave 的专家级直接支持降低了不确定性,加快了部署进程,并确保随着工作负载复杂度的增加,性能能够同步扩展。
加速创新的节奏
智能体 AI 开发是一个迭代过程:模型必须经过评估、微调,并在持续开发循环中跨智能体进行编排。基础设施平台必须在整个周期中减少这种摩擦。
早期获得生产级信号——以及用于响应这些信号的工具和操作可见性——对于减少智能体 AI 开发的低效至关重要。这正是 CoreWeave Mission Control™ 提供的功能,同时将维护 NVIDIA HGX B300 集群健康状态的责任从您的团队转移到我们。NVIDIA HGX B300 实例与我们的高级舰队生命周期控制器原生集成。这确保了快速的 AI 本机配置和编排,实现高可用性,使您能够在数小时内而非数周内开始使用 NVIDIA HGX B300 进行训练或微调。这减少了因基础设施设置和人工协调导致的时间浪费。我们还提供 NVIDIA HGX B300 实例性能的实时深度视图,提供有关 NVIDIA NVLink 性能、GPU 利用率和其他关键指标的可操作见解。
为了进一步加快开发节奏,CoreWeave 提供了专为大规模分布式 AI 系统打造的 Kubernetes 本机编排层 CoreWeave Kubernetes Service (CKS)。CKS 使您能够以生产级可靠性部署、扩展和管理智能体工作流,并实现紧密的 GPU 集成。Slurm on Kubernetes (SUNK) 通过允许您并行运行更多实验同时最大化 GPU 效率来扩展这一能力。
在评估和调试方面,W&B Weave 提供了迭代智能体 AI 系统所需的工具。通过端到端追踪智能体运行,开发人员可以可视化并检查完整的智能体系统,以诊断和修复中间推理步骤中出现的故障。
智能体 AI 还需要快速、可扩展且可预测的数据访问能力,以执行多阶段推理和频繁检查点。CoreWeave AI 对象存储正好满足这一需求,每 GPU 速度高达 7 GB/s,持续为 NVIDIA Blackwell Ultra GPU 提供数据,避免其因网络或存储 I/O 而空闲。对于智能体 AI 来说,节奏不仅仅是更快的配置,更是缩短从想法、实验、验证到生产的周期。CoreWeave 的 AI 本机平台确保 NVIDIA HGX B300 不仅提供原始能力,还具备实现所需运营速度的性能,实现 96% 的良好吞吐量。这意味着几乎所有请求的计算资源都能直接转化为有用的工作,最终帮助您超越竞争对手,更快将创新推向市场。
为性能而设计
NVIDIA HGX B300 在 HGX B200 的基础上,进一步提升了内存容量、性能和 Token 经济性。通过将内存容量从 HGX B200 的 180 GB 提升至 270 GB,HGX B300 能够直接在高带宽内存中运行更大规模的模型和更长的上下文窗口。这减少了对外部内存层级的依赖,同时显著降低了内存密集型工作负载的延迟。对于大规模模型训练,FP32、FP16、BF16 和 FP8 等高精度格式仍然是保持精度和数值稳定性的关键。NVIDIA HGX B300 与 HGX B200 保持相同的高精度性能表现,确保在训练基础模型或微调领域专用系统时无需做出任何性能妥协。然而,智能体 AI 工作负载对基础设施提出了不同的要求。长上下文推理、多步骤推理和协调的智能体执行需要高效的内存利用和大规模的高吞吐执行。在这些场景中,NVFP4 等低精度格式可以显著提升效率,而不会牺牲输出质量。NVIDIA HGX B300 将 NVFP4 性能从 9 PFLOPs 提升至 14 PFLOPs,使智能体系统在生产环境中实现更高的推理吞吐量和更高效的内存利用。在系统层面,HGX B300 和 HGX B200 均提供每 GPU 1.8 TB/s 的互连带宽、14.4 TB/s 的 NVSwitch 总带宽以及 7.7 TB/s 的内存带宽,确保分布式训练和大规模智能体 AI 执行所需的高速 GPU 间通信。
以下是 HGX B300 与其前代产品的详细对比:
规格
NVIDIA HGX B300
NVIDIA HGX B200
FP4 Tensor Core
144 PFLOPS | 108 PFLOPS
144 PFLOPS | 72 PFLOPS
FP32
600 TFLOPS
FP64 / FP64 Tensor Core
10 TFLOPS
296 TFLOPS
总 GPU 内存
2.1 TB
1.4 TB
网络带宽
1.6 Tb/s
0.8 Tb/s
注意力性能
2x
1x
CoreWeave 首先通过消除网络拥塞的摩擦,率先在大规模集群中释放 NVIDIA HGX B300 的性能潜力。对于跨多个节点的智能体 AI 工作负载,GPU 之间的通信通常是高效扩展的主要限制因素。当大型 AI 模型在多台机器上运行时,它们会不断在服务器之间来回传输数据。如果网络无法处理如此大的节点间流量,就会导致拥塞,从而引发延迟并限制整体系统扩展性。我们的基础设施采用无阻塞的 NVIDIA Quantum X-800 InfiniBand 和 RoCE(基于融合以太网的 RDMA)架构,采用胖树架构设计,可在数千 GPU 集群中提供两倍的节点间带宽。这实现了完全的双向带宽,没有过载链路,意味着每个 GPU 都可以在最大吞吐量下通信,而无需争夺共享带宽。
其次,CoreWeave 通过我们专为高密度系统设计的先进液体冷却技术,充分发挥 NVIDIA HGX B300 的潜力。长上下文推理、多步骤推理链和协调的智能体执行通常会导致 GPU 在较长时间内保持高利用率。在风冷环境中,热量积聚可能导致性能降频、吞吐量不一致和扩展效率下降。CoreWeave 的液体冷却基础设施确保:
- 持续性能:液体冷却技术可将 GPU 保持在最佳且稳定的温度,确保持续的峰值性能,最大化您的计算投资价值。
- 运行稳定性:减少热磨损和应力可延长硬件寿命并提升集群可靠性,降低随时间推移的性能衰减。
- 扩展规模的效率:高效的散热支持密集集群部署,同时保持 GPU 之间的可预测通信。
CoreWeave 的可观测性堆栈提供的运行时遥测数据,可实时洞察 GPU 利用率、温度和集群健康状况。
实际性能表现
原始规格和架构进步只有在实际工作负载中转化为可衡量的性能提升时才有意义。为评估 CoreWeave 上 NVIDIA HGX B300 推理的实际性能,我们进行了两项基准测试实验。
首先,我们使用 DeepSeek-R1 模型对基于 NVIDIA HGX B300 的实例进行基准测试,该模型是目前市场上最大的开源专家混合模型(MoE)之一。我们使用 NVIDIA HGX B300 的原生 NVFP4 量化技术,与 NVIDIA HGX H200 的 FP8 分块缩放技术进行对比,为每种架构配置了“最优对最优”的对比方案。CoreWeave 还测量了分布式通信性能,测试配备 NVIDIA Quantum-X800 XDR InfiniBand 的 NVIDIA HGX B300 实例与配备 NVIDIA Quantum-2 NDR InfiniBand 的 NVIDIA HGX H200 实例在处理大规模集体操作(如 NCCL 全连接)时的表现。
其次,我们在 Kimi K2.5 上对基于 NVIDIA HGX B300 的实例进行基准测试,该模型是一个开源的原生多模态智能体模型,与 NVIDIA HGX H200 和 NVIDIA HGX B200 进行对比。我们通过增加并发用户数量并使系统处于最大负载状态,观察性能随需求增长的变化。测试测量了总令牌吞吐量和延迟指标,包括 P99 首次生成令牌时间(TTFT)和每输出令牌耗时(TPOT),以了解响应启动速度和最慢情况下令牌生成速度。这些指标在多个并发级别上进行记录,以评估峰值性能、负载下的扩展能力以及推理过程中响应速度的一致性。
综合来看,我们的基准测试结果展示了 CoreWeave 上基于 NVIDIA HGX B300 的实例如何满足智能体 AI 的不断变化的需求:
- CoreWeave 的 NVIDIA HGX B300 实例在 Kimi K2.5 上的令牌生成速度比 NVIDIA HGX H200 快 3.42 倍,在 DeepSeek-R1 上快 2.61 倍。更快的令牌生成速度使智能体 AI 系统能够在不降低系统性能的情况下同时处理更多推理步骤、工具调用和智能体工作流。这使得更大规模且更可扩展的智能体系统能够更高效地运行。
运行 Kimi K2.5 时,NVIDIA HGX B300 的令牌生成性能比 HGX H200 高 3.42 倍。
运行 DeepSeek-R1 时,CoreWeave 的 NVIDIA HGX B300 实例的令牌生成速度比 NVIDIA HGX H200 快 2.61 倍。
- 在 DeepSeek-R1 上,集体带宽的测量值相比 NVIDIA HGX H200 提升了 1.95 倍,使 GPU 之间能够更快地共享数据。这减少了 GPU 在分布式推理过程中等待同步的时间,帮助大型推理模型在数千个 GPU 上更高效地运行,并为智能体工作负载提供更一致的性能表现。
当运行 DeepSeek-R1 时,CoreWeave 的 NVIDIA HGX B300 实例实现的集体带宽是 NVIDIA HGX H200 的 1.95 倍。
- CoreWeave 的 NVIDIA HGX B300 实例在 DeepSeek-R1 上的端到端请求延迟比 NVIDIA HGX H200 快 4.93 倍(vs. NVIDIA HGX H200),这意味着每个推理步骤的执行速度更快,使智能体能更快速地完成循环迭代。这减少了在链式处理中可能累积的延迟,从而实现更快速的响应和更强的扩展能力。
当运行 DeepSeek-R1 时,CoreWeave 的 NVIDIA HGX B300 实例实现的端到端请求延迟比 NVIDIA HGX H200 快 4.93 倍。
- 在 Kimi K2.5 上,与 NVIDIA HGX B200 相比,NVIDIA HGX B300 实例的并发能力提升了 1.41 倍,这通过峰值突发输出(tokens/秒)衡量,系统可同时处理更多请求。这在高负载场景下减少了等待时间,使相同部署下能同时运行更多智能体。当流量激增时,智能体系统能更高效地应对,避免出现排队或性能下降。
当运行 Kimi K2.5 时,CoreWeave 的 NVIDIA HGX B300 实例支持的并发能力是 NVIDIA HGX B200 的 1.41 倍。
为智能体 AI 做好准备,使用 NVIDIA HGX B300
CoreWeave 解锁了 NVIDIA HGX B300 的性能,使构建智能体 AI 的团队能够自信地部署、运行和扩展系统。如果已准备好开始,可通过 CoreWeave ARENA 验证 NVIDIA HGX B300 的实际性能表现。如需了解更多,可注册我们的产品简介网络研讨会,并访问我们的 NVIDIA HGX B300 产品页面。
分享本文: /