NVIDIA Vera Rubin 平台

NVIDIA Vera Rubin 平台

形塑新世代 AI。

概覽

引領代理 AI 的時代

NVIDIA Vera Rubin 平台專為代理 AI 與推理時代而打造,經過精心設計,是大規模分步驟解決問題及超長語境工作流程的利器。透過突破 Vera Rubin 平台通訊與記憶體移動的關鍵瓶頸,推論能力大幅提升,每瓦特可處理更多 Token,且相較於 NVIDIA Blackwell 世代,降低單一 Token 成本。

NVIDIA 以 Rubin 為新一代 AI 揭開序幕

這個尖端平台讓主流應用更普及,採用五項劃時代的推理與代理 AI 模型技術,大幅降低單一 Token 成本。

NVIDIA Vera Rubin 引領新一代 AI 發展

NVIDIA Vera Rubin 平台正開啟 AI 的下個新領域,七款全新晶片現已全面量產,用於擴展全球最大的 AI 工廠。

深入瞭解技術突破

Transformer Engine

Rubin GPU 採用新款 Transformer Engine,運用硬體加速的自適應壓縮技術,能在保持準確性的同時提升 NVFP4 的效能,進而實現高達 50 petaFLOPS 的 NVFP4 推論算力。Transformer Engine 與 NVIDIA Blackwell 完全相容,確保升級順暢無礙,因此先前最佳化的程式碼可輕鬆轉移至 Vera Rubin 平台。

第三代機密運算

第三代 NVIDIA 機密運算採用 NVIDIA Vera Rubin NVL72,將安全機制延伸至全機架規模。這個平台在全部 36 顆 NVIDIA Vera CPU、72 顆 NVIDIA Rubin GPU,以及無縫連接兩者的 NVIDIA NVLink™ 網狀架構上,打造可信賴的統一執行環境。這個平台跨 CPU、GPU 與 NVLink 維護資料安全性。該平台透過認證服務實現加密的合規性證明,兼具超大規模與極致防護,保護全球最大的專有模型、訓練資料與推論工作負載。

第六代 NVLink 與 NVLink 交換器

第六代 NVLink 將 72 顆 NVIDIA Rubin GPU 整合至單一效能域,為 NVIDIA 高速 GPU 互連網狀架構帶來重大的躍進。Rubin GPU 的效能是 NVIDIA Blackwell 的兩倍,每顆 GPU 提供每秒 3.6 TB/s 的頻寬,以及 260 TB/s 的低延遲連線能力,通訊速度更快。這種新一代互連技術結合 NVIDIA® Scalable Hierarchical Aggregation and Reduction Protocol (SHARP)™ 技術,將集體運算的網路擁塞量最多降低 50%,大規模加速全球最大型模型的訓練與推論,而且效能絲毫不打折扣。

第二代可靠性、可用性與維修性 (RAS) 引擎

NVIDIA Vera Rubin 平台實現機架級韌性,兼具先進的可靠性功能。NVIDIA Rubin GPU 採用專用的第二代 RAS 引擎,可實現主動式維護並在無需停機的情況下進行即時健全狀態檢查,而 NVIDIA Vera CPU 則透過小型壓縮附加記憶體模組 (SOCAMM) LPDDR5X 與 CPU 核心的系統內測試,強化了系統的可維護性。這款機架採用模組化無纜線托盤設計,組裝和維修速度是 NVIDIA Blackwell 的 18 倍,結合智慧韌性和軟體定義的 NVLink 路由,確保運作不間斷並降低維護負擔。

NVIDIA Vera CPU

NVIDIA Vera CPU 專為加速系統的資料移動與代理推理而設計,並支援完整的機密運算。它可與 NVIDIA GPU 無縫配合,也可獨立運作,支援分析、雲端、協調、儲存與高效能運算 (HPC) 工作負載。Vera 採用 88 顆 NVIDIA 設計的核心,最高 1.2 TB/s 的 LPDDR5X 記憶體頻寬,搭配 NVIDIA Scalable Coherency Fabric,為資料密集型與記憶體密集型工作負載實現可預測的節能效能,而且與 Arm® 完全相容。整合式 NVIDIA NVLink®-C2C 連線能力實現了高頻寬的一致性 CPU–GPU 記憶體存取,將系統使用率與效率最大化。

探索 NVIDIA Vera Rubin 產品

NVIDIA Vera Rubin NVL72

NVIDIA Vera Rubin NVL72 整合 72 顆 NVIDIA Rubin GPU、36 顆 NVIDIA Vera CPU、NVIDIA ConnectX®-9 SuperNIC™,以及 NVIDIA BlueField®-4 DPU,並與資料中心中的 NVIDIA LPX 機櫃共同部署,可實現快速且低延遲的推論。它採用第六代 NVLink 與 NVLink 交換器,可在機架級平台垂直擴充智慧,並透過 NVIDIA Quantum-X800 InfiniBand 與 NVIDIA Spectrum-X™ 乙太網路橫向擴充,大規模驅動 AI 產業革命。

NVIDIA Groq 3 LPX

NVIDIA Groq 3 LPX 是一款 AI 推論加速器,專為代理 AI 所需的大量上下文與低延遲需求而設計。透過深度協同設計,LPX 與 NVIDIA Rubin GPU 搭配,消除了速度與規模之間的權衡取捨。憑藉 128 GB SRAM、40 PB/s 記憶體頻寬,以及每機櫃 640 TB/s 的頻寬擴展,Groq 3 LPX 大幅提升了 Vera Rubin 平台的推論效能。

NVIDIA DGX Vera Rubin NVL72

NVIDIA DGX Vera Rubin NVL72 為企業提供可立即部署的全包式 AI 基礎架構解決方案,搭載專為大規模部署打造的 NVIDIA Vera Rubin 平台,加速最複雜的 AI 模型。

NVIDIA HGX Rubin NVL8

NVIDIA HGX™ Rubin NVL8 整合八顆 NVIDIA Rubin GPU 與第六代高速 NVLink 互連技術,帶動資料中心邁向加速運算與生成式 AI 的新時代。

NVIDIA DGX Rubin NVL8

NVIDIA DGX Rubin NVL8 是一款液冷式 AI 系統,採用八顆 NVIDIA Rubin GPU 和第六代 NVLink 支援,專為加速每個 AI 工作負載的訓練、推論及後期訓練而打造。

深入探索 NVIDIA Vera Rubin 平台

閱讀這份技術深入解析,瞭解 NVIDIA Vera Rubin 如何將資料中心而非單一晶片視為運算單位,為高效安全且可預測的方式大規模生成智慧奠定基礎。