• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • AI 平臺/部署

    宣布推出適用于基準測試 AI 云基礎設施的 NVIDIA 示例云

    長期以來,在云端訓練 大語言模型 (LLMs) 和部署 AI 工作負載的開發者和企業一直面臨著一項根本性挑戰:幾乎不可能提前知道云平臺是否能夠提供其應用所需的性能、可靠性和成本效益。在這種情況下,理論峰值性能與實際現實結果之間的差異通常是進度與挫折之間的差異。

    由于缺乏透明的 基準測試實踐 、云提供商之間的結果和性能不一致,以及沒有明確的標準,團隊往往無法在關鍵的基礎設施決策中做出決策。“良好”性能的真正含義是什么?如何比較各種云?您如何知道自己得到了回報?是否應該考慮可靠性?

    今天,NVIDIA 正通過推出 NVIDIA Exemplar Clouds 來應對這些挑戰。這項新計劃旨在從 NVIDIA 云合作伙伴 (NCP) 生態系統開始,為 AI 云基礎設施領域帶來透明度、嚴謹性和再現性。

    NCP 是專門的云提供商,他們圍繞最新的 NVIDIA GPU 架構、軟件堆棧和最佳實踐構建自己的平臺。到目前為止,還沒有標準化或公開的方式來驗證這些平臺是否針對現實世界的 AI 工作負載進行了調整,或是否表現出開發者生產力所需的彈性。NVIDIA Exemplar Clouds 通過引入框架來評估提供商的實際性能和彈性,而不僅僅是理論規格,從而解決了這一問題。

    NVIDIA Exemplar Clouds 的優勢

    借助 NVIDIA 示例云,每個參與的云提供商都會接受全面的評估流程,以反映現實世界的客戶需求和卓越運營。要想獲得 Exemplar 地位,NCP 需要在一套特定于工作負載的開放式 基準測試方案 中展示高性能和彈性,這些基準測試方案涵蓋推理、微調和擴展預訓練等工作負載。其結果是透明的蘋果到蘋果對比,使客戶能夠根據性能和 TCO 做出明智的決策。

    NVIDIA 還通過 NVIDIA DGX 云基準測試 (NVIDIA Exemplar Clouds 計劃標準的一部分) 分享 基準測試方法和結果 。提供這種工作負載逐個工作負載的透明度,使開發者、研究人員和企業能夠讓提供商承擔責任,并滿懷信心地優化自己的部署。這種方法還使 NCP 能夠根據清晰、可操作的反饋不斷改進其平臺。

    圖 1 比較了使用 FP8 和 BF16 訓練模型的總成本和總時間,如 NVIDIA DGX 云 Benchmarking Performance Explorer 所示。有關更多詳細信息,請參閱 使用 NVIDIA DGX 云基準測試衡量和改進 AI 工作負載性能

    Chart comparing ideal linear scaling to observed scaling for Llama 3.1 70B training across different GPU counts. The observed scaling line closely follows the ideal linear scaling line, demonstrating efficient parallelization.
    圖 1。使用 FP8 訓練模型的總成本和總時間與 BF16 的比較,如 NVIDIA DGX Cloud Benchmarking Performance Explorer 所示

    除了創建評估框架外,NVIDIA 還將與 NCP 合作,帶來其軟件、工具和流程套件,從而獲得樣板資格。該框架將評估真正的工作負載性能、彈性、用戶訪問、安全性等。

    聚焦:Yotta?

    NVIDIA 很高興地宣布, Yotta 是首家加入 NVIDIA Exemplar Clouds 計劃的亞太地區云提供商。作為印度的 AI 云提供商,Yotta 已證明能夠在一系列要求嚴苛的 AI 工作負載中提供一致的高性能結果。

    在接下來的幾個月里,NVIDIA 團隊將與 Yotta 在用戶體驗、性能和彈性方面開展合作。借助 NVIDIA Exemplar Clouds 計劃,Yotta 的客戶現在可以訪問詳細的基準測試數據,確切了解其基礎設施在每個用例中的性能,并確信其工作負載將按預期運行,無需猜測,也不會出現意外。

    NVIDIA 團隊計劃在未來幾個月內與 Yotta 密切合作,對工作負載性能、彈性、安全性和其他推動 AI 用戶體驗的方面進行基準測試。

    開始使用?

    NVIDIA 示例云實現了世界級 AI 基礎設施的普及。主權 AI 計劃需要新的透明度和性能標準,我們正在幫助整個行業更快發展。示例云可幫助每個用戶,無論其地理位置或規模如何,都可以放心地構建和部署 AI。如果您正在構建任務關鍵型 AI,并希望優化 AI 工作負載,請開始探索 NVIDIA DGX 云基準測試

    如需了解更多信息,請與 NVIDIA 創始人兼首席執行官 Jensen Huang 一起參加 COMPUTEX 2025 主題演講 ,并在 COMPUTEX 2025 上 參加 GTC Taipei 分會 ,時間截止至 5 月 23 日。

    0

    標簽

    人人超碰97caoporen国产