技術演示 – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 12 Dec 2024 04:08:29 +0000
zh-CN
hourly
1
196178272 -
NVIDIA GB200 NVL72 提供萬億參數 LLM 訓練和實時推理
http://www.open-lab.net/zh-cn/blog/nvidia-gb200-nvl72-delivers-trillion-parameter-llm-training-and-real-time-inference/
Mon, 18 Mar 2024 07:00:33 +0000
http://www.open-lab.net/zh-cn/blog/?p=9393
Continued]]>
對萬億參數模型的興趣是什么？我們知道當今的許多用例，并且由于有望提高以下方面的能力，人們的興趣正在增加： 其優勢是巨大的，但訓練和部署大型模型的計算成本高昂且需要大量資源。旨在提供實時推理的計算高效、經濟高效且節能的系統對于廣泛部署至關重要。新的 NVIDIA GB200 NVL72 就是這樣一個系統，可以完成這項任務。 為了說明這一點，我們考慮一下多專家模型 (MoE).這些模型有助于在多個專家之間分配計算負載，并使用模型并行和管道并行跨數千個 GPU 進行訓練。提高系統效率。 然而，并行計算、高速顯存和高性能通信的新水平可以使 GPU 集群能夠應對棘手的技術挑戰。 NVIDIA GB200 NVL72 機架級架構實現了這一目標，我們將在以下博文中詳細介紹。 核心 GB200 NVL72 是 NVIDIA GB200 Grace Blackwell 超級芯片。
Source
]]>
9393
人人超碰97caoporen国产