• <xmp id="om0om">
  • <table id="om0om"><noscript id="om0om"></noscript></table>
  • 數據中心/云端

    聚焦:借助 VDI 加速 AI

    AI 初創公司的關鍵在于了解現有工具和資源的潛力。從小型項目開始您的 AI 之旅,采用“爬行、行走、運行”的方法,在擴展到生產之前先學習早期成功經驗。

    根據德勤的一項調查 ,83% 的受訪者表示他們的公司已經從人工智能項目中獲得了中等(53%)或顯著(30%)的經濟效益。要取得成功,選擇一個既靈活又安全的預生產環境至關重要,以便跟上迅速發展的技術。

    虛擬桌面基礎架構(Virtual Desktop Infrastructure,VDI)使 IT 團隊能夠為遠程工作者提供桌面和應用程序虛擬化,使他們能夠開展日常業務運營。雖然 VDI 已經誕生了十多年,但 GPU 技術的進步已發展為支持實時渲染和虛擬現實等尖端應用程序的能力。

    GPU 架構 虛擬 GPU 軟件 方面的突破使 VDI 成為公司啟動 AI 項目的理想切入點,為開發和部署提供了一系列引人注目的優勢組合。

    借助 VDI 實現 AI?

    從您的數據中心構建 AI 虛擬工作站有三個基本要素:

    • Tensor Core GPU :配備 Tensor Core 的 NVIDIA L4 0S 、NVIDIA L4 和 NVIDIA A10 等數據中心 GPU 可以顯著提高生成式 AI 性能。最新一代的 Tensor Core 可將萬億參數生成式 AI 模型的訓練速度提高 4 倍 ,將推理性能提高 30 倍。
    • NVIDIA vGPU 軟件 :NVIDIA RTX 虛擬工作站 (vWS),是 NVIDIA vGPU 軟件版本的一部分,利用 NVIDIA RTX 技術來提高計算能力。該軟件通過在多個虛擬機 (VM) 之間劃分 GPU 資源,或將多個 GPU 分配給單個 VM,從而提高 IT 管理能力,并集中應用程序和數據。
    • AI vWS 工具包 :針對不同用例,AI vWS 工具包提供快速入門指南、演練演示、部署指南和配置指南等參考信息,適用于 IT 和 AI 開發者。這些工具包包括 NVIDIA 開發者工具,如 NVIDIA AI Workbench NVIDIA Developer Program ,以及對 NVIDIA NIM for Developer 的訪問權限等,幫助您快速開發、自定義和微調 AI 項目,并將其集成到業務應用中。
    A diagram shows AI vWS Toolkits above a monitor with the label "powered by NVIDIA RTX Virtual Workstation." Below the workstation are three GPU icons, labeled as NVIDIA L40/L40S, NVIDIA L4, and NVIDIA A10.
    圖 1.AI 虛擬工作站概述

    AI 虛擬工作站的優勢?

    使用現有的虛擬桌面基礎設施(VDI)來構建 AI 虛擬工作站可為組織的 AI 工作帶來以下優勢:

    • 經濟高效的實施:使用 NVIDIA GPUs 和 NVIDIA RTX Virtual Workstation 可立即在通常支持生產力和圖形應用程序的虛擬化基礎設施上實現 AI 工作負載。IT 可以在同一平臺內快速為數據科學家和開發者啟動虛擬機,從而消除對新基礎設施和驗證的需求。
    • 靈活性和可管理性:與傳統企業應用不同,AI 應用隨著模型大小的增加而迅速發展。NVIDIA vGPU 軟件使 IT 能夠將 GPU 劃分為多個 vGPU,并即時調整 VM 框架緩沖區。支持不同用戶類型(高級用戶和知識工作者)或不同框架緩沖區(0.5-48 GB)在單個 GPU 上的能力可最大限度地提高 GPU 利用率。IT 可以集中基礎設施管理,并將 VDI 的范圍擴展到整個工作人員。
    • 數據和安全性: VDI 可改善組織的整體安全性和災難防護措施,同時確保設計、數據和知識產權集中存儲在數據中心。將 AI 與 VDI 集成可避免 AI 孤島,并確保遵守可見性、安全性和治理方面的 IT 標準,使 AI 更接近數據。
    • 順利過渡到生產:在預生產項目或概念驗證驗證 AI 有效性后,過渡到生產需要企業級穩定性、安全性和支持。像 NVIDIA AI Enterprise 這樣的生產就緒型解決方案有助于實現這種無縫進步。

    經過驗證的性能,可加速 AI?

    NVIDIA RTX 虛擬工作站(vWS)可從數據中心實現 NVIDIA RTX 技術和 GPU 加速,從而實現出色的 AI 開發,使其成為開始 AI 之旅的組織的理想切入點。

    圖 2 顯示,在測試 Llama-3-8B 模型以在 NVIDIA vWS 上構建 RAG 應用時,最新的 NVIDIA Ada Lovelace 架構 GPU L40S 可提供比 NVIDIA Turing 架構 GPU 高出 2 倍以上的加速。

    A horizontal bar chart shows GPU acceleration in tokens per second among various GPUs, including NVIDIA T4 (20 tokens/sec), L4 (37 tokens/sec), A10 (48 tokens/sec), and L40S (63 tokens/sec).
    圖 2. NVIDIA vWS 上 RAG 應用程序的 GPU 加速比較

    根據同一測試,圖 3 通過測量 GPU 共享對不同 GPU 分區選項 (從完整 GPU 到 L40S GPU 的一半和三分之一) 的總體吞吐量的影響,顯示了 vGPU 可擴展性性能。

    與直通相比,虛擬化 GPU 的總吞吐量明顯更高,因為它們能夠在多個虛擬機之間高效地共享資源。

    A bar chart shows vGPU scalability across 1VM, 2VMs, and 3VMs.
    圖 3. vGPU 可擴展性的總吞吐量比

    通過使用 NVIDIA vGPU 技術,您的組織可以動態地將 GPU 資源分配給各種工作負載,從而最大限度地提高利用率并最小化空閑時間。這增強了需要密集加速處理的人工智能開發,同時還能隨著需求的波動而提高可擴展性。

    開始您的 AI 開發?

    借助現有資源,GPU 助力的虛擬桌面架構集敏捷性和靈活性于一身,這對于以可管理的規模采用人工智能(AI) 的公司至關重要。其最低的升級成本可確保您的組織可以投資人工智能(AI) 計劃,而不會過度承受財務壓力,同時保持運營效率和安全性。

    有關更多信息,請參閱以下資源:

    NVIDIA RTX 虛擬工作站也在 各大 CSP 市場 上市,可立即使用。

    ?

    0

    標簽

    人人超碰97caoporen国产