Charu Chaubal – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Tue, 17 Jun 2025 09:15:30 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NIM 安全部署 AI 模型 http://www.open-lab.net/zh-cn/blog/securely-deploy-ai-models-with-nvidia-nim/ Wed, 11 Jun 2025 09:12:36 +0000 http://www.open-lab.net/zh-cn/blog/?p=14306 Continued]]> 想象一下，您正在領導大型企業的安全工作，并且您的團隊渴望將 AI 用于越來越多的項目。不過，這是一個問題。與任何項目一樣，您必須平衡創新的前景和回報與合規性、風險管理和安全態勢要求等嚴峻現實。 安全領導者在評估 AI 模型 (例如為代理式 AI 或檢索增強生成 (RAG) 提供支持的 AI 模型) 時面臨著一個關鍵挑戰：如何在提供這些前沿創新的同時保持對其基礎設施和數據的完全控制。 這正是 NVIDIA NIM 微服務和 NVIDIA AI Enterprise 的用武之地。借助隨 NVIDIA AI Enterprise 許可證提供的 NIM 微服務，企業能夠根據自己的條件部署生成式 AI，同時保持對開源模型的安全性、信任和控制。NVIDIA AI Enterprise 提供了一種選擇：您可以在本地、私有云甚至空氣間隙環境中安全地運行 AI 工作負載。

Source

]]> 14306 NVIDIA AI Enterprise 助力 AI 智能體安全升級和簡化部署 http://www.open-lab.net/zh-cn/blog/enhanced-security-and-streamlined-deployment-of-ai-agents-with-nvidia-ai-enterprise/ Tue, 29 Oct 2024 05:27:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=11779 Continued]]> AI 智能體逐漸成為企業組織提高效率、提高生產力和加速創新的新方式。這些智能體比之前的 AI 應用更為先進，能夠自動推理任務、調用其他工具，以及整合企業數據和員工知識，以產生寶貴的業務成果。它們被嵌入到根據每個企業組織的需求定制的應用中。 NVIDIA AI Enterprise 的最新版本包括多項新功能，有助于提升 AI 代理的安全性、穩定性和易部署性。 新推出的 NVIDIA NIM Operator 可簡化用于在 Kubernetes 上部署 AI 工作流的 NIM 微服務 的部署和管理。NIM Operator 可自動部署 AI 工作流，并借助智能模型預緩存等功能增強性能，降低初始推理延遲，并加快自動擴展速度。 您可以根據 CPU、GPU 或 NIM 特定的指標（例如 NIM 最大請求、KVcache 等）選擇自動擴展。

Source

]]> 11779 加速 AI 開發： NVIDIA AI Workbench 正式發布 http://www.open-lab.net/zh-cn/blog/speed-up-your-ai-development-nvidia-ai-workbench-goes-ga/ Thu, 21 Mar 2024 09:21:41 +0000 http://www.open-lab.net/zh-cn/blog/?p=9491 Continued]]> NVIDIA AI Workbench 是面向 AI 和 ML 開發者的工具包。現在已正式推出 免費下載。它具有自動化功能，可為新手開發者消除障礙，并提高專家的工作效率。 無論技能水平如何，開發者都可以體驗快速可靠的 GPU 環境設置，以及跨異構平臺工作、管理和協作的自由。購買 NVIDIA AI Enterprise 許可證的客戶還可以獲得企業級支持。 AI 工作臺的主要功能包括： 自測試版發布以來，AI Workbench 還具有幾個新的關鍵功能： 生成式 AI 已呈爆炸式增長。AI Workbench 可以在數以億計的現代 NVIDIA RTX 驅動的工作站和 PC 上，或在數據中心和云中使用統一接口，將生成式 AI 開發引入任何 GPU 支持的環境。Mac 用戶可以安裝 AI Workbench，并將項目遷移到 NVIDIA 驅動的系統中，

Source

]]> 9491 NVIDIA 認證的人工智能、視頻和數據分析性能的下一代計算平臺 http://www.open-lab.net/zh-cn/blog/nvidia-certified-next-generation-computing-platforms-for-ai-video-and-data-analytics-performance/ Wed, 22 Mar 2023 06:02:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=6517 Continued]]> GPU – accelerated computing 的業務應用程序將在未來幾年大幅擴展。增長最快的趨勢之一是使用生成人工智能來創建類似人類的文本和所有類型的圖像。 推動市場對生成人工智能興趣激增的是 transformer models 等技術，這些技術將人工智能帶入日常應用，從對話文本到蛋白質結構生成。可視化和 3D 計算也迅速引起人們的興趣，特別是在工業模擬和協作領域。 隨著 Apache Spark 等核心應用程序的加速， GPU 有望成為數據分析、商業智能和機器學習效率和成本節約的重要驅動力。最后，在智能空間和工業自動化擴張的推動下，邊緣的人工智能推理部署是企業增長最快的領域之一。 旨在解決這些日益復雜的計算需求的新一代計算技術正在出現。這包括 NVIDIA 的新 GPU 體系結構，以及 AMD 、 Intel 和 NVIDIA 新 CPU 。

Source

]]> 6517 使用 NVIDIA GPU Operator 與 Kubernetes 協調加速虛擬機 http://www.open-lab.net/zh-cn/blog/orchestrating-accelerated-virtual-machines-with-kubernetes-using-nvidia-gpu-operator/ Mon, 31 Oct 2022 05:55:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5575 Continued]]> 如今，許多組織在容器中運行應用程序，以利用基于 Kubernetes 的云原生平臺提供的強大編排和管理。然而，虛擬機仍然是企業的主要數據中心基礎設施平臺，并不是所有應用程序都可以輕松修改為在容器中運行。例如，需要較舊操作系統、自定義內核模塊或專用硬件的應用程序需要更多的精力來進行容器化。 KubeVirt 和 OpenShift 虛擬化是 Kubernetes 的附加組件，提供虛擬機（ VM ）管理。這些解決方案消除了為 VM 和容器工作負載管理單獨集群的需要。 KubeVirt 是一個社區支持的開源項目，它也是 Red Hat 的 OpenShift 虛擬化功能的上游項目。 多年來， NVIDIA GPU 一直在加速虛擬化的應用程序， NVIDI 還創建了技術，支持 Kubernetes 管理的容器的 GPU 加速。 NVIDIA GPU Operator 的最新版本增加了對…

Source

]]> 5575 使用 Arm CPU 為 NVIDIA 認證企業系統供電 http://www.open-lab.net/zh-cn/blog/powering-nvidia-certified-enterprise-systems-with-arm-cpus/ Wed, 28 Sep 2022 08:19:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5375 Continued]]> 組織在人工智能的使用方面正迅速變得更加先進，許多組織正在尋求利用最新技術來最大限度地提高工作負載性能和效率。當今最流行的趨勢之一是使用基于 Arm 體系結構的 CPU 構建數據中心服務器。 為了確保這些新系統為企業準備并進行最佳配置， NVIDIA 批準了第一個具有 Arm CPU 和 NVIDIA GPU 的 NVIDIA -Certified systems 。這篇文章介紹了 NVIDIA 認證的 Arm 系統的優點，以及客戶在不久的將來會看到什么。 基于手臂的系統在邊緣應用中很常見。它們已經被大型云服務提供商廣泛使用，并開始在數據中心應用程序中變得越來越流行。根據 Gartner ®的數據，到 2025 年， 高性能計算 （ HPC ） 12% 的新服務器將基于 Arm 。1. 基于 Arm 體系結構的系統能夠以高能效運行多個內核，同時具有高內存帶寬和低延遲。

Source

]]> 5375 使用經 NVIDIA 認證的系統優化企業 IT 工作負載 http://www.open-lab.net/zh-cn/blog/optimizing-enterprise-it-workloads-with-nvidia-certified-systems/ Thu, 12 May 2022 05:39:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4007 Continued]]> GPU 加速的工作負載在所有行業都蓬勃發展，從使用人工智能來更好地參與客戶和進行業務預測的數據分析，到實現更快產品創新的高級可視化。 GPU 加速基礎設施的最大挑戰之一是選擇正確的硬件系統。雖然業務線關心性能和使用大量開發人員工具和框架的能力，但企業 IT 團隊還關心管理和安全等因素。 NVIDIA-Certified Systems 項目的創建是為了滿足這兩個群體的需求。配備 NVIDIA GPU 和網絡適配器的領先系統制造商的系統經過了嚴格的測試過程。如果服務器或工作站滿足一系列 GPU 加速應用程序的性能和可擴展性的特定標準，以及安全和管理功能的適當功能，則該服務器或工作站將被標記為 NVIDIA 認證。 每個候選系統的認證測試由系統制造商在其實驗室進行， NVIDIA 與每個合作伙伴合作，幫助他們確定最佳通過配置。 NVIDIA 研究了許多服務器型號的數百個結果，

Source

]]> 4007 選擇服務器進行深度學習推理 http://www.open-lab.net/zh-cn/blog/choosing-a-server-for-deep-learning-inference/ Thu, 12 May 2022 05:32:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4003 Continued]]> 推理是機器學習生命周期的重要組成部分 并在訓練模型后發生。這是一個企業從他們的人工智能投資中實現價值的時候。人工智能的常見應用包括圖像分類（“這是一張腫瘤圖像”）、推薦（“這是一部你喜歡的電影”）、將語音音頻轉錄成文本，以及決策（“將汽車轉向左側”）。 深度學習培訓系統 需要大量的計算能力，但人工智能模型經過培訓后，在生產中運行它所需的資源就更少了。在確定推理工作負載的系統需求時，最重要的因素是正在運行的模型和部署位置。這篇文章討論了這些領域，特別關注邊緣的人工智能推理。 要幫助確定最佳推理部署配置，請使用以下工具： NVIDIA Triton Model Analyzer 根據正在運行的特定 AI 模型提出建議。像 NVIDIA TensorRT 這樣的推理編譯器可以通過優化模型，使其以最高吞吐量和最低延遲運行，同時保持準確性，從而減少推理的資源需求。

Source

]]> 4003 為深度學習培訓選擇服務器 http://www.open-lab.net/zh-cn/blog/choosing-a-server-for-deep-learning-training/ Tue, 05 Apr 2022 08:40:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3554 Continued]]> 深度學習已經成為執行許多人工智能任務的最常見的神經網絡實現。數據科學家使用 TensorFlow 和 PyTorch 等軟件框架來開發和運行 DL 算法。 到目前為止，已經有很多關于深度學習的文章，你可以從許多來源找到更詳細的信息。有關良好的高層總結，請參見 人工智能、機器學習和深度學習之間有什么區別？ 開始深度學習的一種流行方式是在云中運行這些框架。然而，隨著企業開始增長和成熟其人工智能專業技能，他們會尋找在自己的數據中心運行這些框架的方法，以避免基于云的人工智能的成本和其他挑戰。 在本文中，我將討論如何為 深度學習培訓 選擇企業服務器。我回顧了這個獨特工作負載的具體計算需求，然后討論了如何通過組件配置的最佳選擇來滿足這些需求。 深度學習培訓通常被設計為數據處理管道。必須首先根據數據格式、大小和其他因素準備原始輸入數據。 數據通常也會經過預處理，

Source

]]> 3554 用 NVIDIA H100 CNX 構建 AI 培訓的主流服務器和 5G http://www.open-lab.net/zh-cn/blog/build-mainstream-servers-for-ai-training-and-5g-with-the-nvidia-h100-cnx/ Wed, 30 Mar 2022 04:03:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=3499 Continued]]> 人們對能夠以更快的速度將數據從網絡傳輸到 GPU 的服務器的需求不斷增加。隨著人工智能模型不斷變大，訓練所需的數據量需要多節點訓練等技術才能在合理的時間范圍內取得成果。 5G 的信號處理比前幾代更復雜， GPU 可以幫助提高這種情況發生的速度。機器人或傳感器等設備也開始使用 5G 與邊緣服務器通信，以實現基于人工智能的決策和行動。 專門構建的人工智能系統，比如最近發布的 NVIDIA DGX H100 ，是專門為支持數據中心用例的這些需求而設計的。現在，另一種新產品可以幫助企業獲得更快的數據傳輸和更高的邊緣設備性能，但不需要高端或定制系統。 NVIDIA 首席執行官 Jensen Huang 上周在 NVIDIA 公司 GTC 宣布， NVIDIA H100 CNX 是一個高性能的企業包。它結合了 NVIDIA H100 的能力與 NVIDIA ConnectX-7…

Source

]]> 3499 人人超碰97caoporen国产