Azure – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 14 May 2025 05:30:10 +0000 zh-CN hourly 1 196178272 在 Azure AI Foundry 上使用 NVIDIA NIM 加速 AI 推理 http://www.open-lab.net/zh-cn/blog/accelerated-ai-inference-with-nvidia-nim-on-azure-ai-foundry/ Mon, 12 May 2025 05:22:02 +0000 http://www.open-lab.net/zh-cn/blog/?p=13799 Continued]]> 將 NVIDIA NIM 微服務 集成到 Azure AI Foundry ，標志著企業 AI 開發的重大飛躍。通過將 NIM 微服務與 Azure 可擴展的安全基礎架構相結合，企業組織現在可以比以往更高效地部署功能強大的即用型 AI 模型。 NIM 微服務容器化，可為預訓練和自定義 AI 模型提供 GPU 加速推理。NIM 微服務集成了 NVIDIA 和更廣泛的社區的領先推理技術，可為 NVIDIA 加速基礎設施上的最新 AI 模型提供優化的響應延遲和吞吐量。 開發者可以通過符合每個領域行業標準的 API 訪問 AI 模型，從而簡化 AI 應用的開發。NIM 支持跨多個領域和一系列 AI 模型的 AI 用例，包括社區模型、NVIDIA AI Foundation 模型和 NVIDIA 合作伙伴提供的自定義 AI 模型。其中包括語音、圖像、視頻、3D、藥物研發、

Source

]]> 13799 借助 NVIDIA TensorRT-LLM 提升 Microsoft Azure AI Foundry 的 Llama 模型性能 http://www.open-lab.net/zh-cn/blog/boost-llama-model-performance-on-microsoft-azure-ai-foundry-with-nvidia-tensorrt-llm/ Thu, 20 Mar 2025 08:16:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=13245 Continued]]> 微軟與 NVIDIA 合作，宣布在其 Azure AI Foundry 平臺上實現 Meta Llama 系列模型的變革性性能提升。這些進步由 NVIDIA TensorRT-LLM 優化提供支持，在保持模型輸出質量的同時，顯著提高了吞吐量、降低了延遲并提高了成本效益。 通過這些改進，Azure AI Foundry 客戶可以實現顯著的吞吐量提升：在模型目錄中的無服務器部署 (Model-as-a-Service) 產品中，Llama 3.3 70B 和 Llama 3.1 70B 模型的吞吐量提高 45%，Llama 3.1 8B 模型的吞吐量提高 34%。 更快的令牌生成速度和更低的延遲使聊天機器人、虛擬助理和自動化客戶支持等實時應用程序的響應速度更快、效率更高。這轉化為更好的價格-性能比率，顯著降低了由 LLM 驅動的應用的每個 token 的成本。

Source

]]> 13245 利用 NVIDIA AI 企業在 Azure 機器學習上的力量 http://www.open-lab.net/zh-cn/blog/harnessing-the-power-of-nvidia-ai-enterprise-on-azure-machine-learning/ Fri, 02 Jun 2023 07:08:18 +0000 http://www.open-lab.net/zh-cn/blog/?p=7171 Continued]]> 人工智能正在改變行業，實現流程自動化，并在快速發展的技術格局中為創新開辟新的機會。隨著越來越多的企業認識到將人工智能融入運營的價值，他們面臨著高效、有效和可靠地實施這些技術的挑戰 NVIDIA AI Enterprise 是一個綜合軟件套件，旨在幫助組織大規模實施企業級 AI 、機器學習（ ML ）和數據分析，并提供安全性、可靠性、 API 穩定性和企業級支持。 部署人工智能解決方案可能很復雜，需要專門的硬件和軟件，以及開發和維護這些系統的專業知識。 NVIDIA AI Enterprise 通過提供針對企業環境量身定制的工具、庫、框架和支持服務的完整生態系統來應對這些挑戰 憑借 GPU – 加速計算能力， NVIDIA AI Enterprise 使企業能夠更高效、更經濟高效地大規模運行人工智能工作負載。 NVIDIA AI Enterprise 建立在…

Source

]]> 7171 使用 NVIDIA TAO 工具包和 Azure 機器學習創建自定義 AI 模型 http://www.open-lab.net/zh-cn/blog/creating-custom-ai-models-using-nvidia-tao-toolkit-with-azure-machine-learning/ Tue, 13 Dec 2022 06:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5946 Continued]]> 目前，人工智能應用程序的構建和部署方式正在發生根本性轉變。人工智能應用越來越復雜，并應用于更廣泛的用例。這需要端到端的人工智能生命周期管理，從數據準備到模型開發和培訓，再到人工智能應用程序的部署和管理。這種方法可以降低前期成本，提高可擴展性，并降低客戶使用 AI 應用程序的風險。 雖然云原生的應用程序開發方法對開發人員很有吸引力，但機器學習（ ML ）項目是出了名的時間密集型和成本密集型項目，因為它們需要一個擁有多種技能的團隊來構建和維護。 這篇文章解釋了如何使用 NVIDIA TAO Toolkit 加速視覺 AI 模型開發，并將其部署到 NVIDIA Triton Inference Server 中進行推理，所有這些都在 Azure 機器學習（ Azure ML ）平臺上。 NVIDIA Triton 推理服務器是一款開源推理服務軟件，

Source

]]> 5946 使用 Microsoft Azure Stack HCI 和 NVIDIA BlueField DPU 加速企業應用程序 http://www.open-lab.net/zh-cn/blog/accelerate-enterprise-apps-with-microsoft-azure-stack-hci-and-nvidia-bluefield-dpus/ Thu, 10 Nov 2022 07:09:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5678 Continued]]> 隨著企業不斷將工作負載轉移到云，一些應用程序需要留在本地，以最大限度地提高延遲性能，并滿足安全性、數據主權和法規遵從性策略。 Microsoft Azure Stack HCI 是作為 Azure 服務提供的超融合基礎架構（ HCI ）堆棧。 Azure Stack HCI 提供內置的安全性和可管理性，非常適合在核心和邊緣數據中心運行生產工作負載和云原生應用程序。 NVIDIA BlueField data processing unit （ DPU ）是一個加速的數據中心基礎設施平臺，可釋放應用程序性能和系統效率。 BlueField DPU 幫助有云思想的企業克服現代 IT 環境中的性能和可擴展性瓶頸。這是通過卸載、加速和隔離軟件定義的基礎架構工作負載來實現的。 標志著性能和生產力的重大飛躍，微軟展示了在 NVIDIA BlueField-2 DPU 上加速的 Azure…

Source

]]> 5678 在 Azure 機器學習上提高人工智能模型推理性能 http://www.open-lab.net/zh-cn/blog/boosting-ai-model-inference-performance-on-azure-machine-learning/ Mon, 29 Aug 2022 02:41:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4989 Continued]]> 每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序，可靠的推理服務器都能提供快速、準確和可擴展的預測，具有低延遲（對單個查詢的響應時間較短）和高吞吐量（在給定時間間隔內處理大量查詢）。然而，檢查所有這些方框可能很難實現，而且成本高昂。 團隊需要考慮部署可以利用以下功能的應用程序： 這些要求使人工智能推理成為一項極具挑戰性的任務，可以通過 NVIDIA Triton 推理服務器 . 這篇文章提供了一個逐步提高 AI 推理性能的教程 Azure 機器學習 使用 NVIDIA Triton 模型分析儀和 ONNX 運行時橄欖 ，如圖 1 所示。 為了提高 AI 推理性能， ONNX Runtime OLive 和 Triton 模型分析器在模型部署之前自動執行參數優化步驟。這些參數定義了底層推理引擎將如何執行。

Source

]]> 4989 人人超碰97caoporen国产