]]>10144借助 NVIDIA AI Enterprise IGX 為任務關鍵型邊緣 AI 提供支持
http://www.open-lab.net/zh-cn/blog/powering-mission-critical-ai-at-the-edge-with-ai-enterprise-igx/
Wed, 20 Mar 2024 04:55:55 +0000http://www.open-lab.net/zh-cn/blog/?p=9322Continued]]>NVIDIA SDK 在加速智慧城市、醫療和機器人等一系列用例中的 AI 應用方面發揮了重要作用。但是,要實現可在邊緣部署的生產級 AI 解決方案,以支持安全可靠的人機協作,就需要針對企業需求量身定制的高質量硬件和軟件。 NVIDIA 再次加速邊緣任務關鍵型 AI 應用程序。 NVIDIA AI Enterprise IGX 是一款企業級軟件解決方案,用于在 NVIDIA IGX 平臺上運行邊緣 AI。 NVIDIA IGX 為您的工業級硬件提供超快的 AI 性能,在邊緣所需的大小和功率范圍內實現高吞吐量數據處理,以及強大的邊緣安全性、遠程管理性和內置安全機制。 NVIDIA IGX 與 NVIDIA AI Enterprise 的集成使邊緣 AI 更易于訪問、更高效且更便于企業使用。 AI 堆棧由許多第三方應用程序和開源軟件 (OSS) 組成,
]]>6448使用集成模型在 NVIDIA Triton 推理服務器上為 ML 模型管道提供服務
http://www.open-lab.net/zh-cn/blog/serving-ml-model-pipelines-on-nvidia-triton-inference-server-with-ensemble-models/
Mon, 13 Mar 2023 04:36:03 +0000http://www.open-lab.net/zh-cn/blog/?p=6474Continued]]>在許多生產級機器學習( ML )應用程序中,推理并不局限于在單個 ML 模型上運行前向傳遞。相反,通常需要執行 ML 模型的管道。例如,一個由三個模塊組成的對話式人工智能管道:一個將輸入音頻波形轉換為文本的自動語音識別( ASR )模塊,一個理解輸入并提供相關響應的大型語言模型( LLM )模塊,以及一個從 LLM 輸出產生語音的文本到語音( TTS )模塊。 或者,考慮一個文本到圖像的應用程序,其中管道由 LLM 和擴散模型組成,它們分別用于對輸入文本進行編碼和從編碼的文本合成圖像。此外,許多應用程序在將輸入數據饋送到 ML 模型之前需要對其進行一些預處理步驟,或者對這些模型的輸出進行后處理步驟。例如,輸入圖像在被饋送到計算機視覺模型之前可能需要被調整大小、裁剪和解碼,或者文本輸入在被饋送給 LLM 之前需要被標記化。 近年來, ML 模型中的參數數量激增,
]]>6297使用 NVIDIA TAO 工具包和權重和偏差加速 AI 開發
http://www.open-lab.net/zh-cn/blog/accelerating-ai-development-with-nvidia-tao-toolkit-and-weights-biases/
Tue, 31 Jan 2023 07:34:43 +0000http://www.open-lab.net/zh-cn/blog/?p=6125Continued]]>利用圖像分類、對象檢測、 自動語音識別 ( ASR )和其他形式的人工智能可以推動公司和商業部門的大規模變革。然而,從頭開始構建人工智能和深度學習模型是一項艱巨的任務。 構建這些模型的一個共同前提是擁有大量高質量的訓練數據和正確的專業知識,以準備數據、構建神經網絡,并不斷微調模型以優化性能。對于開始機器學習( ML )之旅的組織來說,這通常是一個挑戰。盡管人工智能可以提供明確和可衡量的好處,但進入壁壘很高,往往會阻礙各種規模的企業采用人工智能。 這篇文章討論了 NVIDIA TAO Toolkit 和 Weights & Biases MLOps 平臺的結合如何有助于開啟組織利用人工智能和加速常見人工智能任務的旅程。開發人員現在可以使用 NVIDIA TAO (訓練適應優化)工具包和權重和偏差( W & B )可視化和比較多個訓練運行。此外,我們將介紹構建對象檢測模型的示例工作流。
]]>5914使用 NVIDIA TAO 工具包和 Azure 機器學習創建自定義 AI 模型
http://www.open-lab.net/zh-cn/blog/creating-custom-ai-models-using-nvidia-tao-toolkit-with-azure-machine-learning/
Tue, 13 Dec 2022 06:33:00 +0000http://www.open-lab.net/zh-cn/blog/?p=5946Continued]]>目前,人工智能應用程序的構建和部署方式正在發生根本性轉變。人工智能應用越來越復雜,并應用于更廣泛的用例。這需要端到端的人工智能生命周期管理,從數據準備到模型開發和培訓,再到人工智能應用程序的部署和管理。這種方法可以降低前期成本,提高可擴展性,并降低客戶使用 AI 應用程序的風險。 雖然云原生的應用程序開發方法對開發人員很有吸引力,但機器學習( ML )項目是出了名的時間密集型和成本密集型項目,因為它們需要一個擁有多種技能的團隊來構建和維護。 這篇文章解釋了如何使用 NVIDIA TAO Toolkit 加速視覺 AI 模型開發,并將其部署到 NVIDIA Triton Inference Server 中進行推理,所有這些都在 Azure 機器學習( Azure ML )平臺上。 NVIDIA Triton 推理服務器是一款開源推理服務軟件,