Manuel Reyes-Gomez – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Thu, 05 Jan 2023 06:40:13 +0000 zh-CN hourly 1 196178272 使用 NVIDIA TAO 工具包和 Azure 機器學習創建自定義 AI 模型 http://www.open-lab.net/zh-cn/blog/creating-custom-ai-models-using-nvidia-tao-toolkit-with-azure-machine-learning/ Tue, 13 Dec 2022 06:33:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5946 Continued]]> 目前，人工智能應用程序的構建和部署方式正在發生根本性轉變。人工智能應用越來越復雜，并應用于更廣泛的用例。這需要端到端的人工智能生命周期管理，從數據準備到模型開發和培訓，再到人工智能應用程序的部署和管理。這種方法可以降低前期成本，提高可擴展性，并降低客戶使用 AI 應用程序的風險。 雖然云原生的應用程序開發方法對開發人員很有吸引力，但機器學習（ ML ）項目是出了名的時間密集型和成本密集型項目，因為它們需要一個擁有多種技能的團隊來構建和維護。 這篇文章解釋了如何使用 NVIDIA TAO Toolkit 加速視覺 AI 模型開發，并將其部署到 NVIDIA Triton Inference Server 中進行推理，所有這些都在 Azure 機器學習（ Azure ML ）平臺上。 NVIDIA Triton 推理服務器是一款開源推理服務軟件，

Source

]]> 5946 在 Azure 機器學習上提高人工智能模型推理性能 http://www.open-lab.net/zh-cn/blog/boosting-ai-model-inference-performance-on-azure-machine-learning/ Mon, 29 Aug 2022 02:41:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=4989 Continued]]> 每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序，可靠的推理服務器都能提供快速、準確和可擴展的預測，具有低延遲（對單個查詢的響應時間較短）和高吞吐量（在給定時間間隔內處理大量查詢）。然而，檢查所有這些方框可能很難實現，而且成本高昂。 團隊需要考慮部署可以利用以下功能的應用程序： 這些要求使人工智能推理成為一項極具挑戰性的任務，可以通過 NVIDIA Triton 推理服務器 . 這篇文章提供了一個逐步提高 AI 推理性能的教程 Azure 機器學習 使用 NVIDIA Triton 模型分析儀和 ONNX 運行時橄欖 ，如圖 1 所示。 為了提高 AI 推理性能， ONNX Runtime OLive 和 Triton 模型分析器在模型部署之前自動執行參數優化步驟。這些參數定義了底層推理引擎將如何執行。

Source

]]> 4989 人人超碰97caoporen国产