Model Analyzer – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Thu, 01 Sep 2022 02:47:44 +0000
zh-CN
hourly
1
196178272 -
在 Azure 機器學習上提高人工智能模型推理性能
http://www.open-lab.net/zh-cn/blog/boosting-ai-model-inference-performance-on-azure-machine-learning/
Mon, 29 Aug 2022 02:41:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=4989
Continued]]>
每個 AI 應用程序都需要強大的推理引擎。無論您是部署圖像識別服務、智能虛擬助理還是欺詐檢測應用程序，可靠的推理服務器都能提供快速、準確和可擴展的預測，具有低延遲（對單個查詢的響應時間較短）和高吞吐量（在給定時間間隔內處理大量查詢）。然而，檢查所有這些方框可能很難實現，而且成本高昂。 團隊需要考慮部署可以利用以下功能的應用程序： 這些要求使人工智能推理成為一項極具挑戰性的任務，可以通過 NVIDIA Triton 推理服務器 . 這篇文章提供了一個逐步提高 AI 推理性能的教程 Azure 機器學習 使用 NVIDIA Triton 模型分析儀和 ONNX 運行時橄欖 ，如圖 1 所示。 為了提高 AI 推理性能， ONNX Runtime OLive 和 Triton 模型分析器在模型部署之前自動執行參數優化步驟。這些參數定義了底層推理引擎將如何執行。
Source
]]>
4989
人人超碰97caoporen国产