William Hicks – NVIDIA 技術博客
http://www.open-lab.net/zh-cn/blog
閱讀開發者創建的最新技術信息、頭條新聞 和內容。
Wed, 25 Jun 2025 05:35:49 +0000
zh-CN
hourly
1
196178272 -
利用 NVIDIA cuML 中的森林推理庫加速樹模型推理
http://www.open-lab.net/zh-cn/blog/supercharge-tree-based-model-inference-with-forest-inference-library-in-nvidia-cuml/
Thu, 05 Jun 2025 05:33:07 +0000
http://www.open-lab.net/zh-cn/blog/?p=14415
Continued]]>
樹集成模型仍然是表格數據的首選,因為它們準確、訓練成本相對較低且速度快。但是,如果您需要低于 10 毫秒的延遲或每秒數百萬次的預測,那么在 CPU 上部署 Python 推理很快就會成為瓶頸。 2019 年,Forest Inference Library (FIL) 首次出現在 cuML 0.9 中,一直圍繞著一件事:為梯度提升樹和在 XGBoost、LightGBM、scikit-learn 或 NVIDIA cuML 中訓練的隨機森林提供快速推理。一般來說,如果您的模型可以轉換為 Treelite,則可以使用 FIL。 FIL 已在 RAPIDS 25.04 中重新設計,新的亮點包括: 在本博文中,您將了解 cuML 25.04 中 FIL 的新功能、性能和特性,并了解它比以前的 cuML 版本具有的優勢。
Source
]]>
14415
-
使用 Milvus 和 NVIDIA Merlin 搭建高效推薦系統
http://www.open-lab.net/zh-cn/blog/efficient-vector-similarity-search-in-recommender-workflows-using-milvus-with-nvidia-merlin/
Thu, 02 Nov 2023 09:09:48 +0000
http://www.open-lab.net/zh-cn/blog/?p=8091
Continued]]>
如何搭建一個高效的推薦系統? 簡單來說,現代推薦系統由訓練/推理流水線(pipeline)組成,涉及數據獲取、數據預處理、模型訓練和調整檢索、過濾、排名和評分相關的超參數等多個階段。走遍這些流程之后,推薦系統能夠給出高度個性化的推薦結果,從而提升產品的用戶體驗。 為了方便大家對此進行深入了解,我們邀請到 NVIDIA Merlin 團隊,他們將詳細介紹推薦系統的上述多個階段的工作流程,以及推薦系統在電商、流媒體、社交媒體等多個行業領域的實踐和用例。 NVIDIA Merlin & Milvus 推薦系統 pipeline 中至關重要的一環便是為用戶檢索并找到最相關的商品。為了實現這一目標,通常會使用低維向量(embedding)表示商品,使用數據庫存儲及索引數據,最終對數據庫中數據進行近似最近鄰(ANN)搜索。這些向量表示是通過深度學習模型獲取的,
Source
]]>
8091
-
實時為 XGBoost 、 Scikit 、 LightGBM 等提供服務
http://www.open-lab.net/zh-cn/blog/real-time-serving-for-xgboost-scikit-learn-randomforest-lightgbm-and-more/
Wed, 02 Feb 2022 06:36:00 +0000
http://www.open-lab.net/zh-cn/blog/?p=2989
Continued]]>
深度神經網絡在多個領域的成功促使人們對如何有效地部署這些模型以用于實際應用進行了大量思考和努力。然而,盡管基于樹的模型(包括隨機森林和梯度增強模型)在表格數據分析中 continued dominance 非常重要,而且對于解釋性非常重要的用例非常重要,但加速部署基于樹的模型(包括隨機森林和梯度增強模型)的努力卻沒有受到太多關注。 隨著 DoorDash 和 CapitalOne 等組織轉向基于樹的模型來分析大量關鍵任務數據,提供工具以幫助部署此類模型變得簡單、高效和高效變得越來越重要。 NVIDIA Triton 推理服務器 提供在 CPU 和 GPU 上部署深度學習模型的完整解決方案,支持多種框架和模型執行后端,包括 PyTorch 、 TensorFlow 、 ONNX 、 TensorRT 等。從 21.06.1 版開始,
Source
]]>
2989
人人超碰97caoporen国产