Kaggle – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 02 Jul 2025 04:23:34 +0000 zh-CN hourly 1 196178272 如何使用 NVIDIA NeMo 技能簡化復雜的 LLM 工作流程 http://www.open-lab.net/zh-cn/blog/how-to-streamline-complex-llm-workflows-using-nvidia-nemo-skills/ Wed, 25 Jun 2025 04:19:10 +0000 http://www.open-lab.net/zh-cn/blog/?p=14471 Continued]]> 改進 LLM 的典型方法涉及多個階段:合成數據生成 (SDG) 、通過監督式微調 (SFT) 或強化學習 (RL) 進行模型訓練以及模型評估。每個階段都需要使用不同的庫,這些庫通常很難設置,而且難以一起使用。 例如,您可以使用 NVIDIA TensorRT-LLM 或 vLLM 進行 SDG 訓練,使用 NVIDIA NeMo 或 verl 進行訓練。在這種情況下,您需要調用許多不同的腳本和容器,將 Hugging Face 檢查點轉換為 TensorRT-LLM,執行大規模 SDG,將數據和模型轉換為 NeMo 格式,并在各種基準測試中運行訓練和評估。 為了簡化這一復雜的工作流程,NVIDIA 開發了 NeMo 技能庫。它提供了無縫連接不同框架的高級抽象,使其能夠以統一和可互換的方式使用。NeMo-Skill 還可以輕松地從快速本地原型設計過渡到在 Slurm…

Source

]]>
14471
特級大師專業提示:使用 cuML 通過堆疊奪得 Kaggle 競賽冠軍 http://www.open-lab.net/zh-cn/blog/grandmaster-pro-tip-winning-first-place-in-a-kaggle-competition-with-stacking-using-cuml/ Thu, 22 May 2025 06:22:33 +0000 http://www.open-lab.net/zh-cn/blog/?p=14075 Continued]]> 堆疊是一種先進的表格數據建模技術,通過結合多個不同模型的預測來實現高性能。利用 GPU 的計算速度,可以高效地訓練大量模型。其中包括梯度提升決策樹 (Gradient Boosted Decision Trees, GBDT) 、深度學習神經網絡 (Deep Learning Neural Networks, NN) 以及其他機器學習 (Machine Learning, ML) 模型,例如支持向量回歸 (Support Vector Regression, SVR) 和 K 最近鄰 (K-Nearest Neighbors, KNN) 。這些單獨的模型被稱為 Level 1 模型。 然后訓練 Level 2 模型,這些模型使用 Level 1 模型的輸出作為輸入。Level 2 模型學習使用 Level 1 模型的不同組合來預測不同場景中的目標。最后,

Source

]]>
14075
Kaggle 大師揭秘數據科學超能力的獲勝策略 http://www.open-lab.net/zh-cn/blog/kaggle-grandmasters-unveil-winning-strategies-for-data-science-superpowers/ Tue, 29 Apr 2025 08:37:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=13666 Continued]]> 來自 NVIDIA 的 Kaggle Grandmaster David Austin 和 Chris Deotte 以及 HP 的 Ruchi Bhatia 與來自 Kaggle 的 Brenda Flynn 一起參加了今年在拉斯維加斯舉行的 Google Cloud Next 大會。他們分享了自己的身份、競爭的動機,以及他們如何在全球最大的數據科學競賽平臺上做出貢獻并贏得比賽。 本博文簡要介紹了他們的討論,包括解決 Machine Learning 問題的最佳實踐、提示和技巧,以及他們最喜歡的工具。 David Austin 是 NVIDIA Kaggle Grandmaster 團隊的成員。他還是 NVIDIA 的首席 AI 軟件工程師和開源 LLM 應用開發的技術主管。Austin 擁有化學工程學位,作為一名數據科學家,他為半導體制造、工業 AI 和高級 LLM…

Source

]]>
13666
使用 Co-Visitation 矩陣和 RAPIDS cuDF 構建高效的推薦系統 http://www.open-lab.net/zh-cn/blog/build-efficient-recommender-systems-with-co-visitation-matrices-and-rapids-cudf/ Wed, 21 Aug 2024 08:52:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=11001 Continued]]> 推薦系統在跨各種平臺實現個性化用戶體驗方面發揮著至關重要的作用。這些系統旨在根據用戶過去的行為和偏好預測和推薦用戶可能與之交互的商品。構建有效的推薦系統需要理解和利用龐大、復雜的數據集,這些數據集可捕獲用戶和商品之間的交互。 本文將向您展示如何基于共訪問矩陣構建簡單而強大的推薦系統。構建共訪問矩陣的主要挑戰之一是處理大型數據集時涉及的計算復雜性。使用像 pandas 等庫的傳統方法效率低下且速度緩慢,尤其是在處理數百萬甚至數十億次交互時。這正是 RAPIDS cuDF 的用武之地。RAPIDS cuDF 是一個 GPU DataFrame 庫,提供了類似 pandas 的 API,用于加載、過濾和操作數據。 推薦系統是一種機器學習算法,旨在為用戶提供個性化建議或推薦。這些系統用于各種應用,包括電子商務(Amazon、OTTO)、內容流式傳輸(Netflix、Spotify)、

Source

]]>
11001
分析機器學習研究代碼的安全性 http://www.open-lab.net/zh-cn/blog/analyzing-the-security-of-machine-learning-research-code/ Wed, 04 Oct 2023 04:27:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=7953 Continued]]> 我們的 NVIDIA AI 紅隊 專注于在數據、科學和 AI 生態系統中擴展安全開發實踐。我們參與 開源安全倡議,發布 工具,并出席了 行業會議,主辦 教育競賽 并提供 創新培訓。 最近發布的 Meta Kaggle for Code 數據集為大規模分析機器學習 (ML) 研究和實驗競賽代碼安全性提供了絕佳的機會。我們的目標是利用這些數據來解答以下問題: 我們的分析表明,盡管有關于安全風險的公開文檔以及相對順暢的高級安全工具,ML 研究人員仍繼續使用不安全的編碼實踐。我們的理論認為,研究人員優先考慮快速實驗,并且不會將自己或其項目視為目標,因為他們通常不運行生產服務。 此外,Kaggle 環境可能會因為與研究人員的“真實基礎架構”隔離而導致安全漏洞更加嚴重。但是,研究人員必須承認自己在軟件供應鏈中的地位,并應意識到不安全的編碼操作對其研究和系統帶來的風險。

Source

]]>
7953
構建多語言推薦系統的專業提示 http://www.open-lab.net/zh-cn/blog/pro-tips-for-building-multilingual-recommender-systems/ Thu, 10 Aug 2023 05:18:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=7615 Continued]]> 想象一下:你正在網上商店里瀏覽,尋找一雙完美的跑鞋。但是有成千上萬的選擇,你從哪里開始呢?突然,一個“為您推薦”區域吸引了你的眼球。你很感興趣,點擊一下,幾秒鐘內,就會出現一個根據你獨特喜好定制的跑鞋列表。就好像網站了解你的品味、需求和風格。 歡迎來到推薦系統,這里尖端技術結合了數據分析,人工智能(AI),以及改變我們數字體驗的魔力。 這篇文章深入探討了推薦系統的迷人領域,并探討了構建兩階段候選重新排序的建模方法。我提供了如何在代表性不足的語言中克服數據短缺的專業提示,以及如何實現這些最佳實踐的技術演練。 對于每個用戶,推薦系統必須從可能數百萬個項目中預測出該用戶感興趣的幾個項目。這是一項艱巨的任務。一種強大的建模方法稱為兩階段候選重新排序。 圖 1 顯示了這兩個階段。在第一階段,模型識別用戶可能感興趣的數百個候選項目。在第二階段,

Source

]]>
7615
人人超碰97caoporen国产