高文雯 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞 和內容。 Wed, 09 Apr 2025 05:58:55 +0000 zh-CN hourly 1 196178272 通過 NVIDIA NeMo 框架的最新功能全鏈路加速視頻基礎模型的訓練和微調 http://www.open-lab.net/zh-cn/blog/accelerate-custom-video-foundation-model-pipelines-with-new-nvidia-nemo-framework-capabilities/ Tue, 07 Jan 2025 06:10:49 +0000 http://www.open-lab.net/zh-cn/blog/?p=12561 Continued]]> 生成式 AI 已經從基于文本的模型發展到多模態模型,最近還擴展到了視頻領域,為各行各業開辟了新的潛在用途。視頻模型可以為用戶創造新的體驗,以及大規模模擬場景來訓練自主代理。它們正在幫助包括機器人技術、自動駕駛汽車和娛樂業在內的多個行業實現變革。 由于視頻數據的龐大和多樣性,視頻基礎模型的開發面臨著獨特的挑戰。這也凸顯了可擴展的數據管理流程和訓練框架的必要性,以此來理解時間和空間動態的模型。 我們發布了 NVIDIA NeMo 框架中全新的視頻基礎模型功能,這是一個端到端的訓練框架,用于預訓練和微調您的專屬視頻基礎模型。該框架包括高吞吐量的數據管理、高效的多模態數據加載功能、可擴展的模型訓練,以及并行化的框架內推理。 高吞吐量視頻數據處理鏈路 NVIDIA NeMo Curator 通過高效處理和準備高質量的數據(包括大型視頻數據集),

Source

]]>
12561
借助 NVIDIA NeMo 定制器輕松微調和對齊 LLM http://www.open-lab.net/zh-cn/blog/fine-tune-and-align-llms-easily-with-nvidia-nemo-customizer/ Wed, 27 Mar 2024 08:27:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=9466 Continued]]> 隨著 大型語言模型(LLM) 在企業 AI 應用中獲得更多吸引力,定制化模型 理解和集成特定行業術語、領域專業知識和獨特的組織要求變得越來越重要。 為滿足對自定義 LLM 的日益增長的需求,NVIDIA NeMo 團隊宣布 NeMo Customizer 搶先體驗計劃。這是一種高性能、可擴展的微服務,可簡化 LLM 的微調和對齊。 企業可以利用 NVIDIA NeMo 來開發自定制的生成式 AI 平臺,包括訓練、微調、檢索增強生成 (RAG)、guardrailing 和數據管護等功能。NeMo 提供從框架到更高級別的 API 端點,以簡化開發過程。它提供了預訓練模型和技術堆棧,以幫助企業快速開發和部署具有特定功能的生成式 AI 模型。 NeMo Customizer 微服務是一組基于 NeMo 框架的 API 端點,旨在為企業提供快速、

Source

]]>
9466
NVIDIA Merlin Distributed-Embeddings輕松快速訓練TB 級推薦模型 http://www.open-lab.net/zh-cn/blog/fast-terabyte-scale-recommender-training-made-easy-with-nvidia-merlin-distributed-embeddings/ Wed, 31 Aug 2022 03:19:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5061 Continued]]> Embedding在深度學習推薦模型中起著關鍵作用。它們被用于將輸入數據中的離散特征映射到向量,以便下游的神經網絡進行處理。Embedding 通常構成深度學習推薦模型中的大部分參數,大小可以達到 TB 級。在訓練期間,很難將它們放入單個 GPU 的內存中。因此,現代推薦系統可能需要模型并行和數據并行的分布式訓練方法組合,以最佳利用GPU計算資源來實現最好的訓練性能。 NVIDIA Merlin Distributed-Embeddings ,可以方便TensorFlow 2 用戶用短短幾行代碼輕松完成大規模的推薦模型訓練。 背景 在數據并行分布式訓練中,整個模型被復制到每個 GPU 上。在訓練過程中,一批輸入數據在多個 GPU 中分割,每張卡獨立處理其自己的數據分片,從而允許計算擴展到更大批量的數據。在反向傳播期間,計算的梯度通過reduction算子(例如,

Source

]]>
5061
使用 Merlin 分層參數服務器擴展推薦系統推理 http://www.open-lab.net/zh-cn/blog/scaling-recommendation-system-inference-with-merlin-hierarchical-parameter-server/ Wed, 31 Aug 2022 03:08:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=5056 Continued]]> 如今,推薦系統被廣泛用于個性化用戶體驗,并在電子商務、社交媒體和新聞源等各種環境中提高客戶參與度。因此,以低延遲和高精度服務用戶請求對于維持用戶參與至關重要。 這包括在使用最新更新無縫刷新模型的同時執行高速查找和計算,這對于模型大小超過 GPU 內存的大規模推薦者來說尤其具有挑戰性。 NVIDIA Merlin HugeCTR ,一個開源框架,旨在優化 NVIDIA GPU 上的大規模推薦,最近發布 分層參數服務器( HPS )體系結構 以專門解決工業級推理系統的需求。實驗表明,該方法能夠在流行的基準數據集上以低延遲進行可拓展部署。 大型嵌入表 :典型深度推薦模型的輸入可以是數字(例如用戶年齡或商品價格)或分類特征(例如用戶 ID 或商品 ID )。與數字特征不同,分類特征需要轉換為數字向量,以輸入多層感知器( MLP )層進行密集計算。

Source

]]>
5056
人人超碰97caoporen国产