Nirmal Kumar Juluru – NVIDIA 技術博客

Nirmal Kumar Juluru – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Wed, 14 May 2025 06:36:01 +0000 zh-CN hourly 1 196178272 使用 NVIDIA NeMo Curator 構建 Nemotron-CC：一個高質量萬億令牌數據集，用于大型語言模型預訓練，源自 Common Crawl http://www.open-lab.net/zh-cn/blog/building-nemotron-cc-a-high-quality-trillion-token-dataset-for-llm-pretraining-from-common-crawl-using-nvidia-nemo-curator/ Wed, 07 May 2025 06:32:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=13827 Continued]]> 對于想要訓練先進的大語言模型 (LLM) 的企業開發者而言，整理高質量的預訓練數據集至關重要。為了讓開發者能夠構建高度準確的 LLM，NVIDIA 之前發布了 Nemotron-CC ，這是一個價值 6.3 萬億個 token 的英語語言 Common Crawl (CC) 數據集。今天，NVIDIA NeMo Curator 團隊很高興地與大家分享，用于構建 Nemotron-CC 數據集的 pipeline 現已合并到 NeMo Curator GitHub 存儲庫中。 Nemotron-CC 工作流現已集成到 NeMo Curator 中，為平衡大規模準確性和數據量之間的權衡提供了一種新穎的解決方案。Nemotron-CC 工作流結合使用分類器集成和合成數據重述，提供了一種可擴展的方法，可從原始數據集中生成高質量的合成數據，以擴展原始數據集。

]]>

13827

NVIDIA Llama Nemotron 超開放模型實現突破性的推理準確性 http://www.open-lab.net/zh-cn/blog/nvidia-llama-nemotron-ultra-open-model-delivers-groundbreaking-reasoning-accuracy/ Tue, 15 Apr 2025 05:31:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=13575 Continued]]> AI 不再只是生成文本或圖像，而是要針對商業、金融、客戶和醫療健康服務中的現實應用進行深度推理、詳細解決問題并實現強大的適應性。 NVIDIA 最新推出的 Llama Nemotron Ultra 推理模型在智能和編碼基準測試中提供了領先的開源模型準確性，同時提高了計算效率。您可以在 Hugging Face 上找到模型、權重和訓練數據，以便將 AI 應用于從研究助理、編碼助手到自動化工作流的各種工作中。 Llama Nemotron Ultra 正在重新定義 AI 在科學推理、編碼和數學基準測試中可以實現的目標。該模型針對復雜推理、人類匹配聊天、檢索增強生成 (RAG) 和工具使用進行了后訓練，專為滿足現實世界企業的需求 (從 copilot 和知識助手到自動化工作流程) 而構建，具有高影響力 AI 所需的深度和靈活性。 Llama Nemotron Ultra 基于…

]]>

13575

使用合成數據評估和增強 RAG 工作流性能 http://www.open-lab.net/zh-cn/blog/evaluating-and-enhancing-rag-pipeline-performance-using-synthetic-data/ Mon, 07 Apr 2025 06:31:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=13521 Continued]]> 隨著大語言模型 (LLM) 在各種問答系統中的普及，檢索增強生成 (RAG) 流程也成為焦點。RAG 流程將 LLM 的生成能力與外部數據源和檢索機制相結合，使模型能夠訪問微調期間可能不存在的特定領域信息。 RAG 性能很大程度上取決于底層文本嵌入模型的質量。嵌入模型不佳會導致檢索結果欠佳，進而降低 RAG 系統的整體性能。在處理企業特定的內部數據時尤其如此，因為開箱即用的模型可能無法提供所需的準確性。為確保 RAG 系統能夠有效處理您的特定數據，您必須評估預訓練嵌入模型在語料庫中的表現是否良好。此評估所需的標注數據與最終用戶提交的查詢類型非常相似。例如，帶標注的樣本數據集可能包括以下內容：在許多情況下，現有嵌入模型在應用于特定領域的數據時無法產生最佳結果。這就需要使用與企業語料庫共享相同分布的標注數據來定制這些模型。在本文中，

]]>

13521

借助 SES AI 的 NVIDIA 驅動的電動汽車創新技術，加速運輸業的未來發展 http://www.open-lab.net/zh-cn/blog/accelerating-the-future-of-transportation-with-ses-ais-nvidia-powered-innovation-for-electric-vehicles/ Tue, 25 Mar 2025 09:04:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=13369 Continued]]> 電動汽車 (EV) 正在改變交通運輸方式，但成本、使用壽命和續航里程等挑戰仍然是廣泛采用電動汽車的障礙。這些挑戰的核心在于電池技術，尤其是電解質，這是實現能源存儲和輸送的關鍵組件。電解質的特性直接影響電池的充電速度、功率輸出、穩定性和安全性。為了克服這些障礙，研究人員開始采用 AI 驅動的方法來加速新型電池材料的發現。作為電池創新領域的領導者，SES AI 正在利用先進的 NVIDIA 硬件和軟件生態系統來革新材料發現。SES AI 將適用于特定領域的 LLM 與 AI 模型和 GPU 加速的模擬相結合，將數十年的研究壓縮為幾個月，并在電動汽車電池性能方面取得突破性進展。 SES AI 的開創性工作分為以下關鍵步驟： SES AI 正在創建全面的分子字典，以繪制數百萬個小分子的物理和化學性質。

]]>

13369

使用 NVIDIA TensorRT-LLM 前瞻性解碼優化 Qwen2.5-Coder 吞吐量 http://www.open-lab.net/zh-cn/blog/optimizing-qwen2-5-coder-throughput-with-nvidia-tensorrt-llm-lookahead-decoding/ Fri, 14 Feb 2025 04:58:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12977 Continued]]> 專注于編碼的大語言模型（LLMs）已穩步應用于開發者工作流程。從配對編程到自我改進的 AI 智能體，這些模型可幫助開發者完成各種任務，包括增強代碼、修復錯誤、生成測試和編寫文檔。為促進開源 LLM 的開發，Qwen 團隊最近發布了 Qwen2.5-Coder，這是一系列先進的 LLM，用于跨熱門編程語言的代碼生成、推理和修復。本文將探討針對 NVIDIA TensorRT-LLM 支持的 Qwen2.5-Coder 模型進行推理優化的優勢，以及借助 NVIDIA NIM 輕松部署以提升變革潛力和編碼效率的好處。 Qwen2.5-Coder 模型在熱門的學術基準測試中取得了出色的性能。 NVIDIA TensorRT-LLM 已對 Qwen2.5-Coder 系列的三種熱門模型 (1.5B、7B 和 32B 版本) 進行優化，以實現高吞吐量和低延遲。

]]>

12977

使用 NVIDIA NeMo Curator 提高生成式 AI 模型的準確性 http://www.open-lab.net/zh-cn/blog/enhancing-generative-ai-model-accuracy-with-nvidia-nemo-curator/ Mon, 13 Jan 2025 08:11:05 +0000 http://www.open-lab.net/zh-cn/blog/?p=12626 Continued]]> 在快速發展的人工智能領域，用于訓練模型的數據質量至關重要。高質量數據可確保模型準確、可靠，并且能夠在各種應用中很好地泛化。近期的 NVIDIA 網絡會議“借助高質量多模態數據處理增強生成式 AI 模型的準確性”深入探討了數據管護和處理的復雜性，并重點介紹了 NVIDIA NeMo Curator 的功能。本文分享了在線研討會的主要見解，重點介紹了數據管護的重要性、合成數據生成的作用，以及開發者可用于構建完全定制和可擴展的數據處理流程的各種功能。數據管護是開發生成式 AI 模型的關鍵步驟。其中包括清理、整理和準備數據，以確保數據適合訓練。該網絡會議強調，生成模型從其訓練所用的數據中獲取理解。確保這些數據不含重復數據、個人身份信息（PII）和有毒內容至關重要。正確的數據管護不僅可以縮短訓練時間，還可以提高模型質量，

]]>

12626

使用 NVIDIA NeMo Curator 新分類器模型增強您的訓練數據 http://www.open-lab.net/zh-cn/blog/enhance-your-training-data-with-new-nvidia-nemo-curator-classifier-models/ Thu, 19 Dec 2024 08:54:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=12475 Continued]]> 分類器模型專門用于將數據分類為預定義的組或類，在優化數據處理流程以微調和預訓練生成式 AI 模型方面發揮著關鍵作用。它們的價值在于通過過濾低質量或有毒數據來提高數據質量，確保下游流程只獲得干凈、相關的信息。除了過濾之外，classifier 模型還通過數據豐富來增加價值，使用元數據 (例如 domain、type 或 content específics 和 creative quality-specific blends) 標記數據。這些功能不僅能夠簡化數據準備，還能讓用戶深入了解在生產環境中如何使用模型。例如，classifier 可以幫助理解用戶提示的復雜性和領域，開發者可以將這些提示路由到最合適的模型。 NVIDIA NeMo Curator 團隊之前發布了兩個分類器模型：除 BERT 風格分類器模型外，NeMo Curator 還支持基于 n-gram…

]]>

12475

借助 NVIDIA NeMo 開發前沿的多模態生成式 AI 模型 http://www.open-lab.net/zh-cn/blog/state-of-the-art-multimodal-generative-ai-model-development-with-nvidia-nemo/ Wed, 06 Nov 2024 03:41:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=12293 Continued]]> 生成式 AI 已從基于文本的模型迅速發展為多模態功能。這些模型執行圖像字幕和視覺問答等任務，反映了向更接近人類的 AI 的轉變。該社區目前正在從文本和圖像擴展到視頻，為各行各業帶來了新的可能性。視頻 AI 模型將徹底改變機器人、汽車和零售等行業。在機器人領域，它們可增強在復雜、不斷變化的環境中的自主導航，這對于制造和倉儲管理等行業至關重要。在汽車行業，視頻 AI 正在推動自動駕駛，提升車輛感知、安全性和預測性維護，從而提高效率。要構建圖像和視頻基礎模型，開發者必須整理和預處理大量訓練數據，以高保真度標記生成的高質量數據，高效、大規模地訓練或定制預訓練模型，然后在推理過程中生成高質量的圖像和視頻。 NVIDIA NeMo 是一個端到端平臺，用于開發、定制和部署生成式 AI 模型。 NVIDIA 剛剛宣布擴展 NeMo，以支持開發多模態模型的端到端流程。

]]>

12293

使用經 NVIDIA NeMo Curator 處理的 Zyda-2 Open 5T-Token 數據集訓練高度準確的 LLM http://www.open-lab.net/zh-cn/blog/train-highly-accurate-llms-with-the-zyda-2-open-5t-token-dataset-processed-with-nvidia-nemo-curator/ Tue, 15 Oct 2024 04:30:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=11735 Continued]]> 開源數據集顯著普及了對高質量數據的訪問，降低了開發者和研究人員訓練尖端生成式 AI 模型的門檻。通過免費訪問多樣化、高質量且精心策劃的數據集，開源數據集使開源社區能夠在前沿或接近前沿訓練模型，從而促進 AI 的快速發展。 Zyphra 使 AI 系統更易于使用，通過尖端架構探索性能前沿，并推進對強大模型的研究和理解。為了實現其愿景，Zyphra 團隊一直與 NVIDIA NeMo Curator 團隊密切合作，創建 Zyda-2，這是一個開放、高質量的預訓練數據集，由令人印象深刻的英語 5T 令牌和 Zyda-1 的 5 倍大小組成。該數據集包含廣泛的主題和領域，可確保高度的多樣性和質量，這對于訓練像 Zamba 這樣的強大和競爭力強的模型至關重要。與需要額外專業數據集的代碼和數學運算相比，

]]>

11735

NVIDIA NIM 微服務助力大規模 LLM 推理效率優化 http://www.open-lab.net/zh-cn/blog/optimizing-inference-efficiency-for-llms-at-scale-with-nvidia-nim-microservices/ Wed, 14 Aug 2024 05:14:00 +0000 http://www.open-lab.net/zh-cn/blog/?p=10967 Continued]]> 隨著大型語言模型 (LLMs) 繼續以前所未有的速度發展，企業希望構建生成式 AI 驅動的應用程序，以最大限度地提高吞吐量，降低運營成本，并盡可能減少延遲，從而提供卓越的用戶體驗。本文將討論 LLM 的吞吐量和延遲的關鍵性能指標，探索其重要性以及兩者之間的權衡。本文還將探討吞吐量和延遲如何影響 AI 應用程序的效率和用戶體驗，以及如何使用 NVIDIA NIM 微服務對其進行優化。當用戶向LLM發送請求時，系統會處理該請求，并通過輸出一系列令牌開始生成響應。通常會有多個請求發送到系統，系統會嘗試同時處理這些請求，以盡可能縮短每個請求的等待時間。吞吐量用于衡量單位時間內的成功操作數。吞吐量是企業確定其同時處理用戶請求的能力的重要衡量指標。對于 LLM，吞吐量由令牌每秒來衡量。由于令牌是新貨幣，更高的吞吐量可以降低成本并為企業帶來收入。此外，

]]>

10967

利用 Llama 3.1 構建企業級自定義生成式 AI 模型 http://www.open-lab.net/zh-cn/blog/customize-generative-ai-models-for-enterprise-applications-with-llama-3-1/ Tue, 23 Jul 2024 06:41:44 +0000 http://www.open-lab.net/zh-cn/blog/?p=10800 Continued]]> 新發布的由 8B、70B 和 405B 大型語言模型 (LLM) 組成的 Llama 3.1 集合正在縮小專有模型和開源模型之間的差距。由于其開放性，更多開發者和企業被吸引將這些模型集成到其 AI 應用中。這些模型擅長處理各種任務，包括內容生成、編碼和深度推理，并可用于為聊天機器人、自然語言處理和語言翻譯等用例的企業應用提供支持。由于 Llama 3.1 405B 模型的訓練數據量龐大，因此非常適合生成合成數據來調整其他語言模型。這在醫療健康、金融和零售等行業尤其有用，因為這些行業由于合規性要求而無法獲得真實數據。此外，Llama 3.1 405B 還可以使用特定領域的數據進行調整，以服務于企業用例。一旦企業定制語言模型(LLM)以適應其組織要求（包括領域知識和技能、公司詞匯和其他文化差異），其準確性會得到提升。

]]>

10800

使用 NVIDIA NeMo 定制化 NVIDIA NIM 滿足特定領域需求 http://www.open-lab.net/zh-cn/blog/customizing-nvidia-nims-for-domain-specific-needs-with-nvidia-nemo/ Wed, 10 Jul 2024 06:00:59 +0000 http://www.open-lab.net/zh-cn/blog/?p=10581 Continued]]> 為特定企業應用程序采用的大型語言模型（LLM）通常受益于模型自定義。企業需要根據其特定需求定制 LLM，并快速部署這些模型以實現低延遲和高吞吐量推理。本文將幫助您開始此過程。具體來說，我們將展示如何使用 PubMedQA 數據集定制 Llama 3 8B NIM，以回答生物醫學領域的問題。問題回答對于組織來說至關重要，因為它們需要從大量內容中快速提取關鍵信息，并為客戶提供相關信息。 NVIDIA NIM 是NVIDIA AI Enterprise的一部分，是一套易于使用的推理微服務，旨在加速企業中性能優化的生成式 AI 模型的部署。NIM 推理微服務可以部署在任何地方，從工作站和本地到云，提供企業控制自己的部署選擇并確保數據安全。它還提供行業領先的延遲和吞吐量，實現經濟高效的擴展，并為最終用戶提供無縫體驗。現在，用戶可以訪問適用于 Llama 3 8B Instruct…

]]>

10581

使用 Brev.dev 和 NVIDIA NGC 目錄實現一鍵部署 GPU 優化 AI 軟件解決方案 http://www.open-lab.net/zh-cn/blog/deploy-gpu-optimized-ai-software-with-one-click-using-brev-dev-and-nvidia-ngc-catalog/ Mon, 01 Jul 2024 05:08:23 +0000 http://www.open-lab.net/zh-cn/blog/?p=10539 Continued]]> Brev.dev 正在利用 NVIDIA NGC 目錄上的軟件庫、框架和 Jupyter Notebooks，讓開發 AI 解決方案變得更加輕松。通過將云編排工具與簡單的 UI 搭配使用，您可以使用 Brev.dev 在 NVIDIA GPU 上輕松部署軟件，從任何云中可靠地獲取按需 GPU，在瀏覽器中訪問 notebook，或使用 Brev CLI 直接 SSH 到機器中。 NGC 目錄是安全的 GPU 優化軟件中心，包括容器、模型和 Jupyter Notebooks。該目錄簡化了開發和部署 AI 解決方案的流程，加快了企業的上市時間。此集成解決了在云中啟動 GPU 實例和獲得集成開發環境（IDE）時通常會遇到的許多挑戰，例如設置底層軟件堆棧、調配正確的計算和管理 SSH 密鑰。現在，只需單擊一下，即可將 NGC 目錄中的各種軟件無縫部署到您首選的計算和 IDE 中。

]]>

10539

借助 NVIDIA NeMo Evaluator 簡化 LLM 的準確性評估 http://www.open-lab.net/zh-cn/blog/streamline-evaluation-of-llms-for-accuracy-with-nvidia-nemo-evaluator/ Wed, 27 Mar 2024 08:36:07 +0000 http://www.open-lab.net/zh-cn/blog/?p=9472 Continued]]> 大型語言模型 (LLM) 從處理復雜的編碼任務到創作引人入勝的故事，再到翻譯自然語言，已展示出非凡的功能。企業正在定制這些模型，以提高特定于應用程序的效率，從而為最終用戶提供更高的準確性和更好的響應。然而，為特定任務定制大語言模型 (LLM) 會導致模型對先前學習的任務“忘記”。這稱為 **災難性遺忘**。因此，隨著企業在應用中采用 LLM，有必要針對原始任務和新學習的任務評估 LLM，不斷優化模型以提供更好的體驗。這意味著在自定義模型上運行評估需要重新運行基礎和對齊評估，以檢測任何潛在的回退。為了簡化 LLM 評估，NVIDIA NeMo 團隊宣布搶先體驗計劃用于 NeMo Evaluator。NeMo Evaluator 是一種云原生微服務，可提供自動基準測試功能。它評估先進的基礎模型和自定義模型，這些模型使用一系列多樣化、精心策劃的學術基準測試、

]]>

9472

借助 NVIDIA NeMo 定制器輕松微調和對齊 LLM http://www.open-lab.net/zh-cn/blog/fine-tune-and-align-llms-easily-with-nvidia-nemo-customizer/ Wed, 27 Mar 2024 08:27:24 +0000 http://www.open-lab.net/zh-cn/blog/?p=9466 Continued]]> 隨著大型語言模型(LLM) 在企業 AI 應用中獲得更多吸引力，定制化模型理解和集成特定行業術語、領域專業知識和獨特的組織要求變得越來越重要。為滿足對自定義 LLM 的日益增長的需求，NVIDIA NeMo 團隊宣布 NeMo Customizer 搶先體驗計劃。這是一種高性能、可擴展的微服務，可簡化 LLM 的微調和對齊。企業可以利用 NVIDIA NeMo 來開發自定制的生成式 AI 平臺，包括訓練、微調、檢索增強生成 (RAG)、guardrailing 和數據管護等功能。NeMo 提供從框架到更高級別的 API 端點，以簡化開發過程。它提供了預訓練模型和技術堆棧，以幫助企業快速開發和部署具有特定功能的生成式 AI 模型。 NeMo Customizer 微服務是一組基于 NeMo 框架的 API 端點，旨在為企業提供快速、

]]>

9466

人人超碰97caoporen国产