LLM 技術

2025年 6月 18日
基準測試大型語言模型推理成本以實現更智能的擴展和部署
這是大語言模型延遲-吞吐量基準測試系列的第三篇博文,旨在指導開發者如何通過估算總體擁有成本 (TCO) 來確定 LLM 推理的成本。
3 MIN READ

2025年 6月 2日
通過高效的長上下文大語言模型訓練擴展到數百萬個 Token
大語言模型 (LLM) 的演變標志著其處理和生成文本的能力有了顯著提升。在這些發展中,上下文長度的概念 (模型可以處理的單個輸入樣本中的…
2 MIN READ

2025年 5月 27日
在 NVIDIA Grace Hopper 上訓練大型語言模型的高級優化策略
雖然分析有助于識別效率低下的情況,但高級優化策略對于解決硬件限制和有效擴展 AI 工作負載至關重要。在本文中,我們將探討 CPU 卸載、
3 MIN READ

2025年 5月 23日
更智能、更安全地串流:了解 NVIDIA NeMo Guardrails 如何增強 LLM 輸出串流
LLM 流式傳輸會在生成模型響應時,逐個 token 實時遞增發送該響應。
2 MIN READ

2025年 2月 25日
定義 LLM 紅色團隊
在一項活動中,人們為生成式 AI 技術 (例如大語言模型 (LLMs)) 提供輸入,以確定輸出是否會偏離可接受的標準。
1 MIN READ

2025年 2月 12日
使用 NVIDIA NeMo 框架進行 LLM 模型剪枝和知識蒸餾
模型剪枝和知識蒸餾是功能強大且經濟高效的策略,用于從最初較大的同級獲得較小的語言模型。 在一篇“ 如何剪枝和蒸餾 Llama-3.1 8B ”…
4 MIN READ

2025年 1月 29日
掌握 LLM 技術:評估
評估大語言模型(LLMs) 和 檢索增強生成(RAG) 系統是一個復雜而微妙的過程,反映了這些系統的復雜性和多面性。 與傳統機器學習(ML)…
2 MIN READ

2025年 1月 16日
借助 iGenius 和 NVIDIA DGX 云,繼續為主權 AI 和受監管行業預訓練先進的 LLM
近年來,大語言模型(LLMs)在推理、代碼生成、機器翻譯和摘要等領域取得了非凡的進步。然而,盡管基礎模型具有先進的功能,
4 MIN READ

2025年 1月 9日
宣布推出 Nemotron-CC:用于 LLM 預訓練的萬億級英語語言數據集
NVIDIA 很高興地宣布發布 Nemotron-CC,這是一種包含 6.3 萬億個令牌的 英語語言 Common Crawl 數據集 ,
1 MIN READ

2024年 12月 17日
利用 NVIDIA NeMo-Aligner 進行監督式微調的數據高效知識蒸餾
知識蒸餾是一種將更大的教師模型的知識轉移到更小的學生模型的方法,理想情況下可生成緊湊、易于部署的學生,且準確度與教師相當。
2 MIN READ

2024年 12月 17日
開發具有高效數據存儲的多語種和跨語言信息檢索系統
高效的文本檢索對于搜索、問答、語義文本相似性、摘要和商品推薦等各種信息檢索應用至關重要。它還在檢索增強生成(RAG)技術中發揮著關鍵作用,
2 MIN READ

2024年 12月 16日
對大型語言模型驅動的知識圖譜的洞察、技術和評估
數據是現代企業的生命線,推動著從創新到戰略決策的方方面面。然而,隨著企業組織積累了越來越多的信息 (從技術文檔到內部溝通),
5 MIN READ

2024年 11月 15日
掌握 LLM 技術:數據預處理
大語言模型(LLMs) 的出現標志著各行業利用人工智能(AI)增強運營和服務的方式發生了重大轉變。通過自動化日常任務和簡化流程,
2 MIN READ

2024年 11月 12日
聚焦:Dataloop 借助 NVIDIA NIM 加速 LLM 的多模態數據準備流程
在快速發展的人工智能環境中,為大語言模型(LLMs)準備高質量數據集已成為一項嚴峻的挑戰。這直接影響到模型的準確性、性能,
3 MIN READ

2024年 10月 28日
LLM 模型合并入門指南
自定義 大語言模型(LLM) 時,組織面臨的一個挑戰是需要運行多個實驗,而這些實驗只能產生一個有用的模型。雖然實驗成本通常較低,
2 MIN READ