Amit Bleiweiss – NVIDIA 技術博客

Amit Bleiweiss – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 05 Jun 2025 08:34:37 +0000 zh-CN hourly 1 196178272 通過高效的長上下文大語言模型訓練擴展到數百萬個 Token http://www.open-lab.net/zh-cn/blog/scaling-to-millions-of-tokens-with-efficient-long-context-llm-training/ Mon, 02 Jun 2025 08:30:16 +0000 http://www.open-lab.net/zh-cn/blog/?p=14142 Continued]]> 大語言模型 (LLM) 的演變標志著其處理和生成文本的能力有了顯著提升。在這些發展中，上下文長度的概念 (模型可以處理的單個輸入樣本中的 token 數量) 已成為定義這些模型在不同應用中可以實現的目標的關鍵因素。例如，這些模型允許處理視頻輸入、總結冗長的文檔、在多輪對話中保持一致性、通過思維鏈進行推理，以及使用大量示例執行詳細的上下文學習。在視頻生成和理解、法律文檔分析、低資源語言翻譯等必須保留和利用全面上下文的場景中，以及在使用 AI 助手時，這種擴展功能尤為重要。在本文中，我們將探討長上下文 LLM 的技術基礎，以及如何有效訓練它們的技巧。我們規劃了需求和挑戰，以及如何使用 NVIDIA NeMo 框架通過各種優化技術來解決這些問題，從而提供高吞吐量的高效訓練。隨著越來越多的多模態用例涌現，處理長視頻內容需要模型同時處理數千幀，同時保持時間一致性。

]]>

14142

聚焦：使用 Iguazio 的 MLRun 和 NVIDIA NIM 構建可擴展和可觀察的 AI 以投入生產 http://www.open-lab.net/zh-cn/blog/spotlight-build-scalable-and-observable-ai-ready-for-production-with-iguazios-mlrun-and-nvidia-nim/ Wed, 28 May 2025 05:32:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=14048 Continued]]> Iguazio (被麥肯錫收購) 與 NVIDIA 的合作使企業組織能夠構建生產級 AI 解決方案，這些解決方案不僅具有高性能和可擴展性，而且具有敏捷性，可用于現實世界的部署。 NVIDIA NIM 微服務對于這些功能至關重要，旨在加速任何云或數據中心的生成式 AI 部署。NIM 微服務支持各種 AI 模型，包括 NVIDIA AI 基礎、社區和自定義模型，支持使用行業標準 API 進行無縫、可擴展的 AI 推理。在運行時，NIM 會為基礎模型、GPU 和系統的任意組合選擇最佳推理引擎。NIM 容器還提供標準的可觀察性數據源，并內置支持在 NVIDIA GPU 上使用 Kubernetes 進行自動擴展。 MLRun 是一個開源 AI 編排框架，可自動執行整個 AI 工作流，支持在生產環境中部署 NIM。這包括企業級生產就緒型應用所需的所有工作流元素，包括 MLRun…

]]>

14048

聚焦：Qodo 借助 NVIDIA DGX 實現高效代碼搜索創新 http://www.open-lab.net/zh-cn/blog/spotlight-qodo-innovates-efficient-code-search-with-nvidia-dgx/ Wed, 23 Apr 2025 05:33:27 +0000 http://www.open-lab.net/zh-cn/blog/?p=13605 Continued]]> 大語言模型 (LLMs) 使 AI 工具能夠幫助您更快地編寫更多代碼，但隨著我們要求這些工具承擔越來越復雜的任務，其局限性變得顯而易見。理解編程語言的細微差別、復雜的依賴項以及適應代碼庫特定上下文等挑戰可能會導致代碼質量低下，并導致后續瓶頸。 Qodo 是 NVIDIA Inception 計劃的成員，是一個多智能體代碼完整性平臺，可通過 AI 驅動的智能體進行代碼編寫、測試和審查，從而增強和自動化軟件質量工作流。 Qodo 愿景的一個核心原則是，相信只有在深度情境感知的情況下，AI 才能對軟件完整性進行有意義的改進。代碼并非孤立編寫，而是存在于復雜的架構、不斷演變的依賴項和特定的編碼標準中。為了讓 AI 有效地幫助開發者，它不僅必須理解語法，還必須理解代碼庫的意圖、模式和更廣泛的結構。 Qodo 在先進的檢索增強生成 (RAG) 、

Source

]]>

13605

聚焦：藥物發現初創公司 Protai 利用 AlphaFold、蛋白質組學和 NVIDIA NIM 提升復雜結構預測能力 http://www.open-lab.net/zh-cn/blog/spotlight-drug-discovery-startup-protai-advances-complex-structure-prediction-with-alphafold-proteomics-and-nvidia-nim/ Wed, 19 Feb 2025 04:44:29 +0000 http://www.open-lab.net/zh-cn/blog/?p=12971 Continued]]> 特別是借助 AlphaFold 和 RosettaFold 等突破性成果，生成式 AI 正在改變藥物研發以及生物科技公司和研究實驗室研究蛋白質結構的方式，從而在蛋白質相互作用方面獲得突破性見解。蛋白質是動態實體。正如 AlphaFold2 及其在生物學和醫學領域的應用所示，我們假設蛋白質的原生狀態僅通過其氨基酸序列而為人所知。然而，單個蛋白質可以根據環境采用多個不同的構象，例如溫度的變化。這些構象可以反映靈活的區域、蛋白質復合體內的相互作用，或活動和非活動狀態之間的過渡。 Protai 是 NVIDIA Inception 計劃的成員，旨在捕捉不同蛋白質狀態之間的結構變化，為特定作用機制 (MOA) 確定最精確的蛋白質結構，而不是滿足于可能與治療無關的一個構象。 Protai 正在利用質譜法 (Mass Spectrometry) 和人工智能 (AI)…

]]>

12971

利用特定領域的微調和 NVIDIA NIM 提高翻譯質量 http://www.open-lab.net/zh-cn/blog/improving-translation-quality-with-domain-specific-fine-tuning-and-nvidia-nim/ Wed, 05 Feb 2025 04:30:55 +0000 http://www.open-lab.net/zh-cn/blog/?p=12871 Continued]]> 翻譯在助力公司實現跨國業務擴展方面發揮著至關重要的作用，在語調、準確性和技術術語處理方面的要求差異很大。主權 AI 的出現凸顯了大語言模型（LLM）面臨的嚴峻挑戰，尤其是他們難以捕捉英語主導框架之外的細微文化和語言背景。隨著全球通信變得日益復雜，組織必須仔細評估翻譯解決方案，以平衡技術效率與文化敏感性和語言準確性。在本文中，我們將探討 LLMs 如何解決以下兩種截然不同的英語到繁體中文翻譯用例：這些用例需要采用常規翻譯以外的專門方法。雖然使用指令調整 LLMs 進行提示工程可以處理某些情境，但此類更精細的任務通常無法達到預期效果。因此，在針對每個翻譯環境收集的特定數據集上單獨微調 Low-Rank Adaptation（LoRA）適配器變得至關重要。在此項目中，我們將使用 Llama 3.1 8B Instruct 作為預訓練模型，

]]>

12871

掌握 LLM 技術：評估 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-evaluation/ Wed, 29 Jan 2025 05:34:32 +0000 http://www.open-lab.net/zh-cn/blog/?p=12917 Continued]]> 評估大語言模型（LLMs）和檢索增強生成（RAG）系統是一個復雜而微妙的過程，反映了這些系統的復雜性和多面性。與傳統機器學習（ML）模型不同，LLMs 會生成各種不同且往往不可預測的輸出，因此無法滿足標準評估指標的需求。主要挑戰包括許多任務缺乏確定的真值、數據污染的風險，以及模型對提示變化和解碼策略的敏感度。此外，LLMs 通常會生成高質量的輸出，甚至可以超越低質量的人類引用，從而無法滿足基于引用的傳統指標的需求。在本文中，我們將探討用于評估 LLMs 和 RAG 系統準確性和可靠性的可靠評估技術和最佳實踐。在生成式 AI 應用的開發過程中，嚴格的評估對于確保系統有效性和可靠性至關重要。此過程具有多個關鍵功能，包括通過確認 AI 符合預期并提供有意義的交互來驗證用戶滿意度。評估還可確保輸出一致性，驗證生成的內容在邏輯上是否一致且符合上下文。

]]>

12917

掌握 LLM 技術：數據預處理 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-data-preprocessing/ Fri, 15 Nov 2024 07:34:52 +0000 http://www.open-lab.net/zh-cn/blog/?p=12050 Continued]]> 大語言模型（LLMs）的出現標志著各行業利用人工智能（AI）增強運營和服務的方式發生了重大轉變。通過自動化日常任務和簡化流程，LLMs 可以釋放人力資源，用于更具戰略性的工作，從而提高整體效率和生產力。主要由于 LLM 對高質量數據的依賴性，訓練和定制 LLM 以實現高準確度充滿挑戰。數據質量差和數據量不足會顯著降低模型準確性，因此數據集準備成為 AI 開發者的關鍵任務。數據集通常包含重復文檔、個人身份信息（PII）和格式問題。一些數據集甚至包含對用戶構成風險的有毒或有害信息。在未進行適當處理的情況下基于這些數據集訓練模型會增加訓練時間并降低模型質量。另一個重大挑戰是數據稀缺。模型構建者公開可用的數據不足以用于訓練，這促使許多模型構建者轉而求助于第三方供應商，或使用高級語言模型生成合成數據。在本文中，

]]>

12050

聚焦：Dataloop 借助 NVIDIA NIM 加速 LLM 的多模態數據準備流程 http://www.open-lab.net/zh-cn/blog/spotlight-dataloop-accelerates-multimodal-data-preparation-pipelines-for-llms-with-nvidia-nim/ Tue, 12 Nov 2024 08:00:17 +0000 http://www.open-lab.net/zh-cn/blog/?p=12057 Continued]]> 在快速發展的人工智能環境中，為大語言模型（LLMs）準備高質量數據集已成為一項嚴峻的挑戰。這直接影響到模型的準確性、性能，以及跨不同任務和領域生成可靠、無偏輸出的能力。得益于 NVIDIA 與 Dataloop 的合作，我們正在正面克服這一障礙，徹底改變企業為 AI 應用準備和管理數據的方式。 Dataloop 是 NVIDIA Inception 計劃的成員，該計劃旨在幫助各個階段的初創公司加速發展和業務增長。 NVIDIA NIM 微服務與 Dataloop 平臺的集成標志著在優化大型語言模型（LLMs）數據準備工作流方面取得了重大飛躍。這次合作使企業能夠高效處理大型非結構化數據集，簡化人工智能驅動流程和 LLM 訓練的準備工作。迄今為止，AI 團隊在為大型語言模型準備數據時面臨著兩個主要障礙為了克服這些挑戰，

]]>

12057

使用 NVIDIA AI 端點和 Ragas 對醫療 RAG 的評估分析 http://www.open-lab.net/zh-cn/blog/evaluating-medical-rag-with-nvidia-ai-endpoints-and-ragas/ Tue, 01 Oct 2024 08:59:35 +0000 http://www.open-lab.net/zh-cn/blog/?p=11492 Continued]]> 在快速發展的醫學領域，尖端技術的集成對于增強患者護理和推進研究至關重要。其中一項創新是檢索增強生成（RAG），它正在改變醫療信息的處理和使用方式。 RAG 將大語言模型 (LLMs) 的功能與外部知識檢索相結合，解決了信息過時和生成不準確數據（稱為“幻覺”）等關鍵限制。通過從結構化數據庫、科學文獻和患者記錄中檢索最新的相關信息，RAG 為醫療應用提供了更準確、更符合情境感知的基礎。這種混合方法提高了生成輸出的準確性和可靠性，并增強了可解釋性，使其成為藥物研發和臨床試驗篩選等領域的重要工具。隨著我們繼續探索 RAG 在醫學領域的潛力，必須嚴格評估其性能，同時考慮檢索和生成組件，以確保在醫療應用中實現更高的準確性和相關性標準。醫療 RAG 系統具有獨特的需求和要求，這凸顯了對全面評估框架的需求，這些框架可以有力地解決這些問題。在本文中，

]]>

11492

聚焦：xpander AI 為 NVIDIA NIM 應用配備 Agentic 工具 http://www.open-lab.net/zh-cn/blog/spotlight-xpander-ai-equips-nvidia-nim-applications-with-agentic-tools/ Wed, 11 Sep 2024 07:50:47 +0000 http://www.open-lab.net/zh-cn/blog/?p=11273 Continued]]> 為智能體 AI 應用配備工具將引領 AI 進入下一階段。通過使自主智能體和其他 AI 應用能夠獲取實時數據、執行操作，并與外部系統交互，開發者可以彌合與新的真實用例之間的差距，從而顯著提高工作效率和用戶體驗。 xpander AI 是 NVIDIA Inception 計劃的成員，該公司開發了獨特的 AI 就緒型連接器技術，可在 AI 應用和互補系統之間實現連接，從而將強大的新用例變為現實。xpander 幫助 AI 工程師使用高級工具調用用例構建應用，而無需進行大量集成工作或提高工具調用的準確性，這兩者都是生產過程中的常見障礙。 xpander AI 連接器可通過多智能體 AI 工作流幫助開發者克服這些挑戰，該工作流可提取與目標系統相關的數據，并為該系統創建經過優化的連接器，以供智能體應用使用。

]]>

11273

NVIDIA TensorRT-LLM 加速 Hebrew 語言模型性能優化 http://www.open-lab.net/zh-cn/blog/accelerating-hebrew-llm-performance-with-nvidia-tensorrt-llm/ Tue, 06 Aug 2024 03:21:25 +0000 http://www.open-lab.net/zh-cn/blog/?p=10922 Continued]]> 開發高性能的 Hebrew 大語言模型（LLM）帶來了獨特的挑戰，因為 Hebrew 語言本身豐富而復雜。Hebrew 的復雜結構以及通過詞根和模式組合形成的詞，需要復雜的建模方法。此外，由于 Hebrew 文本中缺乏大寫以及頻繁缺乏諸如句點和逗號之類的標點符號，因此難以正確分割句子。例如，單詞的多義性和語序的靈活性增加了語言處理的復雜度。例如，單詞????可以根據發音表示“coffee”或“encircle”。此外，希伯來語避免使用表示元音的附加符號，這進一步復雜了準確的文本處理和理解。克服這些獨特的語言障礙對于訓練能夠真正理解和生成高質量希伯來文文本的 AI 模型至關重要。DictaLM-2.0 套件是針對希伯來文的特定語言模型，它基于經典和現代希伯來文文本進行了訓練，最近在 Hugging Face Open 排行榜上位列希伯來文語言模型的榜首。

]]>

10922

利用重新排名技術增強 RAG 管道性能 http://www.open-lab.net/zh-cn/blog/enhancing-rag-pipelines-with-re-ranking/ Tue, 30 Jul 2024 06:24:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=10955 Continued]]> 在快速發展的 AI 驅動應用程序格局中，重新排名已成為提高企業搜索結果的準確性和相關性的關鍵技術。通過使用先進的機器學習算法，重新排名可以優化初始搜索輸出，以更好地與用戶意圖和上下文保持一致，從而顯著提高語義搜索的有效性。這通過提供更準確、更符合上下文的結果來提高用戶滿意度，同時還提高了轉化率和參與度指標。重新排名在優化檢索增強生成（Retrieval-Augmented Generation，RAG）流程方面也發揮著至關重要的作用，可確保大型語言模型（Large Language Models，LLMs）處理最相關和高質量的信息。重新排名的這一雙重優勢（增強語義搜索和RAG流程）使其成為旨在提供卓越搜索體驗并在數字市場中保持競爭優勢的企業不可或缺的工具。在本文中，我使用了 NVIDIA NeMo Retriever Reranking NIM。

]]>

10955

使用 NVIDIA NIM 實現多語種大語言模型部署 http://www.open-lab.net/zh-cn/blog/deploy-multilingual-llms-with-nvidia-nim/ Mon, 08 Jul 2024 07:40:39 +0000 http://www.open-lab.net/zh-cn/blog/?p=10600 Continued]]> 對于在當今全球化商業環境中運營的企業而言，多語種大型語言模型(LLM）的重要性與日俱增。隨著企業跨越國界和文化擴展業務，使用多種語言進行有效溝通的能力對于取得成功至關重要。通過支持和投資多語種 LLM，企業可以打破語言障礙，培養包容性，并在全球市場中獲得競爭優勢。基礎模型在處理多語種語言時通常會面臨挑戰。大多數模型主要使用英語文本語料庫進行訓練，這導致了對西方語言模式和文化規范的內在偏見。這導致 LLM 難以準確捕捉非西方語言和社會特有的細微差別、習語和文化語境。此外，許多低資源語言缺乏高質量數字化文本數據，這進一步加劇了資源緊缺問題，使 LLM 難以跨這些語言進行有效學習和泛化。因此，LLM 通常無法反映非西方語言固有的文化上適當的表達、情感含義和上下文微妙之處，從而導致潛在的錯誤解釋或有偏見的輸出。根據Meta Llama 3最近的一篇博客文章：

]]>

10600

使用 NVIDIA NeMo 訓練本地化多語種 LLM，第 1 部分 http://www.open-lab.net/zh-cn/blog/training-localized-multilingual-llms-with-nvidia-nemo-part-1/ Fri, 17 May 2024 05:22:06 +0000 http://www.open-lab.net/zh-cn/blog/?p=10125 Continued]]> 在當今的全球化世界中，AI 系統理解和溝通不同語言的能力變得越來越重要。大型語言模型 (LLMs) 徹底改變了自然語言處理領域，使 AI 能夠生成類似人類的文本、回答問題和執行各種語言任務。然而，大多數主流 LLM 都在主要由英語組成的數據語料庫上進行訓練，從而限制了它們對其他語言和文化語境的適用性。這就是多語種 LLM 的價值所在：縮小語言差距，并釋放 AI 的潛力，使其惠及更廣泛的受眾。特別是，由于訓練數據有限以及東南亞 (SEA) 語言的獨特語言特性，當前最先進的 LLM 經常難以與這些語言進行交流。這導致與英語等高資源語言相比，性能較低。雖然一些 LLM 在一定程度上可以處理某些 SEA 語言，但仍然存在不一致、幻覺和安全問題。與此同時，人們對在東南亞開發本地化的多語種 LLM 有著濃厚的興趣和決心。一個值得注意的例子是，新加坡啟動了一項 7000 萬新元的計劃，

]]>

10125

使用 NVIDIA NeMo 訓練本地化多語種 LLM，第 2 部分 http://www.open-lab.net/zh-cn/blog/training-localized-multilingual-llms-with-nvidia-nemo-part-2/ Fri, 17 May 2024 05:14:34 +0000 http://www.open-lab.net/zh-cn/blog/?p=10119 Continued]]> 在第一部分中，我們討論了如何訓練單語分詞器，并將其與預訓練 LLM 的分詞器合并，以形成多語言分詞器。在本文中，我們將向您展示如何將自定義分詞器集成到預訓練 LLM，以及如何在 NVIDIA NeMo 中實現這一目標。開始之前，請先導入以下庫：合并后，組合分詞器的詞匯量大于 GPT-megatron-1.3 B 模型預訓練分詞器的詞匯量。這意味著您必須擴展 GPT – megatron – 1.3 B 模型的嵌入層，以適應組合分詞器 (圖 2)。關鍵步驟包括以下內容：然后，此擴展嵌入層會替換預訓練模型中的原始層，使其能夠以新語言處理其他標記，同時保留在初始預訓練過程中學習的知識。運行以下代碼以加載 GPT-megatron-1.3 B.nemo 模型：加載模型后，

]]>

10119

人人超碰97caoporen国产