NeMo 框架 – NVIDIA 技術博客

NeMo 框架 – NVIDIA 技術博客 http://www.open-lab.net/zh-cn/blog 閱讀開發者創建的最新技術信息、頭條新聞和內容。 Thu, 30 Nov 2023 07:43:05 +0000 zh-CN hourly 1 196178272 使用 NVIDIA 檢索 QA 嵌入模型構建企業檢索增強生成應用 http://www.open-lab.net/zh-cn/blog/build-enterprise-retrieval-augmented-generation-apps-with-nvidia-retrieval-qa-embedding-model/ Thu, 30 Nov 2023 06:31:11 +0000 http://www.open-lab.net/zh-cn/blog/?p=8359 Continued]]> 大型語言模型 (LLM) 對人類語言和編程語言的深刻理解正在改變 AI 格局。對于新一代企業生產力應用程序而言，它們至關重要，可提高用戶在編程、文案編輯、頭腦風暴和回答各種主題的問題等任務中的效率。然而，這些模型通常難以處理實時事件和特定知識領域，從而導致不準確之處。微調這些模型可以增強其知識，但成本高昂，并且需要定期更新。檢索增強生成（RAG）通過將信息檢索與 LLM 結合，為開放領域的問答應用提供解決方案。RAG 為 LLM 提供大量可更新的知識，有效解決了這些限制（圖 1）。NVIDIA NeMo 框架中的 NVIDIA NeMo Retriever 優化了 RAG 的嵌入和檢索部分，以提供更高的準確性和更高效的響應。本文概述了 RAG 工作流組件的工作原理，以及與創建支持 RAG 的 AI 應用相關的企業挑戰(例如商業可行性)。

]]>

8359

使用 NVIDIA BioNeMo 框架訓練用于藥物研發的生成式 AI 模型 http://www.open-lab.net/zh-cn/blog/train-generative-ai-models-for-drug-discovery-with-bionemo-framework/ Wed, 29 Nov 2023 06:09:38 +0000 http://www.open-lab.net/zh-cn/blog/?p=8346 Continued]]> NVIDIA BioNeMo 框架已發布，現可在 NGC 上下載，使研究人員能夠在藥物研發應用中構建和部署生成式 AI、大型語言模型 (LLM) 和基礎模型。 BioNeMo 平臺包括托管服務、API 端點和訓練框架，可簡化、加速和擴展用于藥物研發的生成式 AI.BioNeMo 能夠通過大規模端到端加速預訓練或微調先進的模型。它可作為 NVIDIA DGX 云上的完全托管服務和 NVIDIA Base Command 平臺，也可作為可下載的框架，用于部署本地基礎架構和各種云平臺。這為藥物研發人員和開發者提供了一種快速輕松的方法，以便在從標識別到潛在客戶優化的整個藥物研發流程中構建和集成先進的 AI 應用。 NVIDIA BioNeMo 為多個領域的生成式 AI 模型提供優化。BioNeMo 框架 v1.0 提供優化的模型架構和工具，

]]>

8346

掌握 LLM 技術：推理優化 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-inference-optimization/ Fri, 17 Nov 2023 05:14:21 +0000 http://www.open-lab.net/zh-cn/blog/?p=8306 Continued]]> 通過堆疊 Transformer 層來創建大型模型，可以提高準確性、實現少量學習功能，并且在各種語言任務中實現近乎人類的性能。這些基礎模型的訓練成本高昂，而且在推理過程中可能會占用大量內存和計算資源（這是一種重復性成本）。目前最熱門的大型語言模型 (LLM)可以達到數百億到數千億的參數規模，并且根據用例，可能需要處理長輸入（或上下文），這也會增加費用。本文討論了大型語言模型（LLM）推理中最緊迫的挑戰及其實用解決方案。建議讀者對 Transformer 架構和通用注意力機制有基本的了解。我們將在下一節重點討論掌握 LLM 推理復雜性的重要性。大多數熱門的僅使用解碼器的 LLM (例如 GPT-3)都基于因果關系建模目標進行了預訓練，本質上是作為次詞預測器。這些 LLM 接受一系列標記作為輸入，并以自回歸方式生成后續標記，直到它們滿足停止標準(例如，

]]>

8306

掌握 LLM 技術：訓練 http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-training/ Thu, 16 Nov 2023 05:30:20 +0000 http://www.open-lab.net/zh-cn/blog/?p=8313 Continued]]> 大型語言模型 (LLM) 是一類使用 Transformer 網絡構建的生成式 AI 模型，能夠利用非常大的數據集來識別、匯總、翻譯、預測和生成語言。正如我們所知，LLM 有望改變社會，但訓練這些基礎模型極具挑戰性。此博客闡述了使用 Transformer 網絡構建 LLM 的基本原理，涵蓋模型架構、注意力機制、嵌入技術和基礎模型訓練策略。模型架構定義了 Transformer 網絡的骨干，大致規定了模型的功能和限制。LLM 的架構通常稱為編碼器、解碼器或編碼器 – 解碼器模型。一些熱門架構包括：另一個熱門架構決策是擴展到多模態模型，這些模型結合了來自文本、圖像、音頻和視頻等多種模式或形式的數據的信息。雖然訓練具有挑戰性，但多模態模型提供了來自不同模式的互補信息的關鍵優勢，正如人類通過分析來自多種感官的數據所理解的那樣。

]]>

8313

使用 NVIDIA AI 基礎模型構建自定義企業級生成式 AI http://www.open-lab.net/zh-cn/blog/build-custom-enterprise-grade-generative-ai-with-nvidia-ai-foundation-models/ Wed, 15 Nov 2023 07:14:09 +0000 http://www.open-lab.net/zh-cn/blog/?p=8261 Continued]]> 在構建企業級生成式 AI 和大型語言模型 (LLM) 時，需要收集高質量數據、搭建加速基礎架構以及擁有優化模型的專業知識。開發者可以從預訓練模型開始，并根據其用例對其進行微調，從而節省時間，并使其解決方案更快地投入市場。開發者需要一種簡單的方法來嘗試模型，并通過 API 集成模型來評估其功能。這有助于他們確定最適合其應用的模型。 NVIDIA AI 基礎模型是一組經過精心策劃的社區模型和 NVIDIA 構建的模型，它們針對峰值性能進行了優化。開發者可以直接通過 API 或 * 圖形用戶界面從瀏覽器中快速使用這些模型，無需任何設置。模型 * 通過 NVIDIA TensorRT-LLM 和激活感知型權重量化 (AWQ) 進行配置，以實現最高吞吐量和最低延遲，并在 NVIDIA 加速計算堆棧上大規模運行。我們的 NVIDIA Nemotron-3 8B…

]]>

8261

借助 NVIDIA AI on Azure 機器學習提升企業生成式 AI 應用開發速度 http://www.open-lab.net/zh-cn/blog/elevate-enterprise-generative-ai-app-development-with-nvidia-ai-on-azure-machine-learning/ Wed, 15 Nov 2023 07:08:50 +0000 http://www.open-lab.net/zh-cn/blog/?p=8256 Continued]]> 生成式 AI 正在徹底改變各行各業的組織利用數據來提高生產力、推進個性化客戶互動并促進創新的方式。鑒于其巨大的價值，企業正在尋找工具和專業知識，以幫助他們有效、可靠地將這項新技術集成到其業務運營和戰略中。 NVIDIA 和 Microsoft 攜手合作，利用 NVIDIA AI on Azure Machine Learning (Azure ML)，為企業提供用于構建、優化和部署 AI 應用程序(包括生成式 AI)的全面解決方案。在本周的 Microsoft Ignite 上， NVIDIA 和 Microsoft 宣布了另外兩個里程碑，為 Azure ML 帶來管理生產級 AI 和開發生成式 AI 應用的新功能。 6 月，我們發布了一篇博文，解釋了 NVIDIA AI Enterprise 軟件與 Azure 機器學習集成的詳情及入門指南。

]]>

8256

NVIDIA AI Foundation 模型：使用生產就緒型 LLM 構建自定義企業聊天機器人和 Co-Pilot http://www.open-lab.net/zh-cn/blog/nvidia-ai-foundation-models-build-custom-enterprise-chatbots-and-co-pilots-with-production-ready-llms/ Wed, 15 Nov 2023 07:01:39 +0000 http://www.open-lab.net/zh-cn/blog/?p=8252 Continued]]> 大型語言模型（LLM）正在革新數據科學領域，特別是在自然語言理解、AI 以及機器學習方面。針對特定領域的見解量身打造的自定義 LLM 在企業應用程序中的吸引力越來越大。 NVIDIA NeMo Megatron-3 8B 系列基礎模型是一款功能強大的新工具，用于構建生產就緒型生成式 AI。從客戶服務 AI 聊天機器人到尖端 AI 產品，它在企業中促進創新的應用廣泛。這些新的基礎模型 NVIDIA NeMo 端到端框架，用于構建、自定義和部署為企業量身打造的 LLM。企業現在可以使用這些工具快速、經濟高效地大規模開發 AI 應用程序。這些應用程序可以在云、數據中心以及 Windows 臺式機和筆記本電腦上運行。 Nemotron-3 8B 系列可在 Azure AI 模型目錄、HuggingFace 和 NVIDIA NGC 的 NVIDIA AI…

]]>

8252

掌握 LLM 技術：LLMOps http://www.open-lab.net/zh-cn/blog/mastering-llm-techniques-llmops/ Wed, 15 Nov 2023 06:39:19 +0000 http://www.open-lab.net/zh-cn/blog/?p=8242 Continued]]> 企業比以往更依賴數據和 AI 來創新、為客戶創造價值并保持競爭力。機器學習 (ML) 的采用催生了對工具、流程和組織原則的需求，這些需求是為了管理那些可靠、經濟高效且能夠大規模運行的代碼、數據和模型。這通常被稱為機器學習操作（MLOps）。世界正在迅速進入一個由基礎模型，尤其是大型語言模型 (LLM) 提供動力支持的新生成式 AI 時代。ChatGPT 的發布進一步加速了這一轉變。生成式 AI 操作 (GenAIOps) 和大型語言模型操作 (LLMOps) 的新專業領域隨著 MLOps 的演變而出現，旨在解決在生產環境中開發和管理生成式 AI 和 LLM 驅動的應用所面臨的挑戰。在本文中，我們概述了生成式 AI 應用開發之旅，定義了 GenAIOps 和 LLMOps 的概念，并將其與 MLOps 進行了比較。

]]>

8242

開始使用適用于企業解決方案的大型語言模型 http://www.open-lab.net/zh-cn/blog/getting-started-with-large-language-models-for-enterprise-solutions/ Tue, 07 Nov 2023 04:19:12 +0000 http://www.open-lab.net/zh-cn/blog/?p=8156 Continued]]> 大型語言模型 (LLM)是在具有數千億參數的互聯網級數據集上進行訓練的深度學習算法。LLM 可以讀取、寫入、編碼、繪制和增強人類創造力，以提高各行各業的生產力，并解決世界上最棘手的問題。 LLM 被廣泛應用于各行各業，從零售到醫療健康，以及各種任務。它們學習蛋白質序列的語言，以生成新的可行化合物，從而幫助科學家開發創新的救命疫苗。它們幫助軟件程序員根據自然語言描述生成代碼并修復錯誤。它們還提供生產力 Co-Pilot，以便人類可以更好地完成他們擅長的工作 – 創建、提問和理解。要在企業應用程序和工作流中有效利用 LLM，需要了解模型選擇、自定義、優化和部署等關鍵主題。本文將探討以下企業 LLM 主題：無論您是希望構建自定義模型的數據科學家，還是探索 LLM 在組織中的潛力的首席數據官，請繼續閱讀以獲取寶貴見解和指導。 LLM 被用于各種跨行業應用，

]]>

8156

現已公開發布！歡迎使用 NVIDIA TensorRT-LLM 優化大語言模型推理 http://www.open-lab.net/zh-cn/blog/optimizing-inference-on-llms-with-tensorrt-llm-now-publicly-available/ Thu, 19 Oct 2023 06:54:42 +0000 http://www.open-lab.net/zh-cn/blog/?p=8071 Continued]]> NVIDIA 于 2023 年 10 月 19 日公開發布 TensorRT-LLM，可在 NVIDIA GPU 上加速和優化最新的大語言模型（ Large Language Models）的推理性能。該開源程序庫現已作為 NVIDIA NeMo 框架的一部分，在 /NVIDIA/TensorRT-LLM GitHub 資源庫中免費提供。大語言模型徹底改變了人工智能領域，并創造了與數字世界交互的全新方式。但是，隨著世界各地的企業和應用開發者想要在自己的工作中采用大語言模型，運行這些模型的相關問題開始凸顯。簡而言之，大語言模型規模龐大。如果不采用正確的技術，那么運行大語言模型的成本不僅會很高，速度也會很慢。為解決這一問題，從模型優化（如內核融合和量化）到運行時優化（如 C++ 實現、KV 緩存、連續動態批處理 continuous in-flight…

]]>

8071

宣布推出 SteerLM：在推理期間自定義 LLM 的簡單實用技術 http://www.open-lab.net/zh-cn/blog/announcing-steerlm-a-simple-and-practical-technique-to-customize-llms-during-inference/ Wed, 11 Oct 2023 06:22:13 +0000 http://www.open-lab.net/zh-cn/blog/?p=8024 Continued]]> 近年來，隨著大語言模型 (LLMs)例如 GPT-3、Megatron-Turing、Chinchilla、PaLM-2、Falcon 和 Lama 2 在自然語言生成方面取得了顯著進展。然而，盡管這些 LLM 能夠生成類似人類的文本，但它們可能無法提供符合用戶偏好的有用且細致入微的響應。當前改進大語言模型 (LLM) 的方法包括監督精調 (SFT)，然后是從人類反饋中進行強化學習 (RLHF)。雖然 RLHF 可以提高性能，但它有一些局限性，包括訓練復雜性和缺乏用戶控制。 NVIDIA 研究團隊為了克服這些挑戰，開發并發布了 SteerLM，這是一種新的四步技術，可以簡化 LLM 的自定義，并根據您指定的屬性動態轉向模型輸出，作為 NVIDIA NeMo 的一部分。本文將深入探討 SteerLM 的工作原理，為什么它標志著一個顯著的進步，

]]>

8024

用于矛式網絡釣魚檢測的生成式人工智能和加速計算 http://www.open-lab.net/zh-cn/blog/generative-ai-and-accelerated-computing-for-spear-phishing-detection/ Tue, 12 Sep 2023 10:05:56 +0000 http://www.open-lab.net/zh-cn/blog/?p=7864 Continued]]> 矛式網絡釣魚是最大、成本最高的網絡威脅形式。據估計，2021 年有 30 萬受害者，僅在美國就損失了 4400 萬美元，根據 FBI 網絡犯罪報告。同時，IBM 安全數據泄露成本報告也對此進行了說明。矛式網絡釣魚電子郵件與受害者可能收到的善意電子郵件無法區分。這也是為什么魚叉式網絡釣魚電子郵件的傳統分類如此困難的原因。騙局和合法電子郵件之間的內容差異可能很小。通常，兩者之間唯一的區別是發件人的意圖：發票是合法的，還是騙局？這篇文章詳細介紹了一種雙重方法，通過使用增強意圖信號來改進魚叉式網絡釣魚檢測。這種方法利用了 NVIDIA Morpheus 進行數據處理和推理。第一步包括使用生成式人工智能創建大量多樣的電子郵件語料庫，其中包含與魚叉式網絡釣魚和詐騙相關的各種意圖。隨著新威脅的出現，NVIDIA Morpheus 團隊使用 NVIDIA NeMo…

]]>

7864

NVIDIA AI Enterprise 4.0 推出，助力企業構建生產就緒的生成式 AI 為業務賦能 http://www.open-lab.net/zh-cn/blog/power-your-business-with-nvidia-ai-enterprise-4-0-for-production-ready-generative-ai/ Tue, 12 Sep 2023 05:30:28 +0000 http://www.open-lab.net/zh-cn/blog/?p=7883 Continued]]> 生成式 AI 已經跨越鴻溝并達到“ iPhone 時刻”，現在必須能夠擴展以滿足指數級增長的需求。可靠性和正常運行時間對于打造企業級生成式 AI 至關重要，尤其是當 AI 成為業務運轉的核心時。NVIDIA 正在將專業知識投入到解決方案的開發過程中，助力企業實現這樣的飛躍。最新版 NVIDIA AI Enterprise 助力利用生成式 AI 進行創新的企業加速開發，為企業提供生產就緒型支持、可管理性、安全性和可靠性。生成式 AI 模型具有數十億個參數，需要高效的數據訓練管道。訓練模型的復雜性、針對特定領域任務進行定制以及大規模部署模型都需要專業知識和計算資源。 NVIDIA AI Enterprise 4.0 包括 NVIDIA NeMo，這是一個端到端云原生框架，用于大規模數據管理、大語言模型的加速訓練和定制，以及在用戶首選平臺上優化推理。

]]>

7883

NVIDIA TensorRT-LLM 在 NVIDIA H100 GPU 上大幅提升大語言模型推理能力 http://www.open-lab.net/zh-cn/blog/nvidia-tensorrt-llm-supercharges-large-language-model-inference-on-nvidia-h100-gpus/ Fri, 08 Sep 2023 04:01:53 +0000 http://www.open-lab.net/zh-cn/blog/?p=7796 Continued]]> 大語言模型（LLM）提供異常強大的新功能，拓展了 AI 的應用領域。但由于其龐大的規模和獨特的執行特性，很難找到經濟高效的使用方式。 NVIDIA 一直在與 Meta、Anyscale、Cohere、Deci、Grammarly、Mistral AI、MosaicML（現已并入 Databricks）、OctoML、ServiceNow、Tabnine、Together AI 和 Uber 等頭部企業密切合作，共同加速和優化 LLM 推理性能。這些創新已被集成到開源的 NVIDIA TensorRT-LLM 軟件中，可用于 Ampere、Lovelace 和 Hopper 架構 GPU，并將在未來幾周內發布。TensorRT-LLM 包含 TensorRT 深度學習編譯器，并且帶有經過優化的內核、前處理和后處理步驟，以及多 GPU/多節點通信原語，

]]>

7796

在 GPU 加速的 Google Cloud 上使用 NVIDIA NeMo 簡化生成式 AI 開發 http://www.open-lab.net/zh-cn/blog/streamline-generative-ai-development-with-nvidia-nemo-on-gpu-accelerated-google-cloud/ Tue, 29 Aug 2023 05:40:14 +0000 http://www.open-lab.net/zh-cn/blog/?p=7715 Continued]]> 生成式人工智能已成為我們時代的變革力量，使各行各業的組織能夠實現無與倫比的生產力水平，提升客戶體驗，并提供卓越的運營效率。大語言模型 (LLMs) 是生成式人工智能背后的大腦。獲得 Llama 和 Falcon 等功能強大、知識淵博的基礎模型，為創造驚人的機會打開了大門。然而，這些模型缺乏服務于企業用例所需的特定領域的知識。開發人員有三種選擇來為其生成的人工智能應用程序提供動力： NVIDIA NeMo 是一個端到端的云原生框架，用于構建、定制和部署生成人工智能模型。它包括訓練和推理框架 Guardrails，以及數據管理工具，以實現采用生成人工智能的簡單、經濟高效和快速的方式。隨著生成性人工智能模型及其發展的不斷進步，人工智能堆棧及其依賴關系變得越來越復雜。對于在人工智能上運營業務的企業，

]]>

7715

人人超碰97caoporen国产