在構建企業級 生成式 AI 和 大型語言模型 (LLM) 時,需要收集高質量數據、搭建加速基礎架構以及擁有優化模型的專業知識。
開發者可以從預訓練模型開始,并根據其用例對其進行微調,從而節省時間,并使其解決方案更快地投入市場。開發者需要一種簡單的方法來嘗試模型,并通過 API 集成模型來評估其功能。這有助于他們確定最適合其應用的模型。
NVIDIA AI 基礎模型
NVIDIA AI 基礎模型 是一組經過精心策劃的社區模型和 NVIDIA 構建的模型,它們針對峰值性能進行了優化。開發者可以直接通過 API 或 * 圖形用戶界面從瀏覽器中快速使用這些模型,無需任何設置。模型 * 通過 NVIDIA TensorRT-LLM 和激活感知型權重量化 (AWQ) 進行配置,以實現最高吞吐量和最低延遲,并在 NVIDIA 加速計算堆棧上大規模運行。
隆重推出 NVIDIA Nemotron-3 8B 系列 LLM
我們的 NVIDIA Nemotron-3 8B 系列模型 為希望構建生產就緒型生成式 AI 應用的客戶提供了基礎。這些模型基于負責任的數據集構建,運行性能優于更大的模型,是企業部署的理想選擇。
NVIDIA Nemotron-3 8B 系列模型的主要區別在于其多語種功能,這使其成為全球企業的理想選擇。這些模型開箱即用,精通 53 種語言,包括英語、德語、俄語、西班牙語、法語、日語、中文、意大利語和荷蘭語。
該系列模型還采用了一系列比對技術,包括監督式微調(SFT)、基于人類反饋的強化學習(RLHF),以及 NVIDIA 新推出的 SteerLM,這是一種在推理時調整模型以實現定制的技術。無論是從頭開始自定義還是運行現有模型,這些技術都可以為不同用例提供多樣化的起點。
Nemotron-3 8B 系列型號包括:
- Nemotron-3-8B-Chat-SteerLM 是一種基于 NV-Nemotron-3-8B 基礎模型的生成語言模型,用戶可以在使用 SteerLM 技術進行推理時控制模型的輸出。
- 基于 NV-Nemotron-3-8B 基礎模型的 Nemotron-3-8B-QA 是一種生成語言模型,可用于進一步微調以處理問答任務。
NVIDIA 優化的社區模型
此外, NVIDIA 還提供先進的社區模型,這些模型*已使用 NVIDIA TensorRT-LLM 進行優化,可為企業組織提供可針對其企業應用程序自定義的最高性價比。這些模型包括:
- 美洲豹 2 (Lama 2) 是目前最受歡迎的大型語言模型 (LLM) 之一,它能夠根據給定的提示生成文本。
- 穩定擴散 XL 是一種流行的生成式 AI 模型,能夠根據文本提示創建富有表現力的圖像。
- Code Lama 是 Lama 2 模型的微調版本,能夠生成 Java、C++、Python 等幾種熱門編程語言的代碼。
- Mistral 7B LLM 能夠根據指令完成任務,并生成創意文本。
- 對比語言圖像預訓練 (CLIP) 是一種流行的開源模型,它能夠理解圖像和文本,實現圖像分類、物體檢測等多種任務。
當開發者確定了正確的基礎模型后,他們可以通過簡單的方法在自己或 NVIDIA 維護的基礎設施上微調和部署這些模型,例如 NVIDIA DGX 云。
我們來逐步了解體驗、自定義和部署經過微調的 Llama 2 模型的步驟。
體驗 Lama 2
NVIDIA 提供了一個易于使用的界面,可直接從瀏覽器中與 美洲豹 2 (Lama 2) 模型進行交互。只需在提示字段中輸入文本,然后單擊 “generate”(生成),模型便會立即開始生成信息豐富的響應。
在圖 1 中,一位用戶要求模型執行 SQL 查詢,以檢索 2021 年第一季度支出至少 50000 美元的客戶列表。該模型正確解釋了用戶的查詢,并提供了詳細解釋的答案。

開發者通常對代碼更感興趣。 NVIDIA 還直接在瀏覽器中提供 API 小組件,以便通過 API 無縫體驗模型。
要試用瀏覽器內 API,請單擊 API 模式,然后從下拉列表中選擇您喜歡的語言。圖 2 顯示了通過 cURL 調用 API 的 API 說明。
自定義模型
通常情況下,這些模型無法按原樣滿足開發者的#需求,因此必須使用專有數據進行微調。 NVIDIA 提供了多種自定義可用模型的途徑。
NVIDIA NeMo 是一個端到端的企業級云原生框架,它使開發者能夠構建、自定義和部署具有數十億參數的生成式 AI 模型。NeMo 還提供了 API,用于微調 LLM(例如 Llama 2)。
為了快速入門,我們將提供 NVIDIA LaunchPad 實驗室,這是一個通用的試驗場,可對最新的 NVIDIA 企業硬件和軟件進行全面測試。
LaunchPad 實驗體驗中的以下示例使用自定義數據集微調了 Lama 2 7B 文本轉文本模型,以更好地執行問答任務。
- 要開始使用,請點擊 Lama 2 微調實驗室 并請求訪問。在 Launchpad 上運行時,Lama 2 模型文件以 .nemo 檢查點的形式預先下載,以實現與 NVIDIA NeMo 框架的兼容性微調。
- 模型準備就緒后,我們將加載Dolly 數據集,通過 Hugging Face 進行處理,并對其進行預處理。預處理步驟包括刪除不必要的字段、重命名某些字段以更好地適應 p-tuning 任務,以及將數據集分割為訓練集和測試集。
dataset = load_dataset("aisquared/databricks-dolly-15k")
其中顯示了數據樣本。可以交換數據集以適應特定用例。
{
"question": "When did Virgin Australia start operating?",
"context": "Virgin Australia, the trading name of Virgin Australia Airlines Pty Ltd, is an Australian-based airline. It is the largest airline by fleet size to use the Virgin brand. It commenced services on 31 August 2000 as Virgin Blue, with two aircraft on a single route.[3] It suddenly found itself as a major airline in Australia's domestic market after the collapse of Ansett Australia in September 2001. The airline has since grown to directly serve 32 cities in Australia, from hubs in Brisbane, Melbourne and Sydney.[4]",
"answer": "Virgin Australia commenced services on 31 August 2000 as Virgin Blue, with two aircraft on a single route.",
"taskname": "genqa"
}
- 然后,通過更新默認 NeMo 配置文件的某些字段來配置微調作業,以適應手頭的訓練任務。然后,使用 NeMo 訓練腳本啟動該作業,該腳本在此過程中運行微調并生成模型檢查點。
- 完成微調任務后,我們將能夠在 Notebook 中運行推理,以生成一些示例輸出,并評估經過微調的模型的性能。
- 我們來看一個此類輸出示例。我們提供了對兩種產品(一臺割草機和一個廚房機器人)的描述,并詢問模型割草機是否采用太陽能供電。
模型準確地掌握了上下文,并以“是”回答。通過對模型進行微調,它能夠根據所提供的上下文準確回答我們的問題。
{
"input": "Context: The Auto Chef Master is a personal kitchen robot that effortlessly turns raw ingredients into gourmet meals with the precision of a Michelin-star chef. The Eco Lawn Mower is a solar powered high-tech lawn mower that provides an eco-friendly and efficient way to maintain your lawn. Question: Is the lawn mower product solar powered?
Answer:",
"pred": "Yes",
"label": "Yes, the Eco Lawn Mower is solar powered.",
"taskname": "genqa"
}
部署模型
NVIDIA AI Foundation Endpoints 提供完全無服務器且可擴展的 API,可部署在您自己的云或 NVIDIA DGX 云上。請填寫此表單,開始使用 AI 基礎端點。
您還可以在自己的云端或數據中心基礎架構上進行部署,NVIDIA AI Enterprise 這個端到端的云原生軟件平臺可加速生產級生成式 AI 的開發和部署,具有企業級安全性、穩定性、可管理性和支持。當您準備好從實驗室環境轉向生產環境時,可以利用 NVIDIA AI Enterprise 的企業級運行時環境來微調和部署這些模型。
了解詳情
在本文中,我們了解了 NVIDIA AI Foundation 模型 如何通過提供易于使用的界面來體驗模型以及微調和部署模型的簡化路徑,幫助企業開發者找到適合各種用例的模型。
探索不同的 AI 基礎模型找到適合您的型號。
在構建企業級 生成式 AI 和 大型語言模型 (LLM) 時,需要收集高質量數據、搭建加速基礎架構以及擁有優化模型的專業知識。
開發者可以從預訓練模型開始,并根據其用例對其進行微調,從而節省時間,并使其解決方案更快地投入市場。開發者需要一種簡單的方法來嘗試模型,并通過 API 集成模型來評估其功能。這有助于他們確定最適合其應用的模型。
NVIDIA AI 基礎模型
NVIDIA AI 基礎模型 是一組精心策劃的社區模型和 NVIDIA 構建的模型,針對峰值性能進行了優化。開發者可以直接通過 API 或圖形用戶界面從瀏覽器中快速使用這些模型,無需任何設置。模型通過NVIDIA TensorRT-LLM 和激活感知型權重量化 (AWQ) 進行了優化。
?