Microservices – NVIDIA 技術博客

借助 NVIDIA NeMo Curator 簡化域自適應預訓練的數據處理

Tue, 10 Sep 2024 08:23:26 +0000

大語言模型（LLMs）的領域自適應預訓練（DAPT）是構建特定領域模型的重要步驟。與現成的開放或商用模型相比，這些模型在特定領域任務中表現出更出色的功能。最近，NVIDIA 發表了一篇關于 ChipNeMo 的論文，這是一系列面向工業芯片設計應用的基礎模型。ChipNeMo 模型是通過在專有數據和公開可用的特定領域數據的語料庫上對 Llama 2 系列模型進行持續預訓練的結果。本文將以 ChipNeMo 數據集為例，介紹使用 NVIDIA NeMo Curator 從各種公開來源收集訓練數據集的過程。 NeMo Curator 是一個 GPU 加速的數據 curation 庫，通過準備用于預訓練和自定義的大規模、高質量數據集來提高生成式 AI 模型的性能。 NeMo Curator 通過擴展到多節點多 GPU (MNMG) 來縮短數據處理時間，

Source

]]>

利用 NVIDIA NeMo Curator 整理用于 LLM 參數高效微調的自定義數據集

Wed, 31 Jul 2024 06:13:14 +0000

在最近的一篇博文中，我們討論了如何使用 NVIDIA NeMo Curator 整理自定義數據集，用于大型語言模型（LLMs）和小型語言模型（SLMs）的預訓練或連續訓練用例。雖然此類訓練場景是 LLM 開發的重要組成部分，但許多下游應用都涉及在特定領域的數據集上微調現有基礎模型。這可以使用監督式微調 (SFT) 或參數高效微調 (PEFT) 方法 (如 LoRA 和 p-tuning) 來實現。在這些工作流程中，您通常需要快速迭代并嘗試各種想法和超參數設置，以及如何處理訓練數據并將其公開給模型。您必須處理和整理數據集的多個變體，以確保對特定領域數據的細微差別進行有效學習。由于在這種工作流程中可用的數據量有限，因此使用靈活的處理流程對高質量數據進行細化至關重要。本文將指導您使用 NeMo Curator 創建自定義數據管護工作流，并著重介紹 SFT 和 PEFT…

Source

]]>

使用 NVIDIA NIM 和 NVIDIA VIA 微服務構建 VLM 驅動的視覺 AI 代理

Mon, 29 Jul 2024 07:09:19 +0000

傳統的視頻分析應用程序及其開發工作流通常基于固定功能且受限的模型構建，這些模型旨在僅檢測和識別一組選定的預定義對象。借助生成式 AI、NVIDIA NIM 微服務和基礎模型，您現在可以使用更少的模型構建具有廣泛感知和豐富語境理解的應用程序。新型生成式 AI 模型即視覺語言模型 (VLM) 為視覺 AI 智能體提供支持，這些智能體可以理解自然語言提示并執行視覺問答。視覺 AI 智能體解鎖了完全的應用可能性，顯著簡化了應用開發工作流程，并提供了變革性的新感知功能，如圖像或視頻摘要、交互式視覺問答和視覺警報。這些視覺 AI 智能體將部署在工廠、倉庫、零售商店、機場、交通交叉路口等地。它們將幫助運營團隊使用從自然交互中生成的更豐富的見解做出更明智的決策。 NVIDIA NIM 和 NVIDIA VIA 微服務旨在加速視覺 AI 代理的開發。在本文中，

Source

]]>

NVIDIA Metropolis Microservices 和 NVIDIA Isaac Sim 的實時視覺 AI 從數字孿生到云原生部署

Mon, 24 Jun 2024 05:35:32 +0000

隨著視覺人工智能復雜性的增加，精簡的部署解決方案對優化空間和流程至關重要。NVIDIA 通過 NVIDIA Metropolis AI 工作流和微服務加速開發，將想法在數周而非數月內轉化為現實。在這篇文章中，我們將探討Metropolis 微服務的功能：視頻 1。從數字孿生到多攝像機跟蹤的端到端工作流程使用人工智能管理和自動化基礎設施具有挑戰性，尤其是對于超市、倉庫、機場、港口和城市等大型復雜空間。這不僅僅是為了擴大攝像頭的數量，而是構建視覺人工智能應用程序，可以智能地監控、提取見解，并在數萬或數十萬平方英尺空間內數百或數千臺攝像頭中突出顯示異常情況。微服務架構通過將復雜的多攝像頭 AI 應用程序分解為更小、獨立的單元，并通過定義良好的 API 進行交互，從而實現其可擴展性、靈活性和彈性，

Source

]]>

使用 YOLOv8 和 NVIDIA JetPack 6.0 生成交通洞察

Tue, 18 Jun 2024 07:57:57 +0000

智能交通系統（ITS）的應用在現代城市環境中變得越來越有價值和普遍。使用 ITS 應用程序的好處包括：重要的是，這些系統需要在邊緣處理信息，以獲得可靠的帶寬、隱私、實時分析等。這篇文章解釋了如何使用 NVIDIA JetPack 6.0 的新Jetson 平臺服務來實現邊緣的端到端流量分析解決方案，該系統包括使用NVIDIA JetPack 6.0的視頻存儲工具包（VST）服務的視頻攝取和存儲、使用 YOLOv8 和 DeepStream AI Perception 服務的實時物體檢測和車輛跟蹤，以及車輛運動的時空分析，一旦創建了管道，就使用 API 來生成分析。使用 Jetson 平臺服務和 NVIDIA Jetpack 構建和部署人工智能應用程序可提供以下好處：要了解最新 JetPack SDK 的更多功能信息，

Source

]]>

借助 NVIDIA JetPack 6.0 助力邊緣云原生微服務，現已正式發布

Tue, 04 Jun 2024 07:34:51 +0000

NVIDIA JetPack SDK 為 NVIDIA Jetson 模組提供支持，為構建端到端加速的人工智能應用提供全面的解決方案。JetPack 6 通過微服務和一系列新功能擴展了 Jetson 平臺的靈活性和可擴展性。這是 JetPack 2024 年下載次數最多的版本。隨著 JetPack 6.0 正式發布，開發者可以滿懷信心地將這些新功能引入更先進的嵌入式 AI 和機器人應用。本文重點介紹了主要功能和新的 AI 工作流程。 JetPack 6 支持在 Jetson 上擴展一系列基于 Linux 的發行版。其中包括 Canonical 的 Ubuntu 服務器、Redhat 的 RHEL 9.4、SUSE、Wind River Linux、Redhawk Real Time OS 以及各種基于 Yocto 的發行版。這些基于 Linux 的發行版在 Jetson…

Source

]]>

借助 NVIDIA NeMo 定制器輕松微調和對齊 LLM

Wed, 27 Mar 2024 08:27:24 +0000

隨著大型語言模型(LLM) 在企業 AI 應用中獲得更多吸引力，定制化模型理解和集成特定行業術語、領域專業知識和獨特的組織要求變得越來越重要。為滿足對自定義 LLM 的日益增長的需求，NVIDIA NeMo 團隊宣布 NeMo Customizer 搶先體驗計劃。這是一種高性能、可擴展的微服務，可簡化 LLM 的微調和對齊。企業可以利用 NVIDIA NeMo 來開發自定制的生成式 AI 平臺，包括訓練、微調、檢索增強生成 (RAG)、guardrailing 和數據管護等功能。NeMo 提供從框架到更高級別的 API 端點，以簡化開發過程。它提供了預訓練模型和技術堆棧，以幫助企業快速開發和部署具有特定功能的生成式 AI 模型。 NeMo Customizer 微服務是一組基于 NeMo 框架的 API 端點，旨在為企業提供快速、

Source

]]>

借助 NVIDIA NeMo Curator 擴展和整理用于 LLM 訓練的高質量數據集

Wed, 27 Mar 2024 08:20:38 +0000

大型語言模型 (LLM) 是提高運營效率和推動創新的強大工具。NVIDIA NeMo 微服務旨在簡化構建和部署模型的流程。構建任何 LLM 系統的關鍵步驟是整理用于訓練或自定義模型的令牌數據集。但是，整理合適的數據集是一項具有挑戰性的任務。數據的多樣性、相關性和質量都是影響模型良好運行能力的因素。數據還應該遵守數據保護法規，并尊重個人的隱私。本文將探討 NVIDIA NeMo Curator 框架的最新更新。該框架最近推出，旨在簡化數據管護流程，為企業級采用生成式 AI 提供基礎。 NeMo Curator 支持模型預訓練的數據管護，并基于以下關鍵支柱進行設計：性能、可擴展性和可定制性。它可以跨數千個計算核心無縫擴展，并使用高度優化的 CUDA 內核輕松執行各種數據采集、預處理和清理任務，使企業開發者能夠專注于解決問題。

Source

]]>

借助 NVIDIA NeMo 微服務簡化自定義生成式 AI 開發

Mon, 18 Mar 2024 15:00:00 +0000

在全球范圍內，企業正在意識到生成式 AI 模型。他們競相在聊天機器人、虛擬助理、編碼副駕駛等各種應用中采用這些模型。雖然通用模型適用于簡單任務，但在滿足各行各業的獨特需求方面表現不佳。自定義生成式 AI 模型通過整合特定領域的知識、了解當地文化的細微差別以及與品牌聲音和價值觀保持一致，優于普通模型并滿足企業需求。 NVIDIA NeMo 團隊宣布推出搶先體驗計劃，該計劃適用于 NVIDIA NeMo Curator、NVIDIA NeMo Customizer 和 NVIDIA NeMo Evaluator 微服務。這些微服務涵蓋了從數據管理與定制到評估的整個開發階段，能夠簡化用戶構建自定義生成式 AI 模型的流程。 NVIDIA NeMo 是一個端到端平臺，用于在任何地方開發自定義生成式 AI。它包括用于訓練、微調、檢索增強生成、護欄設置、數據管護和預訓練模型的工具。

Source

]]>

借助 NVIDIA NeMo Retriever，將企業數據轉換為可行見解

Mon, 18 Mar 2024 06:55:46 +0000

在每個行業和每個工作職能部門，生成式 AI 正在激發組織內部的潛力，它將數據轉化為知識，并使員工能夠更高效地工作。準確的相關信息對于做出數據支持的決策至關重要。因此，企業會繼續投資改進業務數據的存儲、索引和訪問方式。根據IDC的全球DataSphere Forecast 2023，預計在2024年將創建11ZB的唯一企業數據。到2027年，這一數字預計將增長到20ZB，其中83%為非結構化數據，而音頻和視頻數據將占到一半。2027年創建的非結構化數據量將相當于近800萬個國會圖書館。在企業環境中，必須從分布在不同數據湖中的數據中挖掘這些信息。用戶可通過多種來源訪問這些信息，包括實時控制面板、包含圖表、圖表和文本混合的手動生成報告、數據庫查詢以及通用搜索工具。信息的內容和上下文會隨著時間的推移而變化，因此需要反復循環地處理這些來源的信息，并重新評估證據和決策。

Source

]]>

NVIDIA NIM 提供經過優化的推理微服務，用于大規模部署 AI 模型

Mon, 18 Mar 2024 04:59:20 +0000

數字生成的生成式 AI 采用率一直很高。在 2022 年推出 OpenAI 聊天 GPT 的推動下，這項新技術在幾個月內積累了超過 1 億用戶，幾乎推動了各行各業的開發活動激增。到 2023 年，開發者開始使用 Meta、Mistral、Stability 等公司的 API 和開源社區模型創建 POC。進入 2024 年后，企業組織正將注意力轉向大規模生產部署，其中包括將 AI 模型連接到現有企業基礎設施、優化系統延遲和吞吐量、日志記錄、監控和安全性等。這種生產路徑既復雜又耗時，需要專門的技能、平臺和流程，尤其是大規模部署。 NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，為開發 AI 驅動的企業應用程序和在生產中部署 AI 模型提供了簡化的路徑。 NIM 是一套經過優化的云原生微服務，旨在縮短上市時間，并簡化生成式 AI 模型在云、

Source

]]>