NVIDIA NIM 微服務作為優化容器提供，旨在加速各種規模的企業的 AI 應用開發，為 AI 技術的快速生產和部署鋪平道路。這些微服務集可用于在語音 AI、數據檢索、數字生物學、數字人、模擬和大型語言模型（LLMs）中構建和部署 AI 解決方案。
每個月，NVIDIA 都致力于為各行業和領域的領先 AI 模型提供 NIM 微服務。本文將為您介紹新增的最新功能。
語音和翻譯 NIM 微服務
用于語音和翻譯的最新 NIM 微服務使組織能夠將先進的多語種語音和翻譯功能集成到其全球對話式應用中。這些功能包括自動語音識別（ASR）、文本轉語音（TTS）和神經網絡機器翻譯（NMT），滿足各種行業需求。
Parakeet ASR
Parakeet ASR-CTC-1.1 B-EnUS ASR 模型擁有 11 億個參數，提供創紀錄的英語轉錄功能。它提供出色的準確性和魯棒性，熟練地處理各種語音模式和噪音級別。它使企業能夠改進基于語音的服務，確保卓越的用戶體驗。
FastPitch-HiFiGAN TTS
作為 TTS NIM，FastPitch-HiFiGAN-EN 集成了 FastPitch 和 HiFiGAN 模型，可從文本中生成高保真音頻。它使企業能夠創建自然的聲音，提高用戶參與度并提供沉浸式體驗，在音頻質量方面樹立新的標桿。
Megatron NMT
Megatron 1B-En32 是一個功能強大的 NMT 模型，擅長跨多種語言進行實時翻譯，促進無縫的多語言交流。它使組織能夠擴展其全球影響力，吸引多樣化的受眾，并促進高效的國際合作。
通過利用這些先進的語音和翻譯 NIM 微服務，企業可以徹底改變其對話式 AI 應用。從創建多語言智能個人助理和品牌大使到開發全球客戶服務平臺，企業可以在不同的語言和環境中創新和增強用戶體驗。
檢索 NIM 微服務
最新的 NVIDIA NeMo Retriever NIM 微服務幫助開發者高效獲取最佳專有數據，為其 AI 應用生成知識性響應。NeMo Retriever 使組織能夠將自定義模型無縫連接到各種業務數據，并使用檢索增強生成（RAG）為 AI 應用提供高度準確的響應。
嵌入 QA E5
NVIDIA NeMo Retriever QA E5 嵌入模型針對文本問答檢索進行了優化。嵌入模型是文本檢索系統的重要組件，因為它將文本信息轉換為密集向量表示。它們通常是 Transformer 解碼器，處理輸入文本（例如，問題、段落）的標記以輸出嵌入。
嵌入 QA Mistral 7B
NVIDIA NeMo Retriever QA Mistral 7B 嵌入模型是一種熱門的多語言社區基礎模型，經過文本嵌入微調，以實現高精度問答。該嵌入模型非常適合希望利用最新的密集檢索技術在大型文本語料庫上構建問答應用程序的用戶。
借助 NeMo Retriever QA Mistral 7B NIM，開發者可以將吞吐量提高 2 倍。
Snowflake Arctic Embed
Snowflake Arctic Embed 是一套用于高質量檢索的文本嵌入模型，并針對性能進行了優化。這些模型可免費用于商業用途。Arctic Embed 模型的每個尺寸變體都在 MTEB/BEIR 排行榜上獲得了先進的性能。
Reranking QA Mistral 4B
NVIDIA NeMo Retriever QA Mistral 4B Reranking 模型經過優化，可以提供 logit 分數，以表示文檔與給定查詢的相關性。該排名模型是文本檢索系統中用于提高整體準確性的關鍵組件。文本檢索系統通常使用嵌入模型（密集）或詞法搜索（稀疏）索引來返回給定輸入的相關文本段落。
排名模型可用于將潛在候選對象重新排名為最終順序。排名模型接收問題通道對作為輸入，因此可以處理單詞之間的交叉注意力。在知識庫中的所有文檔上應用排名模型是不現實的，因此排名模型通常與嵌入模型一起部署。
借助 NeMo Retriever QA Mistral 4B 重新排名的 NIM，開發者可以將吞吐量提高到 1.75 倍。
數字生物學 NIM 微服務
在醫療健康和生命科學領域，NVIDIA NIM 微服務正在改變數字生物學。這些先進的 AI 工具賦予制藥公司、生物技術和醫療健康機構加速創新和為患者提供挽救生命的藥物的能力。
MoIMIM
MolMIM 是一種基于 Transformer 的模型，用于生成受控的小分子。它可以優化和采樣潛在空間中的分子，從而提高所需評分函數的值。這包括來自其他模型的功能以及基于對各種化學和生物屬性的實驗數據測試的功能。MolMIM NIM 微服務基于強大的推理引擎構建，可以在云端或本地部署，以便在計算藥物研發工作流程中進行企業級推理，包括虛擬篩選、領先優化和其他實驗室在環方法。
DiffDock
NVIDIA DiffDock NIM 微服務專為企業規模的高性能、可擴展分子對接而構建。它需要蛋白質和分子 3D 結構作為輸入，但不需要任何關于結合袋的信息。在生成式 AI 模型和加速的 3D 等變圖神經網絡的驅動下，與已發布的基準模型相比，每秒可預測多達 7 倍的姿勢，從而降低了計算藥物研發工作流程的成本，包括虛擬篩選和潛在客戶優化。
這些數字生物學 NIM 微服務使制藥公司能夠簡化其藥物研發計算工作流程，從而可能以更低的研發成本更快地提供挽救生命的治療方法。
LLM NIM 微服務
LLM 仍然是 AI 創新的基石。適用于 LLM 的新 NVIDIA NIM 微服務可在各種應用和語言中提供出色的性能和準確性。
Llama 3.1 8B 和 70B
Llama 3.1 8B 和 70B 模型提供尖端的文本生成和語言理解功能，可以作為強大的工具，用于創建引人入勝的信息內容。在 NVIDIA H100 數據中心 GPU 上部署 Llama 3.1 8B NIM 時，與部署無 NIM 的模型相比，開發者可以實現開箱即用的性能提升，每秒內容生成速度高達 2.5 倍。
Llama3.1 8B 指令，1 x H100 SXM；輸入和輸出令牌長度為 1000。并發客戶端請求為 200。啟用 NIM：BF16，TTFT 小于 1s，ITL 小于 30ms。禁用 NIM：BF16，TTFT 小于 4s，ITL 小于 65ms
Llama 3.1 405B
Llama 3.1 405B 是當前最大的公開可用模型，能夠應用于多種用例。一個關鍵用例是合成數據生成，幫助企業提高模型性能并擴展其數據集。現在，Llama 3.1 405B NIM 微服務可以從 NVIDIA API 目錄的任何地方下載和運行。
仿真 NIM 微服務
新的 NVIDIA USD NIM 微服務能夠利用生成式 AI Copilots 和代理開發 Universal Scene Description (OpenUSD) 工具，從而加速 3D 世界的創建。
以下微服務現在可用于預覽:
USD Code
USD Code 是一種先進的語言模型（LLM），可以回答 OpenUSD 知識查詢并生成 USD-Python 代碼。
USD Search
USD Search 使用基于文本或圖像的輸入，為 OpenUSD 數據、3D 模型、圖像和資產提供 AI 驅動的搜索。
USD Validate
USD Validate 支持通過即時 RTX 渲染和基于規則的驗證，驗證 OpenUSD 資產的兼容性。
借助這些新的 USD NIM 微服務，更多行業將能夠開發用于工業設計和工程項目可視化的應用程序，或模擬環境以構建下一波物理 AI 和機器人。
視頻會議 NIM 微服務
NVIDIA Maxine 簡化了 AI 功能的部署，為視頻會議和遠程呈現增強音頻、視頻和增強現實效果。
Maxine Audio2Face-2D
Maxine Audio2Face-2D 現已在 API 目錄中提供，可僅使用語音音頻實時對 2D 圖像進行動畫處理。語音信號會被解釋為肖像照片中相應的面部動畫，以生成 H.264 壓縮輸出視頻。它還支持頭部姿態動畫以實現自然傳遞，并且可以與聊天機器人輸出或翻譯的語音結合使用。常見的用例是虛擬代理。您可以立即通過 API 目錄開始使用 Audio2Face-2D 進行原型設計。
眼神交流
眼神交流在建立社交聯系方面發揮著關鍵作用，而在面對面的對話中，眼神交流意味著自信、聯系和注意力。為了改善、增強和提高用戶體驗，NVIDIA 開發了 NVIDIA Maxine Eye Contact NIM 微服務。此功能使用人工智能對用戶的網絡攝像頭源實時應用濾鏡，并將目光重定向到攝像頭。
加速 AI 應用程序開發
NVIDIA NIM 通過跨領域的專用微服務集成，簡化了復雜 AI 應用的創建。使用 NIM 微服務，組織可以繞過從頭開始構建 AI 模型的復雜性，節省時間和資源。這使團隊能夠專注于將這些預訓練模型集成到工作流程中，從而加速業務運營的轉型。NIM 微服務的模塊化特性允許組裝滿足特定業務需求的定制 AI 解決方案，以滿足特定的商業需求。
例如，公司可以將 ACE NIM 微服務（包括語音識別）與 LLM NIM 微服務相結合，以創建數字人，為醫療健康、金融和零售等行業提供個性化客戶服務。
NIM 微服務還可以集成到供應鏈管理系統中，將用于路由優化的 cuOpt NIM 微服務與用于檢索增強生成（RAG）的 NeMo Retriever NIM 微服務以及 LLM NIM 微服務相結合，以便企業可以與其供應鏈進行通信。
開始使用
NVIDIA NIM 使企業能夠充分利用 AI，推動創新、保持競爭優勢并提供卓越的客戶體驗。探索 NIM 微服務提供的最新 AI 模型，并了解這些強大的工具如何改變您的業務。
